Temps entre crawl et indexation

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par curumo, 22 Janvier 2006.

  1. curumo
    curumo Nouveau WRInaute
    Inscrit:
    21 Janvier 2006
    Messages:
    36
    J'aime reçus:
    0
    Bonjour, j'ai beau avoir cherché je n'ai pas trouvé cette information.

    Je me fait crawler comme un fou pour mon petit site perso depuis quelques mois par Google. Or pas beaucoup de liens existent vraiment (en fait aucun des mots clefs d'aucun des posts visités ne sont reconnu :roll: ).

    Je m'interrogeais donc sur une chose : combien de temps faut-il à google pour indexer une page après sa visite ? Une seule visite pour cette page lui suffit nan ?

    D'avance merci et désolé si la question a déjà été posé 1000 fois mais mes recherches ici même ont été infructueuses
     
  2. wasabi
    wasabi WRInaute occasionnel
    Inscrit:
    13 Décembre 2005
    Messages:
    325
    J'aime reçus:
    0
    ca depend, parfois 1 jour, parfois plus, parfois jamais...
     
  3. curumo
    curumo Nouveau WRInaute
    Inscrit:
    21 Janvier 2006
    Messages:
    36
    J'aime reçus:
    0
    super... Merci de ta réponse, et au risque d'être du coup sur le mauvais forum : as tu une idée de la raison qui pousse google a avoir crawler plus de 2000 pages de mon forum en n'indexant que les categories et 4 posts les plus ininteressants ??
     
  4. biddybulle
    biddybulle WRInaute passionné
    Inscrit:
    30 Mai 2005
    Messages:
    1 428
    J'aime reçus:
    0
    y a deux types de robots chez google

    un qui indexe et un autre qui surveille
     
  5. muelsaco
    muelsaco WRInaute discret
    Inscrit:
    19 Janvier 2006
    Messages:
    119
    J'aime reçus:
    0
    Celui qui surveille consiste en quoi???
     
  6. Toutou-Fr
    Toutou-Fr WRInaute occasionnel
    Inscrit:
    22 Août 2005
    Messages:
    479
    J'aime reçus:
    0
    peut être parcequ'il ne pouvait pas savoir à l'avance qu'il ne les indexerait pas avant meme de les avoir crawlées :wink: .

    Enfin, à mon avis si au bout de plusieurs mois un grand nombre de tes pages ne sont toujours pas indexées et que tu ne constates aucune évolution (à voir avec la commande site:) , je pense que tu peux te poser des questions sur tes pages. Google arrive t'il à les lire correctement ? n'y a t'il pas un htaccess ou un robots.txt pouvant poser probleme? aucun risque de duplicate content, ou de suspection de cloacking, ou toute autre pratique peu recommandable..?
     
  7. curumo
    curumo Nouveau WRInaute
    Inscrit:
    21 Janvier 2006
    Messages:
    36
    J'aime reçus:
    0
    Euh aucune arnaque google vu comment je suis doué en plus lol !

    Non j'ai effectivement un robots.txt
    Code:
    User-agent: *
    Disallow:/login.php 
    Disallow:/modcp.php 
    Disallow:/posting.php 
    Disallow:/privmsg.php 
    Disallow:/search.php 
    Disallow:/viewonline.php 
    Disallow:/profile.php 
    Disallow:/memberlist.php
    Disallow:/faq.php 
    Disallow:/raccourci.php
    Disallow:/statistics.php
    et un htaccess :
    Code:
    RewriteEngine On 
    RewriteRule ^forums.* index.php 
    RewriteRule ^mforum([0-9]*).* viewforum.php?f=$1&mark=topics 
    RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*).* viewforum.php?f=$1&topicdays=$2&start=$3 
    RewriteRule ^forum([0-9]*).* viewforum.php?f=$1 
    RewriteRule ^ptopic([0-9]*).* viewtopic.php?t=$1&view=previous 
    RewriteRule ^ntopic([0-9]*).* viewtopic.php?t=$1&view=next 
    RewriteRule ^stopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&watch=topic&start=$2 
    RewriteRule ^utopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&unwatch=topic&start=$2 
    RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4 
    RewriteRule ^ftopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&start=$2 
    RewriteRule ^ftopic([0-9]*).* viewtopic.php?t=$1 
    RewriteRule ^ftopic([0-9]*).html viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5 
    RewriteRule ^setopic_([0-9]*)-([a-zA-Z0-9]*).* viewtopic.php?t=$1&highlight=$2 
    RewriteRule ^sutra([0-9]*).* viewtopic.php?p=$1 
    RewriteRule ^newtopic([0-9]*).* viewtopic.php?t=$1&view=newest 

    Personnellement je ne vois pas bien ce qui cloche ?! la commande site me donne que les forums comme je l'explique plus haut :roll:

    http://www.aratars.org
    Pourtant url rewritting et je suis sur un nom de domaine depuis novembre maintenant... Bon ok Google se dechaine depuis quelques temps (en fait depuis decembre c'ets la folie pour ce que j'en sais puisque j'avais l'ancienne version de robotstats qui n'avait pas les bons noms de Google)
    Par ailleurs, j'ai retiré les sid pour les invités (cf le post sur phpbb-fr de DrDLP) et enfin j'ai installé ce MOD (toujours sous phpBB) :

    Code:
    #-----[ OUVRIR  ]------------------------------------------ 
    includes/sessions.php 
    
    #-----[ TROUVER ]------------------------------------------ 
       global $SID; 
    
       if ( !empty($SID) && !eregi('sid=', $url) ) 
    
    #-----[ REPLAMCER PAR ]------------------------------------------ 
       global $SID, $HTTP_SERVER_VARS; 
    
       if ( !empty($SID) && !eregi('sid=', $url) && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'Googlebot') && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'slurp@inktomi.com;')) 
    

    Voilà donc si vous y comprenez quelques choses vous..

    Petits nota bene (peut être ca le soucis notez bien) : j'ai mis la balise <meta keywords> et ses copains dans le page header donc en fait les mêmes méta sont repris dans chaque page... Ca vient peut être de là ?!
     
  8. curumo
    curumo Nouveau WRInaute
    Inscrit:
    21 Janvier 2006
    Messages:
    36
    J'aime reçus:
    0
Chargement...
Similar Threads - crawl indexation Forum Date
Questions URL canonique, crawl et indexation Débuter en référencement 25 Mars 2022
Crawl et indexation Landing Page (site en création) Débuter en référencement 25 Mars 2021
Crawl et indexation de certaines pages Débuter en référencement 30 Décembre 2019
Indexation de nouveaux url et crawl Référencement Google 15 Novembre 2018
Crawl indexation depuis mobile et AMP ? Référencement Google 7 Février 2018
Crawl et indexation Google par langue et pays Référencement international (langues, pays) 2 Février 2015
Premiere indexation et crawl suivants Référencement Google 22 Février 2014
Crawl, indexation, robots.txt : les mystères de Google expliqués Crawl et indexation Google, sitemaps 10 Juin 2013
Crawl, indexation et optimisation SEO pour Qwant Autres moteurs de recherche connus 14 Mars 2013
Pas d'indexation d'une page alors que google a bien fait son crawling du domaine Problèmes de référencement spécifiques à vos sites 24 Novembre 2009
[Problème] Indexation/Crawl d'un site Crawl et indexation Google, sitemaps 18 Mars 2009
Description du système de crawl et d'indexation de Google Crawl et indexation Google, sitemaps 20 Août 2008
Développement d'un crawler pour indexation petites annonces Développement d'un site Web ou d'une appli mobile 20 Avril 2007
Crawl des pages mais pas indexation? Crawl et indexation Google, sitemaps 23 Juin 2005
Google crawl indexation nouveaux domaines Crawl et indexation Google, sitemaps 18 Août 2003
Problème : Google Crawl et Index des pages en No Index et bloqué par le robot.txt Crawl et indexation Google, sitemaps 26 Avril 2022
Crawler une url présente dans un select Développement d'un site Web ou d'une appli mobile 28 Mars 2022
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites 7 Décembre 2021
Budget Crawl Google pour un gros site Crawl et indexation Google, sitemaps 18 Novembre 2021
Problème récent de Crawl Google Crawl et indexation Google, sitemaps 7 Juillet 2021