Fréquence passage googlebot

Discussion dans 'Crawl et indexation Google, sitemaps' créé par passion, 30 Janvier 2021.

  1. passion
    passion WRInaute accro
    Inscrit:
    6 Janvier 2006
    Messages:
    3 926
    J'aime reçus:
    191
    Bonjour,

    J'ai développé une petite appli bien utile qui trace le passage de googlebot dans les logs.
    Et je suis étonné de la fréquence de son passage sur certains fichiers déjà connus.
    Je prends le cas de robots.txt.
    Rien que ce matin, il est passé 9 fois ! Il a commencé à minuit et n'a cessé de le crawler.

    Alors avant qu'on me dise : "Il passe peut-être avant d'indexer une page ?", je répondrais : "Oui effectivement il pourrait crawler mon fichier puis la page et si rien ne l'empêche, il indexe ou fait une maj dans ses données !".

    Mais non... il a commencé à crawler le fichier robots à minuit et jusqu'à env. 5h il n'y a rien crawler d'autres !
    Et durant cette période, il est passé 7 fois dessus !

    Alors quand on parle de "budget crawl" ou encore de "crawl prédictif", je trouve qu'il a une drôle de méthode pour crawler.

    Votre retour d'expérience ?
    Merci
     
    #1 passion, 30 Janvier 2021
  2. KOogar
    KOogar WRInaute accro
    Inscrit:
    16 Novembre 2004
    Messages:
    4 641
    J'aime reçus:
    79
    top ton logo de profil :)

    ton bot entre minuit et 5h du mat et passé que 7 fois ? c'est un tout petit site alors, pas de quoi s'inquiéter du budget crawl

    sur l'un de mes sites avec 5000 pages indexées, il passe 800 fois par jour en moyenne, ca lui arrive souvent de taper 5 fois de suite la home, ou se polariser sur certaines pages pendant une période, j'ai cessé d'essayer de comprendre comment il fonctionnait

    je l'utilise uniquement pour voir si il ne crawle pas des 400, que je corrige avec des redirections 301
     
    #2 KOogar, 3 Février 2021
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Fréquence passage googlebot Forum Date
Comment augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 10 Décembre 2019
Fréquence de passage de googlebot Crawl et indexation Google, sitemaps 7 Novembre 2008
Fréquence ce passage de GoogleBot Référencement Google 27 Août 2008
Fréquence de mise à jour et passage du Googlebot Tests et études de cas 1 Avril 2008
Fréquence de passage de Googlebot pour un page rank de 3 Crawl et indexation Google, sitemaps 18 Juillet 2005
Augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 6 Avril 2005
Frequence de passage de googlebot Référencement Google 16 Octobre 2002
Fréquence de passage de Google Débuter en référencement 21 Janvier 2014
Gérer la fréquence de passage des robots google Référencement Google 13 Avril 2010
Frequence de passage du robot google Crawl et indexation Google, sitemaps 20 Octobre 2007
Frequence de passage des bots ? Débuter en référencement 23 Juin 2006
Peut-on dire a google la fréquence de passage de son robot? Crawl et indexation Google, sitemaps 27 Janvier 2006
Baisse de fréquence de passage des bots Crawl et indexation Google, sitemaps 12 Septembre 2005
fréquence de passage du bot sur les nouveaux sites Problèmes de référencement spécifiques à vos sites 2 Juin 2005
frequence de passage des bots Débuter en référencement 21 Novembre 2003
frequence de passage des robots : un bon script ici Administration d'un site Web 30 Septembre 2003
Frequence de passage des bots en baisse ?? Crawl et indexation Google, sitemaps 28 Août 2003
Search Console Actualisation chiffres Search Console, quelle fréquence ? Crawl et indexation Google, sitemaps 5 Avril 2019
Quelle fréquence de publication pour un site ecommerce ? Rédaction web et référencement 11 Septembre 2018
Déploiement sites internationaux, fréquence idéale ? Référencement international (langues, pays) 25 Octobre 2017