Fréquence passage googlebot

Discussion dans 'Crawl et indexation Google, sitemaps' créé par passion, 30 Janvier 2021.

  1. passion
    passion WRInaute accro
    Inscrit:
    6 Janvier 2006
    Messages:
    3 894
    J'aime reçus:
    175
    Bonjour,

    J'ai développé une petite appli bien utile qui trace le passage de googlebot dans les logs.
    Et je suis étonné de la fréquence de son passage sur certains fichiers déjà connus.
    Je prends le cas de robots.txt.
    Rien que ce matin, il est passé 9 fois ! Il a commencé à minuit et n'a cessé de le crawler.

    Alors avant qu'on me dise : "Il passe peut-être avant d'indexer une page ?", je répondrais : "Oui effectivement il pourrait crawler mon fichier puis la page et si rien ne l'empêche, il indexe ou fait une maj dans ses données !".

    Mais non... il a commencé à crawler le fichier robots à minuit et jusqu'à env. 5h il n'y a rien crawler d'autres !
    Et durant cette période, il est passé 7 fois dessus !

    Alors quand on parle de "budget crawl" ou encore de "crawl prédictif", je trouve qu'il a une drôle de méthode pour crawler.

    Votre retour d'expérience ?
    Merci
     
    #1 passion, 30 Janvier 2021
  2. KOogar
    KOogar WRInaute accro
    Inscrit:
    16 Novembre 2004
    Messages:
    4 672
    J'aime reçus:
    78
    top ton logo de profil :)

    ton bot entre minuit et 5h du mat et passé que 7 fois ? c'est un tout petit site alors, pas de quoi s'inquiéter du budget crawl

    sur l'un de mes sites avec 5000 pages indexées, il passe 800 fois par jour en moyenne, ca lui arrive souvent de taper 5 fois de suite la home, ou se polariser sur certaines pages pendant une période, j'ai cessé d'essayer de comprendre comment il fonctionnait

    je l'utilise uniquement pour voir si il ne crawle pas des 400, que je corrige avec des redirections 301
     
    #2 KOogar, 3 Février 2021
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Fréquence passage googlebot Forum Date
Comment augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 10 Décembre 2019
Fréquence de passage de Google Débuter en référencement 21 Janvier 2014
Search Console Actualisation chiffres Search Console, quelle fréquence ? Crawl et indexation Google, sitemaps 5 Avril 2019
Quelle fréquence de publication pour un site ecommerce ? Rédaction web et référencement 11 Septembre 2018
Déploiement sites internationaux, fréquence idéale ? Référencement international (langues, pays) 25 Octobre 2017
Fréquence de mise à jour des indicateurs ( trust flow, domain rank..) ? Référencement Google 17 Juillet 2015
A quelle fréquence renouveler ses ( gros ) sitemaps ? Crawl et indexation Google, sitemaps 28 Juin 2014
frequence mis à jour des indicateurs mozrank, domain authority .. ? Référencement Google 21 Avril 2014
Fréquence de mise à jour du SiteMap Débuter en référencement 16 Avril 2014
Fréquence crawl chute Crawl et indexation Google, sitemaps 14 Mars 2014