Fréquence passage googlebot

[passion]

Bonjour,

J'ai développé une petite appli bien utile qui trace le passage de googlebot dans les logs.
Et je suis étonné de la fréquence de son passage sur certains fichiers déjà connus.
Je prends le cas de robots.txt.
Rien que ce matin, il est passé 9 fois ! Il a commencé à minuit et n'a cessé de le crawler.

Alors avant qu'on me dise : "Il passe peut-être avant d'indexer une page ?", je répondrais : "Oui effectivement il pourrait crawler mon fichier puis la page et si rien ne l'empêche, il indexe ou fait une maj dans ses données !".

Mais non... il a commencé à crawler le fichier robots à minuit et jusqu'à env. 5h il n'y a rien crawler d'autres !
Et durant cette période, il est passé 7 fois dessus !

Alors quand on parle de "budget crawl" ou encore de "crawl prédictif", je trouve qu'il a une drôle de méthode pour crawler.

Votre retour d'expérience ?
Merci

 

[KOogar]

top ton logo de profil

ton bot entre minuit et 5h du mat et passé que 7 fois ? c'est un tout petit site alors, pas de quoi s'inquiéter du budget crawl

sur l'un de mes sites avec 5000 pages indexées, il passe 800 fois par jour en moyenne, ca lui arrive souvent de taper 5 fois de suite la home, ou se polariser sur certaines pages pendant une période, j'ai cessé d'essayer de comprendre comment il fonctionnait

je l'utilise uniquement pour voir si il ne crawle pas des 400, que je corrige avec des redirections 301