Etude de Googlebot : le FreshBot et le DeepBot

Par Olivier Duffez , Vendredi 5 septembre 2008

Petite étude réalisée en 2002 et 2003 sur les différentes formes de Googlebot, le robot de crawl de Google.

Mise à jour : cet article date de plusieurs années, attention à le lire pour votre culture web personnelle ! En effet bien des choses ont changé : Google est mis à jour en permanence (crawl, indexation, algorithme, etc.) et les techniques décrites ici ne sont plus forcément applicables à 100%...

Pour commencer une petite étude sur Googlebot, le robot d'indexation de Google, voici un graphique donnant (pour 2 sites tests) :

• l'évolution du nombre de visites quotidiennes de Googlebot
• l'évolution du nombre de pages vues quotidiennes par Googlebot
• le rappel des dates des débuts de Google Dance (updates)

Cette étude sera complétée au fur et à mesure des mises à jour de Google...

Analyses

Googlebot en Juillet 2002

Googlebot vient indexer largement les sites pendant la Google Dance (ou quelques jours après).

Googlebot en Août 2002

Les deux sites utilisés pour ces statistiques ayant optimisé leur référencement dans Google, le nombre de visites de Googlebot a augmenté (tout comme le nombre de pages vues). Il n'est plus si évident que ça de faire un lien entre les dates des mises à jour et les pics de visites de Googlebot.

Il reste encore à analyser l'écart entre la date de visite d'une page donnée par Googlebot et sa date de disponibilité dans les résultats sur Google.... Suite au prochain épisode !

Googlebot en Septembre 2002

Comme nous en avions discuté sur le forum Google, Google a semble-t-il changé un peu sa façon d'indexer les sites. GoogleBot vient en effet plus souvent pour essayer d'avoir du contenu "frais", c'est-à-dire le plus à jour possible. Conséquence : il y a bien plus de visites de Googlebot sur nos sites ! Autre conséquence  : la Google Dance apporte moins de changements qu'avant.

Googlebot en Mars 2003

Depuis septembre 2002 dernier les habitudes de Googlebot ont pu être beaucoup plus cernées, comme je l'explique dans l'article La vie d'une page sur le web. Il existe deux sortes de robots Googlebot:

• le Fresh bot (Freshbot)  : ce robot Googlebot passe tous les jours (sur les sites bien référencés) pour mettre à jour les pages dans son index. Seul le texte est analysé, pas la structure entre pages.
• le Deep bot (Deepbot)  : ce robot Googlebot passe pendant environ une semaine juste après la fin de la Google Dance. Il effectue une indexation intensive des sites (full crawl).

Si vous souhaitez publier un extrait de cet article sur votre site, assurez-vous de respecter les conditions générales d'utilisation de WebRankInfo.