Etude de Googlebot : le FreshBot et le DeepBot

Olivier Duffez, Vendredi 5 septembre 2008

Petite étude réalisée en 2002 et 2003 sur les différentes formes de Googlebot, le robot de crawl de Google.

Mise à jour : cet article date de plusieurs années, attention à le lire pour votre culture web personnelle ! En effet bien des choses ont changé : Google est mis à jour en permanence (crawl, indexation, algorithme, etc.) et les techniques décrites ici ne sont plus forcément applicables à 100%…

Pour commencer une petite étude sur Googlebot, le robot d'indexation de Google, voici un graphique donnant (pour 2 sites tests) :

• l'évolution du nombre de visites quotidiennes de Googlebot
• l'évolution du nombre de pages vues quotidiennes par Googlebot
• le rappel des dates des débuts de Google Dance (updates)

Cette étude sera complétée au fur et à mesure des mises à jour de Google…

Analyses

Googlebot en Juillet 2002

Googlebot vient indexer largement les sites pendant la Google Dance (ou quelques jours après).

Googlebot en Août 2002

Les deux sites utilisés pour ces statistiques ayant optimisé leur référencement dans Google, le nombre de visites de Googlebot a augmenté (tout comme le nombre de pages vues). Il n'est plus si évident que ça de faire un lien entre les dates des mises à jour et les pics de visites de Googlebot.

Il reste encore à analyser l'écart entre la date de visite d'une page donnée par Googlebot et sa date de disponibilité dans les résultats sur Google…. Suite au prochain épisode !

Googlebot en Septembre 2002

Comme nous en avions discuté sur le forum Google, Google a semble-t-il changé un peu sa façon d'indexer les sites. GoogleBot vient en effet plus souvent pour essayer d'avoir du contenu « frais », c'est-à-dire le plus à jour possible. Conséquence : il y a bien plus de visites de Googlebot sur nos sites ! Autre conséquence  : la Google Dance apporte moins de changements qu'avant.

Googlebot en Mars 2003

Depuis septembre 2002 dernier les habitudes de Googlebot ont pu être beaucoup plus cernées, comme je l'explique dans l'article La vie d'une page sur le web. Il existe deux sortes de robots Googlebot:

• le Fresh bot (Freshbot)  : ce robot Googlebot passe tous les jours (sur les sites bien référencés) pour mettre à jour les pages dans son index. Seul le texte est analysé, pas la structure entre pages.
• le Deep bot (Deepbot)  : ce robot Googlebot passe pendant environ une semaine juste après la fin de la Google Dance. Il effectue une indexation intensive des sites (full crawl).

Formation référencement et webmarketing

Vous souhaitez sans doute améliorer votre référencement, avez-vous pensé à suivre une formation spécialisée sur le référencement naturel ? En 2008, plus de 700 entreprises ont assisté à nos différentes sessions, la plupart faisant financer ces journées par la formation professionnelle (OPCA). Orange Labs nous a décerné un taux de satisfaction des participants de 90% (octobre 2008).

Préparés et animés par Olivier Duffez (WebRankInfo) et Fabien Faceries (AgentWebRanking), 2 professionnels reconnus dans la profession, nos modules sur le référencement naturel sont très complets tout en laissant une grande place à l'interactivité pour répondre à toutes les questions des participants.

Pour connaître le plan détaillé de chaque module, le prix, les dates et les lieux, cliquez ici pour consulter le site de Ranking Metrics (organisme de formation agréé).

Lectures recommandées sur ce thème :

Laisser une réponse