Googlebot

Google Danse : la danse du web de GoogleBot

Dans : Google Dance - Par Olivier Duffez, le Lundi 8 septembre 2008

Voici la photo tant attendue de GoogleBot, le robot de Google qui fait danser le web :

Description du cache de Google

Dans : Indexation Google - Par Olivier Duffez, le Samedi 6 septembre 2008

Pour indexer des millions de pages tous les jours, Google utilise une « armée » de robots d'indexation, appelés GoogleBot (lire l'étude sur GoogleBot pour en savoir plus). A chaque fois qu'un de ces robots visite une page, il la récupère et la stocke sur un des serveurs de Google. Cette version du document est appelée la version cache. On comprend vite qu'avec des milliards de documents Google ait besoin de plus de 10 000 serveurs (et beaucoup de disques durs…).

Présentation du système d'indexation de Google

Dans : Indexation Google - Par Olivier Duffez, le Vendredi 5 septembre 2008

Cet article présente le système de crawl (récupération des documents web) et d'indexation (analyse des documents web) par Google.

Les mécanismes du crawl de Google

Dans : Actualité - Par Olivier Duffez, le Mercredi 20 août 2008

Depuis l'été 2007, Google a considérablement amélioré son système de crawl : non seulement le moteur semble arriver à indexer les très nombreuses pages créées chaque jour sur le web, mais il n'est plus rare de voir des pages indexées en quelques minutes à peine ! Voici quelques explications issues d'un brevet de Google qui décrit les différents types de crawlers et leurs rôles respectifs.

Conseil n°7 : avoir un site toujours disponible

Dans : Conseils référencement - Par Olivier Duffez, le Lundi 4 août 2008

Googlebot, le robot d'indexation de Google, réagit comme tout autre visiteur : s'il vient voir votre site et que celui-ci n'est pas accessible (ex : pages introuvables, erreur 404), alors il risque de ne pas apprécier ! Voici quelques cas de figure à vérifier…

Google commence à indexer les formulaires

Dans : Actualité - Par Olivier Duffez, le Lundi 14 avril 2008

Alors que jusqu'à présent les pages accessibles uniquement via un formulaire font partie de ce qu'on appelle le web invisible (des moteurs de recherche), Google a commencé à expérimenter le crawl des formulaires. C'est à la fois une bonne et une mauvaise nouvelle… explications.

3 mythes du référencement sur Google

Dans : Actualité - Par Olivier Duffez, le Mercredi 15 novembre 2006

Matt Cutts a commencé une série de billets dans son blog visant à faire tomber certains mythes du référencement…

Robots.txt : Yahoo supporte les options avancées

Dans : Actualité - Par Olivier Duffez, le Samedi 4 novembre 2006

Yahoo vient d'annoncer que son robot allait désormais gérer les options avancées du fichier robots.txt qui permet aux webmasters d'indiquer quels fichiers ou répertoires doivent être exclus du crawl.

Les adresses IP de Google et Googlebot

Dans : Actualité - Par Olivier Duffez, le Jeudi 5 octobre 2006

Matt Cutts fait le point sur les différentes adresses IP utilisées par Googlebot et les autres produits ou services de Google.

Googlebot analyse certains codes JavaScript

Dans : Actualité - Par Olivier Duffez, le Mardi 2 mai 2006

Apparement Googlebot arrive a analyser les codes Javascript contrairement à tout ce qu'on a pu entendre pour le moment, et il arrive meme à déceler les URL à l'intérieur de ces Javascript (il cherche à trouver les URL présentes dans le code et à les suivre)…

Explications sur le Crawl Caching Proxy de Google

Dans : Actualité - Par Olivier Duffez, le Mercredi 26 avril 2006

Google a mis en place un système appelé Crawl Caching Proxy : voici quelques explications…

Le PageRank est-il vraiment mort ?

Dans : PageRank - Par Olivier Duffez, le Mardi 16 mars 2004

Il est fréquent depuis quelques mois de voir se répandre des rumeurs indiquant que le PageRank ne sert plus à rien… En général on explique qu'il est facile d'arriver dans les pages de résultats de Google devant une page qui a pourtant un bien meilleur PageRank.

La Google Dance existe-elle encore ?

Dans : Techniques de référencement - Par Olivier Duffez, le Mercredi 22 octobre 2003

Après l'analyse dans mon dernier article « GoogleBot change » analysant les changements de Google en terme d'indexation, nous allons aujourd'hui faire le point sur la fameuse Google Dance. Auparavant, faisons un petit rappel sur sa définition…

Googlebot a changé…

Dans : Indexation Google - Par Olivier Duffez, le Jeudi 2 octobre 2003

Depuis environ 6 mois, Google a davantage changé ses méthodes que par le passé. Nous allons tenter de faire le point sur les modifications apportées à son fonctionnement ou son algorithme, en commençant par les techniques d'indexation utilisées par GoogleBot, le robot de Google. Pour rendre ceci plus concret, je suis parti d'un exemple…

Google en résumé

Dans : Techniques de référencement - Par invite, le Mardi 4 mars 2003

Un article de Eservice (Sécurité Internet), publié en mars 2003

Une recherche, deux fichiers cache, trois traitements

Cet article est une synthèse du fonctionnement du moteur de recherche Google. Vous trouverez à la suite, des liens pour approfondir le sujet.

Tout le monde connaît le moteur de recherche Google ( www.google.fr ). Mais comment fait-il pour trouver les nombreux résultats ( parfois plusieurs millions ) en une fraction de seconde ?

Googlebot expliqué en détails

Dans : Indexation Google - Par Olivier Duffez, le Vendredi 21 février 2003

GoogleBot est le nom du robot d'indexation de Google. Ce robot est programmé pour fonctionner sur des centaines de machines à la fois, avec des adresses IP différentes. Il faut dire qu'il a 3 milliards de documents à mettre à jour régulièrement, et des millions de nouveaux à découvrir…

Fresh Crawl, Deep Crawl, Google Dance…

Dans : Indexation Google - Par Olivier Duffez, le Vendredi 22 novembre 2002

La vie d'une page sur le web est ponctuée en général de nombreuses visites, que ce soit de visiteurs (humains), de robots de moteurs de recherche voire de logiciel (aspirateurs de sites). Si la dernière catégorie n'intéresse pas vraiment le webmaster, il souhaite en général augmenter la fréquence des deux autres… Intéressons-nous aux visites des robots, par exemple celles de GoogleBot, le robot de Google.

La danse du web orchestrée par Google

Dans : Techniques de référencement - Par Olivier Duffez, le Mardi 1 octobre 2002

Peut-être n'êtes vous pas encore au courant mais il est désormais fréquent de trouver comme question dans un forum  : « Elle a commencé la Google Dance ? ». Non, il ne s'agit pas des ingénieurs de Google qui font la java dans leurs bureaux… Quoique ça arrive parfois quand ils organisent une fête en invitant les webmasters au GooglePlex : voyez les photos :-)