Indexation Google
Dans : Indexation Google - Par Olivier Duffez, le Samedi 6 septembre 2008
Cet article présente la notion de blacklistage (blacklisting) de Google et indique ce qu'il faut faire si votre site est ainsi banni de l'index Google.
Dans : Indexation Google - Par Olivier Duffez, le Samedi 6 septembre 2008
Pour indexer des millions de pages tous les jours, Google utilise une « armée » de robots d'indexation, appelés GoogleBot (lire l'étude sur GoogleBot pour en savoir plus). A chaque fois qu'un de ces robots visite une page, il la récupère et la stocke sur un des serveurs de Google. Cette version du document est appelée la version cache. On comprend vite qu'avec des milliards de documents Google ait besoin de plus de 10 000 serveurs (et beaucoup de disques durs…).
Dans : Indexation Google - Par Olivier Duffez, le Samedi 6 septembre 2008
Les milliers de serveurs de Google sont répartis sur des centres de données, appelés Data Centers. Voici la liste des premiers data centers de Google…
Dans : Indexation Google - Par Olivier Duffez, le Vendredi 5 septembre 2008
Petite étude réalisée en 2002 et 2003 sur les différentes formes de Googlebot, le robot de crawl de Google.
Dans : Indexation Google - Par Olivier Duffez, le Vendredi 5 septembre 2008
Cet article présente le système de crawl (récupération des documents web) et d'indexation (analyse des documents web) par Google.
Dans : Actualité - Par Olivier Duffez, le Mardi 2 mai 2006
Apparement Googlebot arrive a analyser les codes Javascript contrairement à tout ce qu'on a pu entendre pour le moment, et il arrive meme à déceler les URL à l'intérieur de ces Javascript (il cherche à trouver les URL présentes dans le code et à les suivre)…
Dans : Actualité - Par Olivier Duffez, le Dimanche 9 mai 2004
Cet article rappelle les problèmes d'indexation des forums phpBB, en particulier avec Google, puis donne des solutions simples et précises. N'importe quel webmaster possédant un forum phpBB pourra ainsi avoir toutes les discussions de son forum indexées dans Google.
Dans : Actualité - Par Olivier Duffez, le Mercredi 28 avril 2004
Le
référencement du Flash a toujours posé problème, car Google n'indexe que très mal ce type de fichier. On savait que Google pouvait trouver les liens dans les animations Flash, mais l'indexation se limitait aux recherches de liens. Ce type de lien est d'ailleurs compté en tant que
backlink et participe donc au
PageRank.
Google prouve aujourd'hui qu'il est capable d'indexer le texte présent dans les animations Flash.
Dans : Indexation Google - Par Olivier Duffez, le Jeudi 2 octobre 2003
Depuis environ 6 mois, Google a davantage changé ses méthodes que par le passé. Nous allons tenter de faire le point sur les modifications apportées à son fonctionnement ou son algorithme, en commençant par les techniques d'indexation utilisées par GoogleBot, le robot de Google. Pour rendre ceci plus concret, je suis parti d'un exemple…
Dans : Indexation Google - Par Olivier Duffez, le Vendredi 21 février 2003
GoogleBot est le nom du robot d'indexation de Google. Ce robot est programmé pour fonctionner sur des centaines de machines à la fois, avec des adresses IP différentes. Il faut dire qu'il a 3 milliards de documents à mettre à jour régulièrement, et des millions de nouveaux à découvrir…
Dans : Indexation Google - Par Olivier Duffez, le Vendredi 22 novembre 2002
La vie d'une page sur le web est ponctuée en général de nombreuses visites, que ce soit de visiteurs (humains), de robots de moteurs de recherche voire de logiciel (aspirateurs de sites). Si la dernière catégorie n'intéresse pas vraiment le webmaster, il souhaite en général augmenter la fréquence des deux autres… Intéressons-nous aux visites des robots, par exemple celles de GoogleBot, le robot de Google.