Configurer les options de passage de Googlebot sur son site

Jusqu'à présent, Google permettait au webmaster de choisir entre 2 niveaux de vitesse de crawl (parfois un 3ème niveau était accessible). L'objectif est de demander au robot Googlebot de venir plus ou moins souvent sur le site, en fonction de la charge du serveur. Google vient d'annoncer que le réglage de la vitesse d'exploration est désormais plus fin.

Dans certains cas, Googlebot peut consommer une forte bande passante sur un site, à cause d'une fréquence de visite (crawl rate) trop importante. Heureusement c'est relativement rare et dans la plupart des cas, les webmasters n'ont pas à se soucier de cela. En effet, Google utilise plusieurs critères pour évaluer à quelle fréquence il faut venir crawler un site (j'ai expliqué dans un précédent article qu'il existe différents types de crawlers, spécialisés en fonction de la fréquence de mise à jour des sites crawlés).

Si jamais vous avez l'impression que Googlebot sature votre serveur, vous pouvez tester de lui demander de venir moins souvent. Pour cela, allez dans votre compte Google Webmaster Tools dans la rubrique Paramètres (Settings) et configurez la vitesse d'exploration. Vous pouvez maintenant définir :

• le nombre maximum de requêtes par seconde (une requête correspond à un hit, dites-moi si je me trompe)
• le délai entre 2 requêtes, exprimé en nombre de secondes

Exemple de changement de configuration (visant à augmenter la fréquence de crawl de 67%) :

Cette configuration n'est disponible que pour ceux qui gèrent un site en nom de domaine propre (ce n'est pas le cas par exemple des sites sur blogpost.com ou free.fr). De toute façon ceux qui me lisent savent très bien que si le référencement est stratégique pour vous, il est indispensable d'investir (c'est un bien grand mot) dans un nom de domaine. Il faut également avoir accès à la racine du site et pas seulement une sous-partie.

Enfin, soyez bien conscients que si vous demandez à Googlebot de venir moins souvent crawler votre site, il faut vous attendre à ce que vos nouvelles pages soient indexées moins rapidement et à ce que Google mette moins souvent à jour vos anciennes pages. Votre référencement en sera donc affecté... C'est pourquoi je vous recommande plutôt d'optimiser la fluidité de votre site ou d'investir dans un meilleur serveur web.

On en discute dans le forum WebRankInfo : Configurer la vitesse d'exploration de Google.

Par Olivier Duffez , Vendredi 5 décembre 2008

Si vous souhaitez publier un extrait de cet article sur votre site, assurez-vous de respecter les conditions générales d'utilisation de WebRankInfo.