Configurer les options de passage de Googlebot sur son site
Jusqu'à présent, Google permettait au webmaster de choisir entre 2 niveaux de vitesse de crawl (parfois un 3ème niveau était accessible). L'objectif est de demander au robot Googlebot de venir plus ou moins souvent sur le site, en fonction de la charge du serveur. Google vient d'annoncer que le réglage de la vitesse d'exploration est désormais plus fin.
Dans certains cas, Googlebot peut consommer une forte bande passante sur un site, à cause d'une fréquence de visite (crawl rate) trop importante. Heureusement c'est relativement rare et dans la plupart des cas, les webmasters n'ont pas à se soucier de cela. En effet, Google utilise plusieurs critères pour évaluer à quelle fréquence il faut venir crawler un site (j'ai expliqué dans un précédent article qu'il existe différents types de crawlers, spécialisés en fonction de la fréquence de mise à jour des sites crawlés).
Si jamais vous avez l'impression que Googlebot sature votre serveur, vous pouvez tester de lui demander de venir moins souvent. Pour cela, allez dans votre compte Google Webmaster Tools dans la rubrique Paramètres (Settings) et configurez la vitesse d'exploration. Vous pouvez maintenant définir :
- le nombre maximum de requêtes par seconde (une requête correspond à un hit, dites-moi si je me trompe)
- le délai entre 2 requêtes, exprimé en nombre de secondes
Exemple de changement de configuration (visant à augmenter la fréquence de crawl de 67%) :

Cette configuration n'est disponible que pour ceux qui gèrent un site en nom de domaine propre (ce n'est pas le cas par exemple des sites sur blogpost.com ou free.fr). De toute façon ceux qui me lisent savent très bien que si le référencement est stratégique pour vous, il est indispensable d'investir (c'est un bien grand mot) dans un nom de domaine. Il faut également avoir accès à la racine du site et pas seulement une sous-partie.
Enfin, soyez bien conscients que si vous demandez à Googlebot de venir moins souvent crawler votre site, il faut vous attendre à ce que vos nouvelles pages soient indexées moins rapidement et à ce que Google mette moins souvent à jour vos anciennes pages. Votre référencement en sera donc affecté… C'est pourquoi je vous recommande plutôt d'optimiser la fluidité de votre site ou d'investir dans un meilleur serveur web.
On en discute dans le forum WebRankInfo : Configurer la vitesse d'exploration de Google.
Olivier Duffez, Vendredi 5 décembre 2008
Formation référencement et webmarketing
Vous souhaitez sans doute améliorer votre référencement, avez-vous pensé à suivre une formation spécialisée sur le référencement naturel ? En 2008, plus de 700 entreprises ont assisté à nos différentes sessions, la plupart faisant financer ces journées par la formation professionnelle (OPCA). Orange Labs nous a décerné un taux de satisfaction des participants de 90% (octobre 2008).
Préparés et animés par Olivier Duffez (WebRankInfo) et Fabien Faceries (AgentWebRanking), 2 professionnels reconnus dans la profession, nos modules sur le référencement naturel sont très complets tout en laissant une grande place à l'interactivité pour répondre à toutes les questions des participants.
Pour connaître le plan détaillé de chaque module, le prix, les dates et les lieux, cliquez ici pour consulter le site de Ranking Metrics (organisme de formation agréé).
Lectures recommandées sur ce thème :
- Etude de Googlebot, le robot crawler de Google (Fresh Bot, Deep Bot)
- Le Full Crawl a enfin commencé
- Googlebot, le robot d'indexation de Google
- La danse de Googlebot :-) La Google Dance
- Etude de Googlebot, le robot d'indexation de Google
- Présentation de l'indexation Google - Googlebot, le robot de Google
- La vie d'une page sur le web : Fresh Crawl, Deep Crawl, Google Dance
- Le début du full crawl
- Gérer ses paramètres de tracking dans Google Webmaster Tools
- Début du Full Crawl
- Options googlebot vitesse ?
- Aucune exploration googlebot depuis le 23 aout
- vitesse de crawl
- Vitesse indexation google
- Vitesse d indexation Google MSN
- Vitesse de crawl (nombre de page vue/seconde) ?
- différence entre crawl.googlebot et crawler.googlebot ?
- Configuration de la vitesse d'exploration de Googlebot
- google crawl indexation nouveaux domaines
- Vitesse d'indexation de GoogleBot Extrement lente
- Erreurs dans Exploration du web dans Google Outils webmaster
- Différence entre le passage de googlebot et la google dance
- crawl et crawler googlebot ?
- Mon site est sur Google et pas de passage de GoogleBot !!
- Vitesse d'Exploration Google
Consultez la description détaillée des produits ou services de Google suivants : Googlebot, Google Webmaster Tools, Google Calculator, Google Sitemaps
3 commentaires sur “Configurer les options de passage de Googlebot sur son site”
Laisser une réponse
Hébergement web
Pour un bon référencement, il faut un bon hébergeur. Testez Sivit, l'hébergeur choisi par Olivier Duffez pour son site WebRankInfo (+ de 3 millions de visites/mois). Vous bénéficiez d'une garantie 30 jours satisfait ou remboursé.
A partir de 1,90 EUR HT/mois.
A la une sur WebRankInfo
Formation au référencement
Découvrez le programme de formation au référencement le plus complet : méthodologie d'optimisation du référencement Google, sites dynamiques, stratégies de liens, blogs, formation juridique Internet, Google Analytics, taux de transformation, ROI, etc.
Ce cycle de formation peut être pris en compte par votre budget formation... profitez-en !
Cette formation est assurée notamment par Olivier Duffez, créateur du site WebRankInfo et consultant indépendant en référencement.
Logiciel de pro
Vous cherchez un bon logiciel pour effectuer le suivi du référencement ? Je vous conseille AgentWebRanking, le logiciel leader sur le marché, développé par une entreprise française et vendu dans le monde entier depuis 1998.
En tant que consultant en référencement, je l'utilise pour mes prestations de conseil en référencement professionnel.
Derniers sites inscrits
- Hotel restaurant Le Pont Neuf à Florac Lozère dans les Gorges du Tarn
- Organisation coordination de tout type d'évènement en Haute Savoie
- Agence immobilière Somacimmo - Somain
- Hôtel de Bordeaux à La rochelle
- Vente en ligne de cactus plantes grasses et tillandsia
- TETRADIS, Distributeur spécialisé solutions interconnexion très haut débit
- Cartes, faire-parts et articles de papeterie à imprimer soi-même
- 17WebStore - Achetez aujourd'hui la technologie de demain
- Location de musique DJ pour trouver chaque soirée
- Santé des chiens et des chats : des vétérinaires répondent à vos questions
- Outils interactifs pour un développement durable facile en entreprises
- Must Animation : Dj animateur, organisation et l'animation évènementielle
- Location de villa et appartement à koh Samui en Thailande
- Le club des amateurs et passionnés des jeux de grille
- Colat Clés le Serrurier - Professionnel de la serrurerie en Guadeloupe



Moi sur Google Webmaster tools, l’option qui permettait justement de définir la vitesse d’exploration a disparu. Pourquoi ? Mystère.
Bizarre , chez moi ça marche toujours !
C’est pas mal en effet, mais il manque de pourvoir déterminer l’heure à laquelle il explore les sites (pour diminuer l’indexation pendant la journée et l’augmenter pendant la nuit).
Christophe