Configuration de la vitesse d'exploration de Googlebot

[WebRankInfo]

Configurer les options de passage de Googlebot sur son site​

Dans Search Console, vous pouvez choisir de paramétrer des options pour la fréquence des visites du robot Googlebot pour qu'il vienne plus ou moins souvent sur votre site, en fonction de la charge du serveur.

Dans certains cas, Googlebot peut consommer une forte bande passante sur un site, à cause d'une fréquence de visite (crawl rate) trop importante. Heureusement c'est relativement rare et dans la plupart des cas, les webmasters n'ont pas à se soucier de cela. En effet, Google utilise plusieurs critères pour évaluer à quelle fréquence il faut venir crawler un site (j'ai expliqué dans un précédent article qu'il existe différents types de crawlers, spécialisés en fonction de la fréquence de mise à jour des sites crawlés).

Si jamais vous avez l'impression que Googlebot sature votre serveur, vous pouvez tester de lui demander de venir moins souvent. Pour cela, allez dans votre compte Google Search Console, sélectionnez votre site puis cliquez en haut à droite sur la roue dentée. Cliquez alors sur Paramètres du site et configurez la vitesse d'exploration. Vous pouvez maintenant définir :

• le nombre maximum de requêtes par seconde (une requête correspond à un hit, dites-moi si je me trompe)
• le délai entre 2 requêtes, exprimé en nombre de secondes

Exemple de changement de configuration (visant à augmenter la fréquence de crawl de 67%) :

Cette configuration n'est disponible que pour ceux qui gèrent un site en nom de domaine propre (ce n'est pas le cas par exemple des sites sur blogpost.com ou free.fr). De toute façon ceux qui me lisent savent très bien que si le référencement est stratégique pour vous, il est indispensable d'investir (c'est un bien grand mot) dans un nom de domaine. Il faut également avoir accès à la racine du site et pas seulement une sous-partie.

Enfin, soyez bien conscients que si vous demandez à Googlebot de venir moins souvent crawler votre site, il faut vous attendre à ce que vos nouvelles pages soient indexées moins rapidement et à ce que Google mette moins souvent à jour vos anciennes pages. Votre référencement en sera donc affecté... C'est pourquoi je vous recommande plutôt d'optimiser la fluidité de votre site ou d'investir dans un meilleur serveur web.

 

[Robinson]

Gogogogo.... vitesse maximaleeee :lol:

 

[Eroan]

Allez, avec mon énorme dédié je mets le max, histoire de tester ça

Je vous dirai si j'ai des résultats significatifs... et d'ici combien de temps !

 

[ayor]

vitesse maximale pour moi aussi...

par contre ce qui est bizarre, c'est que ca ne positionne cette préférence que pour 4 mois

 

[e-kiwi]

ah dis donc, oui, il m'avait remis en normal après sa mise à jour, alors que sur l'ancienne version, j'étais en "plus rapide"

 

[WebRankInfo]

c'est pas 4 mois c'est 90 jours, c'est marqué dans la doc

 

[Madrileño]

Quel est le temps le plus rapide possible, indiqué pour la vitesse de crawl (du GoogleBot) ? (Curiosité).

 

[HawkEye]

Chez moi le max c'est:

400%
2.5 demandes/sec
0.4 sec entre les demandes

 

[Panza]

Pour moi le max c'est:
16567% modification du paramètre actuel
0.5 demandes/sec
2 sec entre les demandes

C'est vraiment beaucoup, je vais voir dans les jours à venir si c'est néfaste...

 

[HawkEye]

Reste à voir ce qu'ils appellent "demande", comme le souligne nonchalamment Olivier dans l'article.

Si c'est des "hits", c'est pas pareil que si c'est des crawls de pages: en l'occurence, 0.5/sec ça fait son 43K pages/jours: sur un p'tit mutu ça fait mal.


Note en passant: quand c'était encore l'ancien système, je l'avais mis sur "Maximum" (raf, gros dédié pour un seul site, on y va...): c'es descendu tout seul au niveau "normal" après quelques mois... mais je n'ai pas vu de réelle différence en charge ou en vitesse de présentation dans les SERPs.

 

[aurelien59]

Bonne nouvelle mais j'ai ce message:

Des paramètres spécifiques ont été définis pour la vitesse d'exploration de votre site. Vous ne pouvez pas modifier la vitesse d'exploration.

Et c'est bien un ndd propre.

 

[e-kiwi]

moi je suis a 10 demandes par secondes, 0.1 entre chaque demande

 

[Eroan]

Déduisez-en que le max dépend de votre serveur !

Avec mon gros serveur, Google me propose au max :

7 demandes par seconde
0,143 secondes entre les demandes

Ce que j'ai sélectionné !

Concernant le retour c'est hyper rapide, depuis hier j'ai eu + 11500 pages référencées... avec un petit changement de structure du site en même temps mais je ne sais pas quelle modif a le plus joué.

Réellement efficace donc

 

[Tom_Tom]

J'ai un nom de domaine en propre mais je n'ai pas accès à ce réglage : "Your site has been assigned special crawl rate settings. You will not be able to change the crawl rate."

 

[Leonick]

J'ai un nom de domaine en propre mais je n'ai pas accès à ce réglage : "Your site has been assigned special crawl rate settings. You will not be able to change the crawl rate."

parce que tu dois être sur du mutualisé

 

[Tom_Tom]

Exact !
Dommage pour moi !

 

[l.alibert@anmv.fr]

Bonjour,

Moi je suis sur du mutualisé et pourtant j'y ai accès
Je voudrais simplement savoir si vous pouvez me donner une vitesse correcte que je peux paramétrer?

Merci
Lionel

 

[YoyoS]

Je crois pas que ça dépende du serveur, mais plutôt du site concernant. J'ai plein de sites sur un même dédié et comme par hasard les petits ont une petite valeur maximum et pas les plus gros.

 

[l.alibert@anmv.fr]

Bonjour YOYOS,

J'ai envoyé mon sitemap hier sur gg et il a été validé dans la foulée. Cependant, je ne vois pas la liste des pages indexées, sais tu combien de temps cela peut prendre? D'autre part, comment puis-je connnaître la date du dernier passage de ggbot sur mon site et sa fréquence de passage?

MRCI

Lionel

 

[YoyoS]

Tu ne peux pas voir la liste des pages indexées mais juste un nombre de pages indexées / total de pages dans ton sitemap.

Pour la modification de la fréquence de passage de GoogleBot c'est dans les paramètres de ton compte GWT.

 

[l.alibert@anmv.fr]

Donc je ne peux pas savoir si mes pages ont été indexées?
D'autre part, je n'ai accès qu'à ces outils dans GWT/paramètres:
-Zone géographique ciblée
-Domaine favori
-Recherche d'images
-Vitesse d'exploration

M'en manquerait 'il?

Merci de ta réponse

Lionel

 

[beloute]

Chez OVH en mutualisé on ne peu plus régler la vitesse.

 

[Marie-Aude]

Bonjour YOYOS,

J'ai envoyé mon sitemap hier sur gg et il a été validé dans la foulée. Cependant, je ne vois pas la liste des pages indexées, sais tu combien de temps cela peut prendre? D'autre part, comment puis-je connnaître la date du dernier passage de ggbot sur mon site et sa fréquence de passage?

Je ne suis pas YoyoS mais je me permet de répondre
La vitesse de crawl du sitemap est une chose, la vitesse d'indexation une autre.
Pour le passage du bot tu peux utiliser un outil comme Crawlsat, ou tes logs.
Pour les pages indexées, la commande site: est ton amie

J'ai fat un article dans mon blog sur les parties de cache-cache du bot... http://www.lumieredelune.com/encrelune/google-bot-sitemap-index-webmas ... ls,2009,02