Crawl-delay : ça marche toujours ?

Bonjour à toutes et à tous,

Mon GWT/exploration/outils de test du fichier robots.txt me colle un avertissement en face de la mention Crawl-delay: 10. Puis lorsque je passe ma souris sur l'icône d'avertissement, il me dit « Règle ignorée par Googlebot ».

Bon :? .

Je vais quand même sur paramètres du site/vitesse d'exploration, et là je règle sur 2 demandes par seconde, 0,5 seconde entre les demandes.

Et voilà que l'outil me dit : Vitesse d'exploration Valable jusqu'au 21 mai 2017.

Bon :| .

Ensuite je retourne sur GWT/exploration/outils de test du fichier robots.txt, et là je vois qu'il affiche toujours Crawl-delay: 10. 8O . Donc en fait, les changements n'ont pas été pris en compte.

En fait, est-ce qu'on peut bidouiller la vitesse d'exploration ? Est-ce que ça sert à quelque chose ? Et surtout, est-ce que c'est dangereux ?

Merci d'avance.

 

Et bien non, car la ligne de code Crawl-delay: 10 n'apparaît pas sur le fichier robots.txt, lorsque je le télécharge sur mon ordinateur. Cette ligne de code semble être générée depuis GWT.

 

Oui, j'ai forcé la mise à jour, j'ai attendu 2 minutes, j'ai vidé le cache de mon navigateur, mais la mention figure toujours..... Et pourtant lorsque je télécharge le fichier robot.txt sur mon ordinateur, je ne vois pas cette fameuse mention... d'où ma surprise.

 

Oui, et c'est suite à ton alerte que je m'en préoccupe. J'ai essayé de virer la ligne de code depuis l'interface éditeur sur mon serveur, mais point de ligne de code.... je l'ai téléchargé sur mon ordinateur, mais pareil : toujours pas cette fameuse ligne de code Crawl-delay: 10.

On ne la voit que lorsque l'on va sur l'URL, ou lorsque l'on va sur GWT. À moins que je me sois trompé quelque part…

 

Après avoir parcouru les sources d'infos que tu m'as donné, j'en déduis que le fichier Robots.txt ne sert qu'à indiquer à Google ce qu'il doit crawler ou non. J'ai essayé d'enlever cette commande, mais apparemment c'est chou blanc. Quoiqu'il en soit tout cela ne semble pas m'expliquer pourquoi mon site a tout d'un coup dégringolé de plus de 50 %. Je vais t'envoyer un MP à cet effet.