Crawl-delay : ça marche toujours ?

[Icipierrot]

Bonjour à toutes et à tous,

Mon GWT/exploration/outils de test du fichier robots.txt me colle un avertissement en face de la mention Crawl-delay: 10. Puis lorsque je passe ma souris sur l'icône d'avertissement, il me dit « Règle ignorée par Googlebot ».

Bon :? .

Je vais quand même sur paramètres du site/vitesse d'exploration, et là je règle sur 2 demandes par seconde, 0,5 seconde entre les demandes.

Et voilà que l'outil me dit : Vitesse d'exploration Valable jusqu'au 21 mai 2017.

Bon :| .

Ensuite je retourne sur GWT/exploration/outils de test du fichier robots.txt, et là je vois qu'il affiche toujours Crawl-delay: 10. 8O . Donc en fait, les changements n'ont pas été pris en compte.

En fait, est-ce qu'on peut bidouiller la vitesse d'exploration ? Est-ce que ça sert à quelque chose ? Et surtout, est-ce que c'est dangereux ?

Merci d'avance.

 

[UsagiYojimbo]

C'est logique, tu n'as pas modifié le robots.txt, donc la ligne que tu as qui concerne le crawl-delay ne va pas disparaître par magie, même si elle n'est pas prise en compte.

 

[Icipierrot]

C'est logique, tu n'as pas modifié le robots.txt

Et bien non, car la ligne de code Crawl-delay: 10 n'apparaît pas sur le fichier robots.txt, lorsque je le télécharge sur mon ordinateur. Cette ligne de code semble être générée depuis GWT.

 

[UsagiYojimbo]

Non, Google ne rajoute pas de lignes dans ton robots.txt. As-tu forcé la mise à jour de celui-ci via Google Search Console ?

 

[Furtif]

la ligne de code Crawl-delay: 10 n'apparaît pas sur le fichier robots.txt

je te l'avais signalé dans ton precedent post

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Crawl-delay: 10

 

[Icipierrot]

As-tu forcé la mise à jour de celui-ci via Google Search Console ?

Oui, j'ai forcé la mise à jour, j'ai attendu 2 minutes, j'ai vidé le cache de mon navigateur, mais la mention figure toujours..... Et pourtant lorsque je télécharge le fichier robot.txt sur mon ordinateur, je ne vois pas cette fameuse mention... d'où ma surprise.

 

[Icipierrot]

je te l'avais signalé dans ton precedent post

Oui, et c'est suite à ton alerte que je m'en préoccupe. J'ai essayé de virer la ligne de code depuis l'interface éditeur sur mon serveur, mais point de ligne de code.... je l'ai téléchargé sur mon ordinateur, mais pareil : toujours pas cette fameuse ligne de code Crawl-delay: 10.

On ne la voit que lorsque l'on va sur l'URL, ou lorsque l'on va sur GWT. À moins que je me sois trompé quelque part…

 

[WebRankInfo]

d'abord, il faut savoir que Google n'a jamais géré la directive non standard "Crawl-delay" (elle est prise en compte par Bingbot, et encore la valeur à indiquer n'est pas un nombre de secondes...)

ensuite, le fichier robots.txt qui est affiché dans Search Console est celui que Googlebot a récupéré la dernière fois (la date est indiquée au-dessus). Si tu modifies ton fichier robots.txt (et que tu le mettes en ligne), il reste à attendre que Google s'en rende compte. Ou alors tu lui indiques qu'il a été modifié et qu'il doit venir le crawler à nouveau. Mais ça ne change rien à cette histoire de Crawl-delay.

 

[Icipierrot]

Mais ça ne change rien à cette histoire de Crawl-delay.

Après avoir parcouru les sources d'infos que tu m'as donné, j'en déduis que le fichier Robots.txt ne sert qu'à indiquer à Google ce qu'il doit crawler ou non. J'ai essayé d'enlever cette commande, mais apparemment c'est chou blanc. Quoiqu'il en soit tout cela ne semble pas m'expliquer pourquoi mon site a tout d'un coup dégringolé de plus de 50 %. Je vais t'envoyer un MP à cet effet.

 

[WebRankInfo]

J'ai essayé d'enlever cette commande, mais apparemment c'est chou blanc.

cette commande n'a aucun impact pour Google, donc qu'on la mette ou pas ça ne change rien. donc je ne comprends pas cette remarque.