Crawl-delay : ça marche toujours ?

Discussion dans 'Débuter en référencement' créé par Icipierrot, 20 Février 2017.

Tags:
  1. Icipierrot
    Icipierrot WRInaute occasionnel
    Inscrit:
    30 Octobre 2013
    Messages:
    370
    J'aime reçus:
    14
    Bonjour à toutes et à tous,

    Mon GWT/exploration/outils de test du fichier robots.txt me colle un avertissement en face de la mention Crawl-delay: 10. Puis lorsque je passe ma souris sur l'icône d'avertissement, il me dit « Règle ignorée par Googlebot ».

    Bon :? .

    Je vais quand même sur paramètres du site/vitesse d'exploration, et là je règle sur 2 demandes par seconde, 0,5 seconde entre les demandes.

    Et voilà que l'outil me dit : Vitesse d'exploration Valable jusqu'au 21 mai 2017.

    Bon :| .

    Ensuite je retourne sur GWT/exploration/outils de test du fichier robots.txt, et là je vois qu'il affiche toujours Crawl-delay: 10. 8O . Donc en fait, les changements n'ont pas été pris en compte.

    En fait, est-ce qu'on peut bidouiller la vitesse d'exploration ? Est-ce que ça sert à quelque chose ? Et surtout, est-ce que c'est dangereux ?

    Merci d'avance.
     
    #1 Icipierrot, 20 Février 2017
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 003
    J'aime reçus:
    128
    C'est logique, tu n'as pas modifié le robots.txt, donc la ligne que tu as qui concerne le crawl-delay ne va pas disparaître par magie, même si elle n'est pas prise en compte.
     
    #2 UsagiYojimbo, 20 Février 2017
  3. Icipierrot
    Icipierrot WRInaute occasionnel
    Inscrit:
    30 Octobre 2013
    Messages:
    370
    J'aime reçus:
    14
    Et bien non, car la ligne de code Crawl-delay: 10 n'apparaît pas sur le fichier robots.txt, lorsque je le télécharge sur mon ordinateur. Cette ligne de code semble être générée depuis GWT.
     
    #3 Icipierrot, 20 Février 2017
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 003
    J'aime reçus:
    128
    Non, Google ne rajoute pas de lignes dans ton robots.txt. As-tu forcé la mise à jour de celui-ci via Google Search Console ?
     
    #4 UsagiYojimbo, 20 Février 2017
  5. Furtif
    Furtif WRInaute accro
    Inscrit:
    9 Août 2005
    Messages:
    2 976
    J'aime reçus:
    339
    je te l'avais signalé dans ton precedent post

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Crawl-delay: 10
     
    #5 Furtif, 20 Février 2017
  6. Icipierrot
    Icipierrot WRInaute occasionnel
    Inscrit:
    30 Octobre 2013
    Messages:
    370
    J'aime reçus:
    14
    Oui, j'ai forcé la mise à jour, j'ai attendu 2 minutes, j'ai vidé le cache de mon navigateur, mais la mention figure toujours..... Et pourtant lorsque je télécharge le fichier robot.txt sur mon ordinateur, je ne vois pas cette fameuse mention... d'où ma surprise.
     
    #6 Icipierrot, 20 Février 2017
  7. Icipierrot
    Icipierrot WRInaute occasionnel
    Inscrit:
    30 Octobre 2013
    Messages:
    370
    J'aime reçus:
    14
    Oui, et c'est suite à ton alerte que je m'en préoccupe. J'ai essayé de virer la ligne de code depuis l'interface éditeur sur mon serveur, mais point de ligne de code.... je l'ai téléchargé sur mon ordinateur, mais pareil : toujours pas cette fameuse ligne de code Crawl-delay: 10.

    On ne la voit que lorsque l'on va sur l'URL, ou lorsque l'on va sur GWT. À moins que je me sois trompé quelque part…
     
    #7 Icipierrot, 20 Février 2017
  8. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 755
    J'aime reçus:
    797
    d'abord, il faut savoir que Google n'a jamais géré la directive non standard "Crawl-delay" (elle est prise en compte par Bingbot, et encore la valeur à indiquer n'est pas un nombre de secondes...)

    ensuite, le fichier robots.txt qui est affiché dans Search Console est celui que Googlebot a récupéré la dernière fois (la date est indiquée au-dessus). Si tu modifies ton fichier robots.txt (et que tu le mettes en ligne), il reste à attendre que Google s'en rende compte. Ou alors tu lui indiques qu'il a été modifié et qu'il doit venir le crawler à nouveau. Mais ça ne change rien à cette histoire de Crawl-delay.
     
    #8 WebRankInfo, 20 Février 2017
  9. Icipierrot
    Icipierrot WRInaute occasionnel
    Inscrit:
    30 Octobre 2013
    Messages:
    370
    J'aime reçus:
    14
    Après avoir parcouru les sources d'infos que tu m'as donné, j'en déduis que le fichier Robots.txt ne sert qu'à indiquer à Google ce qu'il doit crawler ou non. J'ai essayé d'enlever cette commande, mais apparemment c'est chou blanc. Quoiqu'il en soit tout cela ne semble pas m'expliquer pourquoi mon site a tout d'un coup dégringolé de plus de 50 %. Je vais t'envoyer un MP à cet effet.
     
    #9 Icipierrot, 21 Février 2017
  10. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 755
    J'aime reçus:
    797
    cette commande n'a aucun impact pour Google, donc qu'on la mette ou pas ça ne change rien. donc je ne comprends pas cette remarque.
     
    #10 WebRankInfo, 21 Février 2017
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Crawl delay ça Forum Date
Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot Référencement Bing 13 Août 2009
Problème : Google Crawl et Index des pages en No Index et bloqué par le robot.txt Crawl et indexation Google, sitemaps 26 Avril 2022
Crawler une url présente dans un select Développement d'un site Web ou d'une appli mobile 28 Mars 2022
Questions URL canonique, crawl et indexation Débuter en référencement 25 Mars 2022
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites 7 Décembre 2021
Budget Crawl Google pour un gros site Crawl et indexation Google, sitemaps 18 Novembre 2021
Problème récent de Crawl Google Crawl et indexation Google, sitemaps 7 Juillet 2021
faut-il activer les URL image ou éviter pour économiser le crawl Référencement Google 21 Juin 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Crawl et indexation Landing Page (site en création) Débuter en référencement 25 Mars 2021
Critères de tri en GET et budget crawl Référencement Google 25 Février 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Pas de nouveau "crawl" sur une page récente, pourquoi ? Crawl et indexation Google, sitemaps 17 Novembre 2020
Crawl Screaming Frog : comment interpréter ces données ? Crawl et indexation Google, sitemaps 8 Octobre 2020
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Qwant : une étude du crawl Autres moteurs de recherche connus 7 Juillet 2020