Crawl-delay : ça marche toujours ?

Discussion dans 'Débuter en référencement' créé par Icipierrot, 20 Février 2017.

  1. Icipierrot
    Icipierrot WRInaute occasionnel
    Inscrit:
    30 Octobre 2013
    Messages:
    339
    J'aime reçus:
    14
    Bonjour à toutes et à tous,

    Mon GWT/exploration/outils de test du fichier robots.txt me colle un avertissement en face de la mention Crawl-delay: 10. Puis lorsque je passe ma souris sur l'icône d'avertissement, il me dit « Règle ignorée par Googlebot ».

    Bon :? .

    Je vais quand même sur paramètres du site/vitesse d'exploration, et là je règle sur 2 demandes par seconde, 0,5 seconde entre les demandes.

    Et voilà que l'outil me dit : Vitesse d'exploration Valable jusqu'au 21 mai 2017.

    Bon :| .

    Ensuite je retourne sur GWT/exploration/outils de test du fichier robots.txt, et là je vois qu'il affiche toujours Crawl-delay: 10. 8O . Donc en fait, les changements n'ont pas été pris en compte.

    En fait, est-ce qu'on peut bidouiller la vitesse d'exploration ? Est-ce que ça sert à quelque chose ? Et surtout, est-ce que c'est dangereux ?

    Merci d'avance.
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 875
    J'aime reçus:
    72
    C'est logique, tu n'as pas modifié le robots.txt, donc la ligne que tu as qui concerne le crawl-delay ne va pas disparaître par magie, même si elle n'est pas prise en compte.
     
  3. Icipierrot
    Icipierrot WRInaute occasionnel
    Inscrit:
    30 Octobre 2013
    Messages:
    339
    J'aime reçus:
    14
    Et bien non, car la ligne de code Crawl-delay: 10 n'apparaît pas sur le fichier robots.txt, lorsque je le télécharge sur mon ordinateur. Cette ligne de code semble être générée depuis GWT.
     
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 875
    J'aime reçus:
    72
    Non, Google ne rajoute pas de lignes dans ton robots.txt. As-tu forcé la mise à jour de celui-ci via Google Search Console ?
     
  5. Furtif
    Furtif WRInaute accro
    Inscrit:
    9 Août 2005
    Messages:
    2 530
    J'aime reçus:
    152
    je te l'avais signalé dans ton precedent post

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Crawl-delay: 10
     
  6. Icipierrot
    Icipierrot WRInaute occasionnel
    Inscrit:
    30 Octobre 2013
    Messages:
    339
    J'aime reçus:
    14
    Oui, j'ai forcé la mise à jour, j'ai attendu 2 minutes, j'ai vidé le cache de mon navigateur, mais la mention figure toujours..... Et pourtant lorsque je télécharge le fichier robot.txt sur mon ordinateur, je ne vois pas cette fameuse mention... d'où ma surprise.
     
  7. Icipierrot
    Icipierrot WRInaute occasionnel
    Inscrit:
    30 Octobre 2013
    Messages:
    339
    J'aime reçus:
    14
    Oui, et c'est suite à ton alerte que je m'en préoccupe. J'ai essayé de virer la ligne de code depuis l'interface éditeur sur mon serveur, mais point de ligne de code.... je l'ai téléchargé sur mon ordinateur, mais pareil : toujours pas cette fameuse ligne de code Crawl-delay: 10.

    On ne la voit que lorsque l'on va sur l'URL, ou lorsque l'on va sur GWT. À moins que je me sois trompé quelque part…
     
  8. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 138
    J'aime reçus:
    350
    d'abord, il faut savoir que Google n'a jamais géré la directive non standard "Crawl-delay" (elle est prise en compte par Bingbot, et encore la valeur à indiquer n'est pas un nombre de secondes...)

    ensuite, le fichier robots.txt qui est affiché dans Search Console est celui que Googlebot a récupéré la dernière fois (la date est indiquée au-dessus). Si tu modifies ton fichier robots.txt (et que tu le mettes en ligne), il reste à attendre que Google s'en rende compte. Ou alors tu lui indiques qu'il a été modifié et qu'il doit venir le crawler à nouveau. Mais ça ne change rien à cette histoire de Crawl-delay.
     
  9. Icipierrot
    Icipierrot WRInaute occasionnel
    Inscrit:
    30 Octobre 2013
    Messages:
    339
    J'aime reçus:
    14
    Après avoir parcouru les sources d'infos que tu m'as donné, j'en déduis que le fichier Robots.txt ne sert qu'à indiquer à Google ce qu'il doit crawler ou non. J'ai essayé d'enlever cette commande, mais apparemment c'est chou blanc. Quoiqu'il en soit tout cela ne semble pas m'expliquer pourquoi mon site a tout d'un coup dégringolé de plus de 50 %. Je vais t'envoyer un MP à cet effet.
     
  10. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 138
    J'aime reçus:
    350
    cette commande n'a aucun impact pour Google, donc qu'on la mette ou pas ça ne change rien. donc je ne comprends pas cette remarque.
     
Chargement...
Similar Threads - Crawl delay ça Forum Date
Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot Référencement Bing 13 Août 2009
Pages crawlées mais non indexées Crawl et indexation Google, sitemaps Lundi à 12:57
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Ne pas rendre crawlable le menu ? Référencement Google 15 Septembre 2019
Probleme avec le crawl Mobile sur Search Console Crawl et indexation Google, sitemaps 14 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Incohérences stats de crawl et logs apache Crawl et indexation Google, sitemaps 25 Juillet 2019
Décalage entre le crawl et la search console Crawl et indexation Google, sitemaps 18 Juillet 2019
Taux de crawling en chute Crawl et indexation Google, sitemaps 25 Mai 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice