1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Robots.txt : changement soudain d'interpretation par google

Discussion dans 'Crawl et indexation Google, sitemaps' créé par jolm, 18 Février 2016.

  1. jolm
    jolm WRInaute occasionnel
    Inscrit:
    3 Septembre 2011
    Messages:
    270
    J'aime reçus:
    0
    Bonjour à tous,

    Je viens de friser la crise cardiaque en voyant tous mes sites en alerte sur GWT.
    Et cela concerne des fichiers robots que je n'ai pas touchés depuis des mois, voire années ...
    En fait, une ligne comme :

    [disallow: *nompage*] est semble-t-il interprétée comme [disallow: *]

    Du coup j'ai du changer les [disallow: *nompage*] en [disallow: /*nompage*]

    Là ca fonctionne.

    Les syntaxes du robots.txt auraient-elles changées ou est-ce que google a planté ?

    Merci d'avance pour vos éclaircissements ;-)
     
  2. Furtif
    Furtif WRInaute passionné
    Inscrit:
    9 Août 2005
    Messages:
    2 462
    J'aime reçus:
    136
  3. jolm
    jolm WRInaute occasionnel
    Inscrit:
    3 Septembre 2011
    Messages:
    270
    J'aime reçus:
    0
    Admettons que ma syntaxe était erronée, pourquoi google ne l’interprète de cette manière que maintenant ?
    Googlebot a bel et bien réduit de 90% ses crawl depuis 24h environ.
    Pour revenir à la syntaxe, je trouve quand meme abusif d’interpréter disallow: *un_mot* comme si c'était disallow: /
    Donc toute ligne doit commencer par "/".
    A priori ça ne bloque que le bot, ça n'indique pas un no-index ce qui est déjà rassurant. J'espère que la mini coupure du bot (en espérant qu'il prenne vite en compte mon nouveau fichier robot) ne se fera pas trop sentir.

    Bref, en tout cas google a changé sa manière de voir la syntaxe du fichier, au moins en tout cas concernant ma coquille.
     
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    71
    Tu peux forcer la mise à jour du robots.txt depuis GWT maintenant.
     
  5. jolm
    jolm WRInaute occasionnel
    Inscrit:
    3 Septembre 2011
    Messages:
    270
    J'aime reçus:
    0
    Merci, déjà fait ;-)
    Je vais observer la temps de réaction et vous le dirai. Ca fait plus de 2 heures et tjrs pas d’excitation du GGbot. On va voir ce qu'il a dans les tripes ce super calculateur de GG ;-)
     
  6. Furtif
    Furtif WRInaute passionné
    Inscrit:
    9 Août 2005
    Messages:
    2 462
    J'aime reçus:
    136
  7. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 372
    J'aime reçus:
    2
    Oui c'est dans la doc :
    http://robots-txt.com/ressources/robots-txt-wildcard/
     
  8. jolm
    jolm WRInaute occasionnel
    Inscrit:
    3 Septembre 2011
    Messages:
    270
    J'aime reçus:
    0
  9. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    71
    Je suis toujours parti sur le modèle du robots.txt de Google. Et en effet, chez eux tout commence par un /
     
  10. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 372
    J'aime reçus:
    2
    En fait c'est comme le code pas valide, ça marche jusqu'à ce que ?
     
  11. jolm
    jolm WRInaute occasionnel
    Inscrit:
    3 Septembre 2011
    Messages:
    270
    J'aime reçus:
    0
    A priori je ne suis pas le seul à avoir fait ce genre d'erreur ...
    Mais dans ce cas pourquoi gg ne me met pas mon robots.txt en erreur au lieu de faire une mauvaise interprétation ?

    Le bot ne crawl tjrs qu'à à peine 10% de ce qu'il fait habituellement. Pensez-vous que cela va nuire aux référencement ?
    Pour l'instant rein a signaler niveau audience (c'est tout de même un site costaud à plus de 50 000 visites/jour).
    Quelqu'un aurait il un retour sur la prise en compte du fichier robots, plutôt 48h ou 2 semaines ?!

    D'avance merci pour votre partage d'expérience !
     
  12. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 756
    J'aime reçus:
    234
    Le meilleur robots.txt c'est:
    Code:
     
     
  13. indigene
    indigene WRInaute accro
    Inscrit:
    7 Septembre 2003
    Messages:
    3 656
    J'aime reçus:
    72
    Si on veut interdire certaines pages il est préférable de les mettre dans un répertoire et d'interdire le répertoire. Ca évite ainsi à devoir modifier le robots.txt à chaque nouvelle page que l'on veut interdire.

    chez moi le robots.txt est presque aussi simple que celui de sprout :
    Code:
    User-agent: *
    
     
Chargement...
Similar Threads - Robots changement interpretation Forum Date
Délai de prise en compte changement robots.txt plus long Crawl et indexation Google, sitemaps 18 Mai 2019
Inertie des changement sur la meta robots Débuter en référencement 21 Juin 2013
Search Console un fichier robots.txt pour chaque protocole Débuter en référencement 15 Août 2019
Augmenter ses revenus au CPM avec des robots de trafic Monétisation d'un site web 6 Juillet 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
WordPress robots.txt pour supprimer une page (duplicate content) Débuter en référencement 2 Mai 2019
Site non responsive, ressources bloquées robots.txt Crawl et indexation Google, sitemaps 15 Avril 2019
Question sur sitemap et robots.txt Crawl et indexation Google, sitemaps 8 Avril 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice