Robots.txt : changement soudain d'interpretation par google

[jolm]

Bonjour à tous,

Je viens de friser la crise cardiaque en voyant tous mes sites en alerte sur GWT.
Et cela concerne des fichiers robots que je n'ai pas touchés depuis des mois, voire années ...
En fait, une ligne comme :

[disallow: *nompage*] est semble-t-il interprétée comme [disallow: *]

Du coup j'ai du changer les [disallow: *nompage*] en [disallow: /*nompage*]

Là ca fonctionne.

Les syntaxes du robots.txt auraient-elles changées ou est-ce que google a planté ?

Merci d'avance pour vos éclaircissements ;-)

 

[Furtif]

http://robots-txt.com/

 

[jolm]

Admettons que ma syntaxe était erronée, pourquoi google ne l’interprète de cette manière que maintenant ?
Googlebot a bel et bien réduit de 90% ses crawl depuis 24h environ.
Pour revenir à la syntaxe, je trouve quand meme abusif d’interpréter disallow: *un_mot* comme si c'était disallow: /
Donc toute ligne doit commencer par "/".
A priori ça ne bloque que le bot, ça n'indique pas un no-index ce qui est déjà rassurant. J'espère que la mini coupure du bot (en espérant qu'il prenne vite en compte mon nouveau fichier robot) ne se fera pas trop sentir.

Bref, en tout cas google a changé sa manière de voir la syntaxe du fichier, au moins en tout cas concernant ma coquille.

 

[UsagiYojimbo]

Tu peux forcer la mise à jour du robots.txt depuis GWT maintenant.

 

[jolm]

Merci, déjà fait ;-)
Je vais observer la temps de réaction et vous le dirai. Ca fait plus de 2 heures et tjrs pas d’excitation du GGbot. On va voir ce qu'il a dans les tripes ce super calculateur de GG ;-)

 

[Furtif]

On va voir ce qu'il a dans les tripes ce super calculateur de GG

https://support.google.com/webmasters/answer/6062608?hl=fr

 

[Marie-Aude]

Pour revenir à la syntaxe, je trouve quand meme abusif d’interpréter disallow: *un_mot* comme si c'était disallow: /
Donc toute ligne doit commencer par "/".

Oui c'est dans la doc :
http://robots-txt.com/ressources/robots-txt-wildcard/

 

[jolm]

Pour les plus curieux, je crois avoir trouvé quelqu'un qui a eu le même soucis à partir du même jour (17 février) :

https://productforums.google.com/forum/#!topic/webmasters/voQYx7P9bWk

 

[UsagiYojimbo]

Je suis toujours parti sur le modèle du robots.txt de Google. Et en effet, chez eux tout commence par un /

 

[Marie-Aude]

En fait c'est comme le code pas valide, ça marche jusqu'à ce que ?

 

[jolm]

A priori je ne suis pas le seul à avoir fait ce genre d'erreur ...
Mais dans ce cas pourquoi gg ne me met pas mon robots.txt en erreur au lieu de faire une mauvaise interprétation ?

Le bot ne crawl tjrs qu'à à peine 10% de ce qu'il fait habituellement. Pensez-vous que cela va nuire aux référencement ?
Pour l'instant rein a signaler niveau audience (c'est tout de même un site costaud à plus de 50 000 visites/jour).
Quelqu'un aurait il un retour sur la prise en compte du fichier robots, plutôt 48h ou 2 semaines ?!

D'avance merci pour votre partage d'expérience !

 

[spout]

Le meilleur robots.txt c'est:

 

[indigene]

Si on veut interdire certaines pages il est préférable de les mettre dans un répertoire et d'interdire le répertoire. Ca évite ainsi à devoir modifier le robots.txt à chaque nouvelle page que l'on veut interdire.

chez moi le robots.txt est presque aussi simple que celui de sprout :

User-agent: *