Robots.txt : changement soudain d'interpretation par google

WRInaute discret
Bonjour à tous,

Je viens de friser la crise cardiaque en voyant tous mes sites en alerte sur GWT.
Et cela concerne des fichiers robots que je n'ai pas touchés depuis des mois, voire années ...
En fait, une ligne comme :

[disallow: *nompage*] est semble-t-il interprétée comme [disallow: *]

Du coup j'ai du changer les [disallow: *nompage*] en [disallow: /*nompage*]

Là ca fonctionne.

Les syntaxes du robots.txt auraient-elles changées ou est-ce que google a planté ?

Merci d'avance pour vos éclaircissements ;-)
 
WRInaute discret
Admettons que ma syntaxe était erronée, pourquoi google ne l’interprète de cette manière que maintenant ?
Googlebot a bel et bien réduit de 90% ses crawl depuis 24h environ.
Pour revenir à la syntaxe, je trouve quand meme abusif d’interpréter disallow: *un_mot* comme si c'était disallow: /
Donc toute ligne doit commencer par "/".
A priori ça ne bloque que le bot, ça n'indique pas un no-index ce qui est déjà rassurant. J'espère que la mini coupure du bot (en espérant qu'il prenne vite en compte mon nouveau fichier robot) ne se fera pas trop sentir.

Bref, en tout cas google a changé sa manière de voir la syntaxe du fichier, au moins en tout cas concernant ma coquille.
 
WRInaute discret
Merci, déjà fait ;-)
Je vais observer la temps de réaction et vous le dirai. Ca fait plus de 2 heures et tjrs pas d’excitation du GGbot. On va voir ce qu'il a dans les tripes ce super calculateur de GG ;-)
 
WRInaute discret
A priori je ne suis pas le seul à avoir fait ce genre d'erreur ...
Mais dans ce cas pourquoi gg ne me met pas mon robots.txt en erreur au lieu de faire une mauvaise interprétation ?

Le bot ne crawl tjrs qu'à à peine 10% de ce qu'il fait habituellement. Pensez-vous que cela va nuire aux référencement ?
Pour l'instant rein a signaler niveau audience (c'est tout de même un site costaud à plus de 50 000 visites/jour).
Quelqu'un aurait il un retour sur la prise en compte du fichier robots, plutôt 48h ou 2 semaines ?!

D'avance merci pour votre partage d'expérience !
 
WRInaute accro
Si on veut interdire certaines pages il est préférable de les mettre dans un répertoire et d'interdire le répertoire. Ca évite ainsi à devoir modifier le robots.txt à chaque nouvelle page que l'on veut interdire.

chez moi le robots.txt est presque aussi simple que celui de sprout :
Code:
User-agent: *
 
Discussions similaires
Haut