Robots.txt non trouvé par google sitemaps

[silverbeach]

Bonjour

j'ai un probleme avec mon fichier robots.txt:

Aujourdhui en regardant les stats de robotstats, j'ai remarqué que google était passé sur une page interdit avec le fichier robots.txt.

Du coup, je suis allé sur google sitemaps et il me dit qu'il ne trouve pas. Pourtant il se trouve a la racine et lorsque je clique sur le lien présent dans google sitemaps, il m'affiche mon fichier robots.txt.

En plus je l'avais vérifier il y a 2 jours pour voir s'il l'avait reconnu et tout fonctionnait.

Ps: c'est un nouveaux site et google commence a l'indexer.

 

[Eazy]

J'ai eu le même problème, il semblerait que Google Sitemaps prenne quelques jours avant de prendre en compte le fichier robots; normalement tu le verra s'afficher d'ici peu.

 

[silverbeach]

Il y a 2 jours, il le prenait en compte mais plus aujourd hui.
Si il faut de nouveau attendre pour qui le prenne de nouveau en compte, ca ne me derange pas mais le probleme c'est que un des robots de google a indexé une page que j'ai interdit pour eviter d'avoir des pages similaires.

Si il en reste la, c'est pas trop grave car il n'y a qu'une seule page mais si il continue a indexer mon site en ignorant les pages interdit, je vais avoir plein de page similaire :?