Google ne respecte pas les robots.txt ?

Olivier Duffez (admin)
Membre du personnel
je ne savais pas que les lignes vides pouvaient poser problème ! c'est dans le standard du robots.txt ?
 
WRInaute occasionnel
WebRankInfo a dit:
je ne savais pas que les lignes vides pouvaient poser problème ! c'est dans le standard du robots.txt ?
Oui, les lignes vides servent à séparer les enregistrements ( records) composés de lignes User-agents et Disallow. Voilà les lignes correspondantes dans A Standard for Robot Exclusion vers lequel Google pointe :
The file consists of one or more records separated by one or more blank lines (terminated by CR,CR/NL, or NL). Each record contains lines of the form "<field>:<optionalspace><value><optionalspace>". The field name is case insensitive.
The record starts with one or more User-agent lines, followed by one or more Disallow lines, as detailed below. Unrecognised headers are ignored.
Donc après une ligne vide on doit avoir une ligne User-agent.

Mirgolth
 
WRInaute discret
Ben je pensais qu'un fichier robots.txt n'avait qu'une valeur informative à l'usage des spiders. Donc, à mon sens, s'il est indexé c'est qu'il est pris pour une page web et donc pas exécuté.
 
Discussions similaires
Haut