Validateur de robots.txt ?

effisk

WRInaute occasionnel
Hello, je veux valider mon robots.txt mais je ne trouve aucun outil qui fasse ça correctement. Quelqu'un aurait-il un lien vers une appli en ligne qui marche ?

-http://www.specialchem4cosmetics.com/robots.txt

L'idée est de bloquer uniquement les pages contenant des paramètres et pas les pages sans paramètres. c'est valide ce genre de lignes :
Code:
Disallow:	/markets/skin-care/news.aspx?
?
 

jeanluc

WRInaute accro
Bonjour,

Code:
Disallow: /markets/skin-care/news.aspx?
est valide. Cette ligne interdit l'accès à toutes les URL commençant par /markets/skin-care/news.aspx?. C'est correct et compris par tous les robots de bonne volonté.

Une seule remarque concernant le robots.txt de ton site: remplace les tabulations par des espaces, car la spécification parle uniquement d'espaces, comme séparateur valide après les deux points qui suivent le nom de la directive.

Jean-Luc
 

nza2k

WRInaute impliqué
effisk a dit:
Hello, je veux valider mon robots.txt mais je ne trouve aucun outil qui fasse ça correctement. Quelqu'un aurait-il un lien vers une appli en ligne qui marche ?

Bonne question et je la renouvelle en précisant que je cherche un outil gratuit.

Il y en avait un avant sur www.searchengineworld.com... Qui a été récupéré par Webmasterworld et je crois bien que c'est devenu payant...
 

Discussions similaires

Haut