Outil pour savoir si le robots.txt fait son effet.

[zimounet]

Exemple:

Sur mon site j'ai une page dossier/page.php?param=1753254965465 etc

Dans mon robots.txt ( la racine de mon site) j'ai: Disallow: /dossier/page.php

Y a t il un outils pour etre sur que les robots n'indexerons pas ces pages?

 

[fredoche25]

je me posais la meme question ce matin même !

car des fois les robots sont assez caractériels avec le fichier robots.txt :?

 

[jeanluc]

Bonjour,

User-agent: * 
Disallow: /dossier/page.php

demande à tous les robots de ne pas accéder aux adresses commençant par /dossier/page.php, par exemple, /dossier/page.php?param=1753254965465, mais, comme ce n'est qu'une demande, cela suppose la coopération du robot (en principe, pas de problème avec Google, Yahoo, MSN,...).

Excellente suggestion, cet idée d'outil. Je vais essayer de trouver le temps de m'en occuper avant la fin du mois. :wink:

Jean-Luc

 

[zimounet]

Merci Jean-Luc, sa permettrais d'etre sure que le robots.txt n'est pas foireux.