Restreindre l'affichage robots.txt

[yahya]

bonjour ,
merci à tous les webmasters et administarteurs du site webrankinfo trés trés riche !
mon premier post.
je suis chez free j'ai mis un fichier robots.txt dans la racine jusqu'a la pas de probléme .mais quand je tape l'url http://monsite.free.fr/robots.txt le navigateur m'affiche le contenu de ce fichier . j'utilise la méthode des pseudos frames , on vois le nom des dossiers sur le robots.txt ce dossier est protégé par un hatcces et renvoi header à la racine .
les attaqueurs de type Cross-Site Scripting marque des points quand ils ont de tels résultats.
1- comment faire pour renvoyer un visiteur qui souhaite voir le fichier robots.txt
2-est ce que la technique robots.txt fonctionne pareil chez msn_yahoo_altavista

merci bon début de semaine .

 

[Serious]

1) tu peux toujours filtrer en fonction du UserAgent mais ca reste approximatif. Ou alors en fonction de l'IP. Mais je ne vois pas trop l'interet.

2) oui

 

[yahya]

bonsoir
Mais je ne vois pas trop l'interet.
ca veux dire que c'est normal car j'ai constaté qu'on peut afficher le robots.txt des garnds sites .

question
est ce qu'il ya un moyen ou équivalant de l'url rewriting chez les hébergeur genre **free en mettant par exemple une page html ou php équivalante à la page qui se charge avec la méthode include vu que les crawlers on du mal
à indexer les pages types page index.php?page= est ce que c'est penalisé par google vu qui il ya une page miroir ?
merci