Robots.txt et sous domaine

[StuWee]

petite question concerant les Robots.txt

sur mon site j'ai créer des sous-domaines
h*ttp://members.site.com/

or sur l'hebergement, les fichiers sont aussi accessible sous l'url
h*ttp://www.site.com/members/

pour eviter d'avoir le meme contenu indexer sous 2 url differentes, j'ai mit un robots.txt a l'url h*ttp://www.site.com/robots.txt interdisant aux moteurs d'indexer le repertoire members

d'aprés moi non, mais mieux vaut poser la question et etre sur
cela ne va pas nuire a l'indexation des sous domaines ?

 

[WebRankInfo]

le répertoire /members est-il accessible également en direct ? si oui, il ne faut pas l'interdire dans le robots.txt
sans doute que d'autres ont l'expérience là-dessus

 

[olivierb]

pourquoi ?

 

[StuWee]

wri>oui

une page index.htm par exemple et accessible depuis http://members.site.com et en meme temps sur http://www.site.com/members

je ne veut pas voir indexer tout ce ki se trouve dans le rep members sous l'url site.com/members, mais members.site.com,, donc logik je l'interdit dans le robot.
par contre le robot ne va (je l'espère d'ou ma question) etre compter dans l'indexation du sous-domaine

 

[Remi L.]

Dans le mesure où il s'agit de vrais sous-domaines, c'est à dire où www.domaine.com/sous-domaine/ est accessible par www.sous-domaine.com
J'aurais tendance à mettre un robots.txt à la racine de chaque .com et de ne rien mettre de particulier dans le robots.txt de domaine.com.

Comme un robot ne peut avoir connaissance de la présence de sous-répertoires, il me paraît inutile de lui signaler qu'il y en a et qu'il ne doit pas y aller...
non... ?

Remi