Robots.txt dans dossiers

WRInaute discret
S@lut,

Si je mets un robots.txt à l'extérieur de la racine du serveur, soit dans un
répertoire x et que j'y inscrits une seule ligne qui dit disallow:/
est-ce que les spiders ignoreront juste CE répertoire x ou tout le site en entier ??

Je veux éviter de faire un robots.txt à la racine qui disallow tel ou tel
répertoire pour ne pas indiquer aux curieux trop fouineux la présence de tel ou tel répertoire ainsi que leur contenu... c'est pourquoi je cherche à mettre un robots.txt par répertoire et indiquer un disallow pour CE répertoire...

Merci de vos lumières !
 
WRInaute discret
alors dans ce cas pourquoi les spiders cherche un robots.txt dans chaque répertoire qu'ils vont ?

Mes losgs m,e disent ça
 
WRInaute impliqué
Bizarre...

Vérifie bien tes logs, parce que cela ne devrait pas être le cas (sauf si bien entendu tu as des sous domaines ou d'autres domaines qui pointent vers tes répertoires).
 
WRInaute discret
Donc, selon toi, mettre un robot.txt dans chaque dossier serait inutile et ignoré des spiders ?

ou pire il ne réfenrecera pas la site du tout ?
 
Discussions similaires
Haut