WRInaute discret
S@lut,
Si je mets un robots.txt à l'extérieur de la racine du serveur, soit dans un
répertoire x et que j'y inscrits une seule ligne qui dit disallow:/
est-ce que les spiders ignoreront juste CE répertoire x ou tout le site en entier ??
Je veux éviter de faire un robots.txt à la racine qui disallow tel ou tel
répertoire pour ne pas indiquer aux curieux trop fouineux la présence de tel ou tel répertoire ainsi que leur contenu... c'est pourquoi je cherche à mettre un robots.txt par répertoire et indiquer un disallow pour CE répertoire...
Merci de vos lumières !
Si je mets un robots.txt à l'extérieur de la racine du serveur, soit dans un
répertoire x et que j'y inscrits une seule ligne qui dit disallow:/
est-ce que les spiders ignoreront juste CE répertoire x ou tout le site en entier ??
Je veux éviter de faire un robots.txt à la racine qui disallow tel ou tel
répertoire pour ne pas indiquer aux curieux trop fouineux la présence de tel ou tel répertoire ainsi que leur contenu... c'est pourquoi je cherche à mettre un robots.txt par répertoire et indiquer un disallow pour CE répertoire...
Merci de vos lumières !