Robots.txt et répertoire

[correiaj]

Salut,
Alors voilà la question:
Dans un fichier robots.txt, la ligne de command disallow /rep/
-Va interdire l´indexation du repertoire www/rep/
-Va interdire l´indexation des repertoires .../rep/

Car j´ai un repertoire reel rep1, mais je ne veux pas qu´il soit indexé. Par contre je souhaite qu´il soit indexé par le chemin /lang/rep1.

Si je mets
disallow /rep1/, le moteur va-t´il indexer tout de meme les langs/rep1 ???

Merci.

Je n´ai pas trouvé de réponse satisfaisante. Même pas sur le site robots.txt

 

[TotoZeRigolo]

Salut !

A priori ca devrai fonctionner.
Etant donné que tu indique au robot de ne pas indexer certains répertoires, tu lui indique en relatif par rapport à la racine. Pour ce qui est du WWW il n'a aucun interet.

En gros, quand tu met /rep/, tu interdit uniquement le répertoire rep se trouvant à la racine et de ce fait tous ses sous dossiers.

Par contre, le dossier /lang/rep/ n'est pas du tout au même endroit, donc sera indexé.

Le / du début de ligne lui indique que c'est à partir de la racine.

A tester : si tu veux ingnorer TOUS les sous répertoires nommés rep, il faudrai essayer sans mettre le / devant ... mais je n'ai aucune certitude.

A+

 

[correiaj]

Mais en es tu sûr? Je pense la même chose.
Car j´aimerai pas me tromper...
Les conséquences seraient très néfastes...

 

[jeanluc]

Bonjour,

Dans un fichier robots.txt, la ligne de command disallow /rep/
-Va interdire l´indexation du repertoire www/rep/
-Va interdire l´indexation des repertoires .../rep/

Pour comprendre, il faut se dire que robots.txt s'adresse exclusivement aux robots et que les robots ne connaissent pas la structure interne des répertoires sur ton serveur. Quand tu indiques le début d'une URL dans le robots.txt, il s'agit du début de l'URL tel qu'il apparaîtrait dans la barre d'adresse d'un navigateur.

Pour le domaine www.example.com, les robots chercheront un robots.txt à l'adresse http://www.example.com/robots.txt et pour le domaine example.com, ils le chercheront à l'adresse http://example.com/robots.txt.

J'espère que ceci répond indirectement à ta question.

Je n´ai pas trouvé de réponse satisfaisante. Même pas sur le site robots.txt

Essaie http://www.annuaire-info.com/robots/txt.html :wink:

Jean-Luc