Robots.txt : empêcher l'indexation d'une page sans pénaliser les sous pages

[milkiway]

Bonjour,

J'ai un site avec des url de type :
-http://www.monsite.zob/dossier/
-http://www.monsite.zob/dossier/sous-dossier1/
-http://www.monsite.zob/dossier/sous-dossier2/
-http://www.monsite.zob/dossier/sous-dossier1/article-ici

Je voudrais empêcher l'indexation de l'URL -http://www.monsite.zob/dossier/ SANS empêcher celle des sous dossiers et ce afin d'éviter le duplicate content (cette URL contient le contenu des deux sous dossiers).

Que dois-je mettre dans mon Robots.txt ?

Merci

 

[UsagiYojimbo]

Je rajouterais plutôt une meta noindex dans la page en question.

 

[milkiway]

Merci, mais pourquoi ?

 

[UsagiYojimbo]

Parce qu'en passant par le robots txt, tu vas devoir préciser pour tous les sous-dossiers (du dossier que tu ne veux pas indexer) que tu veux les indexer, les ordres donnés dans un robots.txt étant récursifs.

Un autre topic sur le sujet : https://www.webrankinfo.com/forum/interdire-referencemt-racine-mais-pas-des ... 76741.html

 

[milkiway]

Faire ceci est il pertinent ?
<meta name="robots" content="noindex, follow">

C'est une page de catégorie donc il faut impérativement que les liens soient suivis par contre je ne veux pas indexer la page.
A moins que je ne laisse google se débrouiller comme un grand et ne mettre ni robots.txt, ni noindex ?

 

[nza2k]

Oui, c'est bien ça que suggérait UsagiYojimbo je pense.

 

[DjamesAllen]

Et si on ne peut pas rajouter la meta noindex. Comment on peut le faire via le robots.txt ?

 

[JanoLapin]

J'ai un site avec des url de type :
-http://www.monsite.zob/dossier/

c'est au moins un site de film de boules avec de telles urls... :mrgreen: