Robots.txt, exclure un mot en fin d'url

PierreToo · 8 Février 2013

Bonjour,

Je n'arrive pas à trouvé une info clairement expliqué sur ce problème :

Voila j'ai des url du type :
mon-site/informations/add.html
mon-site/decouvrir/add.html

Est ce que je peux exclure toutes les url contenant le mot "add" avec le robots.txt ?

Avec cette commande : Disallow:/add/

Ou est que l'on ne peut exclure uniquement des paramètres se trouvant en début d'url ?

1eB · 8 Février 2013

Bonjour,

Disallow:/add/ indique que le répertoire /add/ et tout ce qu'il y a en dessous doit être ignoré.

Pour votre exemple Il faut utiliser :

Disallow: /*add.html$

WebRankInfo · 9 Février 2013

je précise un détail : si ces URL sont déjà indexées, les bloquer dans le robots.txt ne suffira pas à les faire désindexer : il faudra aussi en faire la demande dans GWT
ne pas confondre avec la balise meta robots noindex qui sert à interdire l'indexation d'une page

PierreToo · 11 Février 2013

Merci à vous pour vos réponses clairs et précises !

Similar Threads - Robots exclure mot	Forum	Date
Exclure certaines pages contenant un mot avec robots.txt	Débuter en référencement	15 Avril 2011
Exclure pages via robots.txt	Débuter en référencement	24 Juillet 2012
Que faut il exclure avec le fichier robots.txt?	Débuter en référencement	3 Août 2010
Search Console Prestashop \| Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise...	Crawl et indexation Google, sitemaps	21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt	Crawl et indexation Google, sitemaps	31 Octobre 2019
Aide sur le format de mon fichier robots.txt	Crawl et indexation Google, sitemaps	25 Octobre 2019
Problèmes d'indexation et robots.txt	Crawl et indexation Google, sitemaps	14 Octobre 2019
Réécriture et robots.txt	Débuter en référencement	10 Octobre 2019
Page de test et fichier Robots.txt	Crawl et indexation Google, sitemaps	9 Octobre 2019
Robots.txt et test url	Crawl et indexation Google, sitemaps	9 Octobre 2019