Robots.txt et syntaxe de Disallow

excellkenza · 2 Juin 2017

Bonjour,

Sur mon site j'ai beaucoup de pages de type :
Code:
https://www.monsite.fr/page.html?code=82&idpartenaire=60876
Ne souhaitant pas que Google les indexe, j'ai placé dans mon robots.txt la ligne :
Code:
Disallow:/page.html
Mais Google les indexe quand même ... !

Ma syntaxe est-elle mauvaise ?
Devrais-je plutôt écrire un truc genre
Code:
Disallow:/page.html*
Merci de votre aide

yule · 2 Juin 2017

Hello,

Je pense plutôt ainsi

Disallow: /page*

http://robots-txt.com/ressources/robots-txt-wildcard/

A+
Yule

jeanluc · 2 Juin 2017

Bonjour,
excellkenza a dit:
Ne souhaitant pas que Google les indexe, j'ai placé dans mon robots.txt la ligne :
Code:
Disallow:/page.html
Mais Google les indexe quand même ... !
Cliquez pour agrandir...
Cette ligne est parfaitement correcte. Elle interdit aux robots de Google de visiter les pages dont l'adresse commence par /page.html. En revanche, elle n'interdit pas vraiment d'indexer ces pages.

En pratique, peu de pages où la visite des robots est interdite apparaissent en bonne place dans les résultats de recherche (surtout si ce sont des adresses avec des paramètres après le point d'interrogation).

WebRankInfo · 2 Juin 2017

ah le fameux coup du "j'ai des pages déjà indexées, j'interdis à Google de retourner les voir et je ne comprends pas pourquoi elles restent indexées"

besoin d'aide ? mon article ici : explications détaillées ou encore plus complet mon webinar gratuit

Similar Threads - Robots syntaxe Disallow	Forum	Date
Cette syntaxe de robots.txt est-elle correcte ?	Administration d'un site Web	8 Avril 2013
Syntaxe robots.txt	Crawl et indexation Google, sitemaps	29 Août 2008
Augmenter ses revenus au CPM avec des robots de trafic	Monétisation d'un site web	6 Juillet 2019
Search Console bloquée par le fichier robots.txt	Crawl et indexation Google, sitemaps	25 Juin 2019
Sites de test indexés malgré Disallow dans robots.txt	Crawl et indexation Google, sitemaps	7 Juin 2019
Délai de prise en compte changement robots.txt plus long	Crawl et indexation Google, sitemaps	18 Mai 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0	Crawl et indexation Google, sitemaps	16 Mai 2019
WordPress robots.txt pour supprimer une page (duplicate content)	Débuter en référencement	2 Mai 2019
Site non responsive, ressources bloquées robots.txt	Crawl et indexation Google, sitemaps	15 Avril 2019
Question sur sitemap et robots.txt	Crawl et indexation Google, sitemaps	8 Avril 2019