Robots.txt et syntaxe de Disallow

excellkenza · 2 Juin 2017

Bonjour,

Sur mon site j'ai beaucoup de pages de type :
Code:
https://www.monsite.fr/page.html?code=82&idpartenaire=60876
Ne souhaitant pas que Google les indexe, j'ai placé dans mon robots.txt la ligne :
Code:
Disallow:/page.html
Mais Google les indexe quand même ... !

Ma syntaxe est-elle mauvaise ?
Devrais-je plutôt écrire un truc genre
Code:
Disallow:/page.html*
Merci de votre aide

yule · 2 Juin 2017

Hello,

Je pense plutôt ainsi

Disallow: /page*

http://robots-txt.com/ressources/robots-txt-wildcard/

A+
Yule

jeanluc · 2 Juin 2017

Bonjour,
excellkenza a dit:
Ne souhaitant pas que Google les indexe, j'ai placé dans mon robots.txt la ligne :
Code:
Disallow:/page.html
Mais Google les indexe quand même ... !
Cliquez pour agrandir...
Cette ligne est parfaitement correcte. Elle interdit aux robots de Google de visiter les pages dont l'adresse commence par /page.html. En revanche, elle n'interdit pas vraiment d'indexer ces pages.

En pratique, peu de pages où la visite des robots est interdite apparaissent en bonne place dans les résultats de recherche (surtout si ce sont des adresses avec des paramètres après le point d'interrogation).

WebRankInfo · 2 Juin 2017

ah le fameux coup du "j'ai des pages déjà indexées, j'interdis à Google via robots.txt de retourner les voir et je ne comprends pas pourquoi elles restent indexées"

besoin d'aide ? mon article ici : explications détaillées ou encore plus complet mon webinar gratuit

Similar Threads - Robots syntaxe Disallow	Forum	Date
Cette syntaxe de robots.txt est-elle correcte ?	Administration d'un site Web	8 Avril 2013
lien variable à bloquer sur robots	Développement d'un site Web ou d'une appli mobile	3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ?	Crawl et indexation Google, sitemaps	3 Avril 2020
Robots.txt du site Kayak	Débuter en référencement	11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt	Crawl et indexation Google, sitemaps	26 Février 2020
Search Console Prestashop \| Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise...	Crawl et indexation Google, sitemaps	21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt	Crawl et indexation Google, sitemaps	31 Octobre 2019
Aide sur le format de mon fichier robots.txt	Crawl et indexation Google, sitemaps	25 Octobre 2019
Problèmes d'indexation et robots.txt	Crawl et indexation Google, sitemaps	14 Octobre 2019
Réécriture et robots.txt	Débuter en référencement	10 Octobre 2019