Robots.txt pour Google

WRInaute discret
Bonjour,

étant donné que seul Google accepte la balise Noindex dans le fichier robots.txt, je souhaite donc mettre disallow pour les autres moteurs dont Bing, Yahoo...

ça va donner :

User-agent: Googlebot
Noindex: /page1

User-agent: *
Disallow: /page1

Est-ce que Google risque de traiter le Disallow: /page1 ? Ou bien il s'en tiendra à ne traiter que ce qui concerne User-agent: Googlebot ?

Merci.
 
WRInaute discret
Merci WRI, mais j'ai déjà lu ton article ainsi que tout ce qui se rapporte au robots.txt.
seulement un test que que j'ai fais il y a quelques mois semble montrer que GG ne tiens plus compte du User-agent: *, si il y a User-agent: Googlebot. Mais c'était peut être dans un cas précis, d'où le doute.

Pour le Noindex: dans le robots.txt, je sais qu'il est déconseillé, mais dans mon cas c'est pour désindexer des pages complètement inutiles en DC, qui sont des URL dynamiques générées par un filtre de recherche produit. Le Disallow: ne ferai qu'interdit leur crawl, alors que le but est de les crawler pour les désindexer.
 
Olivier Duffez (admin)
Membre du personnel
si tu as la chance d'avoir toutes les URL à désindexer dans un même répertoire, tu peux :
- interdire ce répertoire au crawl
- puis demander la désindexation du répertoire dans search console
 
WRInaute discret
Non les pages ne sont pas toutes dans le même répertoire.
C'est où la demande de désindexation de répertorie dans search console ? je ne connaissais pas cette fonction.
 
Olivier Duffez (admin)
Membre du personnel
il suffit d'indiquer une URL se terminant par un / et correspondant à un répertoire (ou à ce qui ressemble à un répertoire, en raison de la réécriture d'URL), puis de confirmer qu'on veut virer tout le répertoire
 
Discussions similaires
Haut