Ne pas indexer une page avec le fichier robots.txt

WRInaute discret
Bonjour, sur le site que j' ai créé : www.aller-en-chine.net, je souhaite que mes mentions légales ne soient pas indéxées par les moteurs de recherche.
Je me documente, et je lis que la meilleure méthode est de modifier le fichier robots.txt. Je n' avais jamais touché à ce fichier, je le consulte et voici son contenu :
Code:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

D' après ce que j' ai lu ici, il ne me semble pas correcte. Ce fichier d' après ce que l' on m' a dit sur le forum de Wordpress (ou j' ai déjà posté, mais plus eu de réponse) , est un fichier virtuel. Je ne sais pas comment y avoir accès, alors je modifie de cette façon et le mets à la racine de mon site :

Code:
User-agent: *
Disallow: /wp-admin/
Disallow: /mentions-legales/
Allow: /

D' après ce que j' ai lu, de cette façon, le fichier robots.txt surpasse le fichier virtuel s' il est mis à la racine.

Du coup, plein de pages, d' images ont été indéxées rapidement, mais problème, les mentions légales que j' aurais aimé désindexées le sont, alors qu' il y a une mention disallow à son sujet.

Je ne comprends pas pourquoi.

Merci pour votre aide, bonne journée.
 
WRInaute accro
Via le robots.txt, tu empêche le moteur d'accéder à la page. Si tu veux désindexer cette page, je retirerais la règle du robots.txt et activerait plutôt une meta robot noindex (tu es sur Wordpress, tu peux gérer ça via des plugin comme Yoast ou All in One Seo).
 
WRInaute discret
Je te remercie de ta réponse. Donc :
- Je retire la ligne correspondante dans le fichier robots.txt (mais je laisse le fichier à la racine du site)
- Dans Yoast, à la rubrique méta robots index, je mets nofolow c' est bien ça ?

Bon après midi.
 
WRInaute accro
Non

Pourquoi mettre nofollow alors que tu veux noindex ?
Le noindex est moins visible, mais il est dans la même metabox
 
Olivier Duffez (admin)
Membre du personnel
Membre Honoré
Bonjour,

Comme vous voulez.
Vous bloquez ce que vous souhaitez.

N'hésitez pas à vous présenter au forum : ici et entre deux messages présenter vos avis aussi sur les sujets : ici.

Cordialement.
 
WRInaute discret
Merci encore pour vos supers conseils et d' avoir partagé vos connaissances.

Pour la présentation, j' ai vu que ce n' est pas obligatoire, et je n' aime pas trop parler de moi... Donc si je ne suis pas obligé. Et pour présenter mon site, quand il y en aura un de parfaitement opérationnel, promis !

Bon après midi.
 
WRInaute accro
Non tu n'es pas obligé, c'est juste un message standard de Madrileño qui, a une époque, avait été surnommé le bot à cause de ça...
 
WRInaute discret
Bonjour,
Ma joie aura été de courte durée !

La page est de nouveau indexée, pourtant elle figure bien dans la console Google sur la liste des url à supprimer.

Merci pour votre aide, bonne journée.
 
Membre Honoré
Bonjour,

Utiliser un noindex suffit.

Compléments :
support.google.com/webmasters/answer/93710?hl=en
support.google.com/webmasters/answer/1663419?hl=en

Cordialement.
 
WRInaute discret
Bonjour, merci pour ta réponse.

J' avais déjà indiqué un noindex via yoast, mais si je regarde le code source, je ne vois pas la section head dont parle le premier lien que tu m' as envoyé.

Bonne journée.
 
Discussions similaires
Haut