Ne pas indexer une page avec le fichier robots.txt

[ungars]

Bonjour, sur le site que j' ai créé : www.aller-en-chine.net, je souhaite que mes mentions légales ne soient pas indéxées par les moteurs de recherche.
Je me documente, et je lis que la meilleure méthode est de modifier le fichier robots.txt. Je n' avais jamais touché à ce fichier, je le consulte et voici son contenu :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

D' après ce que j' ai lu ici, il ne me semble pas correcte. Ce fichier d' après ce que l' on m' a dit sur le forum de Wordpress (ou j' ai déjà posté, mais plus eu de réponse) , est un fichier virtuel. Je ne sais pas comment y avoir accès, alors je modifie de cette façon et le mets à la racine de mon site :

User-agent: *
Disallow: /wp-admin/
Disallow: /mentions-legales/
Allow: /

D' après ce que j' ai lu, de cette façon, le fichier robots.txt surpasse le fichier virtuel s' il est mis à la racine.

Du coup, plein de pages, d' images ont été indéxées rapidement, mais problème, les mentions légales que j' aurais aimé désindexées le sont, alors qu' il y a une mention disallow à son sujet.

Je ne comprends pas pourquoi.

Merci pour votre aide, bonne journée.

 

[UsagiYojimbo]

Via le robots.txt, tu empêche le moteur d'accéder à la page. Si tu veux désindexer cette page, je retirerais la règle du robots.txt et activerait plutôt une meta robot noindex (tu es sur Wordpress, tu peux gérer ça via des plugin comme Yoast ou All in One Seo).

 

[ungars]

Je te remercie de ta réponse. Donc :
- Je retire la ligne correspondante dans le fichier robots.txt (mais je laisse le fichier à la racine du site)
- Dans Yoast, à la rubrique méta robots index, je mets nofolow c' est bien ça ?

Bon après midi.

 

[Marie-Aude]

Non

Pourquoi mettre nofollow alors que tu veux noindex ?
Le noindex est moins visible, mais il est dans la même metabox

 

[ungars]

C'était noindex, pardon, j' étais allé trop vite.

Merci

 

[WebRankInfo]

Je me documente, et je lis que la meilleure méthode est de modifier le fichier robots.txt

tu ne vas donc pas lire les infos aux bons endroits ;-)
je te conseille fortement de lire mon tuto : comment ne pas indexer une page dans Google
et de regarder mes webinars sur l'indexation Google dont le replay est gratuit : https://myrankingmetrics.com/webinar/crawl-indexation
ainsi que le dossier WebRankInfo consacré au robots.txt

 

[ungars]

Je regarde ça tranquillement ce Samedi, et je te tiens au courant.

Merci, bonne soirée.

 

[ungars]

Bonsoir,
J' ai donc suivi cette methode hier soir, et ce matin la page voulue était désindéxée !

Du coup puis je laisser le fichier robots.txt à la racine avec ce contenu :

User-agent: *
Disallow: /wp-admin/
Allow: /

Merci à tous et bonne soirée.

 

[UsagiYojimbo]

Oui

 

[Madrileño]

Bonjour,

Comme vous voulez.
Vous bloquez ce que vous souhaitez.

N'hésitez pas à vous présenter au forum : ici et entre deux messages présenter vos avis aussi sur les sujets : ici.

Cordialement.

 

[ungars]

Merci encore pour vos supers conseils et d' avoir partagé vos connaissances.

Pour la présentation, j' ai vu que ce n' est pas obligatoire, et je n' aime pas trop parler de moi... Donc si je ne suis pas obligé. Et pour présenter mon site, quand il y en aura un de parfaitement opérationnel, promis !

Bon après midi.

 

[Marie-Aude]

Non tu n'es pas obligé, c'est juste un message standard de Madrileño qui, a une époque, avait été surnommé le bot à cause de ça...

 

[Madrileño]

Bonjour,

En effet, c'est pour motiver les gens à participer.

Cordialement.

 

[ungars]

Bonjour,
Ma joie aura été de courte durée !

La page est de nouveau indexée, pourtant elle figure bien dans la console Google sur la liste des url à supprimer.

Merci pour votre aide, bonne journée.

 

[Madrileño]

Bonjour,

Utiliser un noindex suffit.

Compléments :
support.google.com/webmasters/answer/93710?hl=en
support.google.com/webmasters/answer/1663419?hl=en

Cordialement.

 

[ungars]

Bonjour, merci pour ta réponse.

J' avais déjà indiqué un noindex via yoast, mais si je regarde le code source, je ne vois pas la section head dont parle le premier lien que tu m' as envoyé.

Bonne journée.