Ne pas indexer une page avec le fichier robots.txt

Discussion dans 'Débuter en référencement' créé par ungars, 20 Juillet 2016.

  1. ungars
    ungars WRInaute discret
    Inscrit:
    6 Août 2009
    Messages:
    154
    J'aime reçus:
    3
    Bonjour, sur le site que j' ai créé : www.aller-en-chine.net, je souhaite que mes mentions légales ne soient pas indéxées par les moteurs de recherche.
    Je me documente, et je lis que la meilleure méthode est de modifier le fichier robots.txt. Je n' avais jamais touché à ce fichier, je le consulte et voici son contenu :
    Code:
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    D' après ce que j' ai lu ici, il ne me semble pas correcte. Ce fichier d' après ce que l' on m' a dit sur le forum de Wordpress (ou j' ai déjà posté, mais plus eu de réponse) , est un fichier virtuel. Je ne sais pas comment y avoir accès, alors je modifie de cette façon et le mets à la racine de mon site :

    Code:
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /mentions-legales/
    Allow: /
    D' après ce que j' ai lu, de cette façon, le fichier robots.txt surpasse le fichier virtuel s' il est mis à la racine.

    Du coup, plein de pages, d' images ont été indéxées rapidement, mais problème, les mentions légales que j' aurais aimé désindexées le sont, alors qu' il y a une mention disallow à son sujet.

    Je ne comprends pas pourquoi.

    Merci pour votre aide, bonne journée.
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 011
    J'aime reçus:
    133
    Via le robots.txt, tu empêche le moteur d'accéder à la page. Si tu veux désindexer cette page, je retirerais la règle du robots.txt et activerait plutôt une meta robot noindex (tu es sur Wordpress, tu peux gérer ça via des plugin comme Yoast ou All in One Seo).
     
  3. ungars
    ungars WRInaute discret
    Inscrit:
    6 Août 2009
    Messages:
    154
    J'aime reçus:
    3
    Je te remercie de ta réponse. Donc :
    - Je retire la ligne correspondante dans le fichier robots.txt (mais je laisse le fichier à la racine du site)
    - Dans Yoast, à la rubrique méta robots index, je mets nofolow c' est bien ça ?

    Bon après midi.
     
  4. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 931
    J'aime reçus:
    269
    Non

    Pourquoi mettre nofollow alors que tu veux noindex ?
    Le noindex est moins visible, mais il est dans la même metabox
     
  5. ungars
    ungars WRInaute discret
    Inscrit:
    6 Août 2009
    Messages:
    154
    J'aime reçus:
    3
    C'était noindex, pardon, j' étais allé trop vite.

    Merci
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 825
    J'aime reçus:
    833
  7. ungars
    ungars WRInaute discret
    Inscrit:
    6 Août 2009
    Messages:
    154
    J'aime reçus:
    3
    Je regarde ça tranquillement ce Samedi, et je te tiens au courant.

    Merci, bonne soirée.
     
  8. ungars
    ungars WRInaute discret
    Inscrit:
    6 Août 2009
    Messages:
    154
    J'aime reçus:
    3
    Bonsoir,
    J' ai donc suivi cette methode hier soir, et ce matin la page voulue était désindéxée !

    Du coup puis je laisser le fichier robots.txt à la racine avec ce contenu :
    Merci à tous et bonne soirée.
     
  9. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 011
    J'aime reçus:
    133
  10. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Bonjour,

    Comme vous voulez.
    Vous bloquez ce que vous souhaitez.

    N'hésitez pas à vous présenter au forum : ici et entre deux messages présenter vos avis aussi sur les sujets : ici.

    Cordialement.
     
  11. ungars
    ungars WRInaute discret
    Inscrit:
    6 Août 2009
    Messages:
    154
    J'aime reçus:
    3
    Merci encore pour vos supers conseils et d' avoir partagé vos connaissances.

    Pour la présentation, j' ai vu que ce n' est pas obligatoire, et je n' aime pas trop parler de moi... Donc si je ne suis pas obligé. Et pour présenter mon site, quand il y en aura un de parfaitement opérationnel, promis !

    Bon après midi.
     
  12. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 931
    J'aime reçus:
    269
    Non tu n'es pas obligé, c'est juste un message standard de Madrileño qui, a une époque, avait été surnommé le bot à cause de ça...
     
  13. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Bonjour,

    En effet, c'est pour motiver les gens à participer. :)

    Cordialement.
     
  14. ungars
    ungars WRInaute discret
    Inscrit:
    6 Août 2009
    Messages:
    154
    J'aime reçus:
    3
    Bonjour,
    Ma joie aura été de courte durée !

    La page est de nouveau indexée, pourtant elle figure bien dans la console Google sur la liste des url à supprimer.

    Merci pour votre aide, bonne journée.
     
  15. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 738
    J'aime reçus:
    336
    Bonjour,

    Utiliser un noindex suffit.

    Compléments :
    support.google.com/webmasters/answer/93710?hl=en
    support.google.com/webmasters/answer/1663419?hl=en

    Cordialement.
     
  16. ungars
    ungars WRInaute discret
    Inscrit:
    6 Août 2009
    Messages:
    154
    J'aime reçus:
    3
    Bonjour, merci pour ta réponse.

    J' avais déjà indiqué un noindex via yoast, mais si je regarde le code source, je ne vois pas la section head dont parle le premier lien que tu m' as envoyé.

    Bonne journée.
     
Chargement...
Similar Threads - indexer fichier robots Forum Date
[Robots.txt] Réindéxer un site suite à une erreur dans le fichier robots.txt Crawl et indexation Google, sitemaps 23 Janvier 2015
La solution pour désindexer le fichier robots.txt Crawl et indexation Google, sitemaps 5 Juin 2014
Désindexer des fichier pdf Problèmes de référencement spécifiques à vos sites 21 Décembre 2011
[Google] Technique OCR pour indexer les fichiers PDF Google : l'entreprise, les sites web, les services 31 Octobre 2008
Ne pas faire indexer les nom de fichiers joints... Problèmes de référencement spécifiques à vos sites 19 Janvier 2007
WordPress pourquoi le pourquoi le bouton à cocher "Ne pas indexer ce site" ne suffit pas ? Débuter en référencement 23 Août 2022
Desindexer le staging Débuter en référencement 16 Mars 2022
Search Console Comment indexer son site Crawl et indexation Google, sitemaps 22 Février 2022
Search Console Google ne veut pas indexer après plusieurs semaines Crawl et indexation Google, sitemaps 16 Décembre 2021
Je n'arrive pas à indexer les pages du site sur Google Problèmes de référencement spécifiques à vos sites 2 Décembre 2021
comment indexer des liens achetés Netlinking, backlinks, liens et redirections 29 Novembre 2021
Indexer des pages sans linker en interne Netlinking, backlinks, liens et redirections 28 Octobre 2021
Impossible d'indexer mon site sur google search console Rédaction web et référencement 5 Octobre 2021
Option WordPress « Ne pas indexer ce site » Crawl et indexation Google, sitemaps 23 Septembre 2021
Désindexer des pages auteur avec Yoast sur Wordpress Référencement Google 15 Septembre 2021
Indexer ou non les pages de listing Techniques avancées de référencement 3 Août 2021
Search Console Problème d'indexer d'une page sur Google Référencement Google 20 Juin 2021
Désindexer une page via Google Search Débuter en référencement 14 Juin 2021
Désindexer ou supprimer ? Débuter en référencement 25 Mai 2021
page 404 lien indexer comment le rediriger? Débuter en référencement 12 Janvier 2021