Ne pas indexer une page avec le fichier robots.txt

Discussion dans 'Débuter en référencement' créé par ungars, 20 Juillet 2016.

  1. ungars
    ungars Nouveau WRInaute
    Inscrit:
    6 Août 2009
    Messages:
    29
    J'aime reçus:
    0
    Bonjour, sur le site que j' ai créé : www.aller-en-chine.net, je souhaite que mes mentions légales ne soient pas indéxées par les moteurs de recherche.
    Je me documente, et je lis que la meilleure méthode est de modifier le fichier robots.txt. Je n' avais jamais touché à ce fichier, je le consulte et voici son contenu :
    Code:
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    D' après ce que j' ai lu ici, il ne me semble pas correcte. Ce fichier d' après ce que l' on m' a dit sur le forum de Wordpress (ou j' ai déjà posté, mais plus eu de réponse) , est un fichier virtuel. Je ne sais pas comment y avoir accès, alors je modifie de cette façon et le mets à la racine de mon site :

    Code:
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /mentions-legales/
    Allow: /
    D' après ce que j' ai lu, de cette façon, le fichier robots.txt surpasse le fichier virtuel s' il est mis à la racine.

    Du coup, plein de pages, d' images ont été indéxées rapidement, mais problème, les mentions légales que j' aurais aimé désindexées le sont, alors qu' il y a une mention disallow à son sujet.

    Je ne comprends pas pourquoi.

    Merci pour votre aide, bonne journée.
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 878
    J'aime reçus:
    73
    Via le robots.txt, tu empêche le moteur d'accéder à la page. Si tu veux désindexer cette page, je retirerais la règle du robots.txt et activerait plutôt une meta robot noindex (tu es sur Wordpress, tu peux gérer ça via des plugin comme Yoast ou All in One Seo).
     
  3. ungars
    ungars Nouveau WRInaute
    Inscrit:
    6 Août 2009
    Messages:
    29
    J'aime reçus:
    0
    Je te remercie de ta réponse. Donc :
    - Je retire la ligne correspondante dans le fichier robots.txt (mais je laisse le fichier à la racine du site)
    - Dans Yoast, à la rubrique méta robots index, je mets nofolow c' est bien ça ?

    Bon après midi.
     
  4. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 368
    J'aime reçus:
    2
    Non

    Pourquoi mettre nofollow alors que tu veux noindex ?
    Le noindex est moins visible, mais il est dans la même metabox
     
  5. ungars
    ungars Nouveau WRInaute
    Inscrit:
    6 Août 2009
    Messages:
    29
    J'aime reçus:
    0
    C'était noindex, pardon, j' étais allé trop vite.

    Merci
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 339
    J'aime reçus:
    391
  7. ungars
    ungars Nouveau WRInaute
    Inscrit:
    6 Août 2009
    Messages:
    29
    J'aime reçus:
    0
    Je regarde ça tranquillement ce Samedi, et je te tiens au courant.

    Merci, bonne soirée.
     
  8. ungars
    ungars Nouveau WRInaute
    Inscrit:
    6 Août 2009
    Messages:
    29
    J'aime reçus:
    0
    Bonsoir,
    J' ai donc suivi cette methode hier soir, et ce matin la page voulue était désindéxée !

    Du coup puis je laisser le fichier robots.txt à la racine avec ce contenu :
    Merci à tous et bonne soirée.
     
  9. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 878
    J'aime reçus:
    73
  10. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 109
    J'aime reçus:
    276
    Bonjour,

    Comme vous voulez.
    Vous bloquez ce que vous souhaitez.

    N'hésitez pas à vous présenter au forum : ici et entre deux messages présenter vos avis aussi sur les sujets : ici.

    Cordialement.
     
  11. ungars
    ungars Nouveau WRInaute
    Inscrit:
    6 Août 2009
    Messages:
    29
    J'aime reçus:
    0
    Merci encore pour vos supers conseils et d' avoir partagé vos connaissances.

    Pour la présentation, j' ai vu que ce n' est pas obligatoire, et je n' aime pas trop parler de moi... Donc si je ne suis pas obligé. Et pour présenter mon site, quand il y en aura un de parfaitement opérationnel, promis !

    Bon après midi.
     
  12. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 368
    J'aime reçus:
    2
    Non tu n'es pas obligé, c'est juste un message standard de Madrileño qui, a une époque, avait été surnommé le bot à cause de ça...
     
  13. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 109
    J'aime reçus:
    276
    Bonjour,

    En effet, c'est pour motiver les gens à participer. :)

    Cordialement.
     
  14. ungars
    ungars Nouveau WRInaute
    Inscrit:
    6 Août 2009
    Messages:
    29
    J'aime reçus:
    0
    Bonjour,
    Ma joie aura été de courte durée !

    La page est de nouveau indexée, pourtant elle figure bien dans la console Google sur la liste des url à supprimer.

    Merci pour votre aide, bonne journée.
     
  15. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 109
    J'aime reçus:
    276
    Bonjour,

    Utiliser un noindex suffit.

    Compléments :
    support.google.com/webmasters/answer/93710?hl=en
    support.google.com/webmasters/answer/1663419?hl=en

    Cordialement.
     
  16. ungars
    ungars Nouveau WRInaute
    Inscrit:
    6 Août 2009
    Messages:
    29
    J'aime reçus:
    0
    Bonjour, merci pour ta réponse.

    J' avais déjà indiqué un noindex via yoast, mais si je regarde le code source, je ne vois pas la section head dont parle le premier lien que tu m' as envoyé.

    Bonne journée.
     
Chargement...
Similar Threads - indexer fichier robots Forum Date
[Robots.txt] Réindéxer un site suite à une erreur dans le fichier robots.txt Crawl et indexation Google, sitemaps 23 Janvier 2015
La solution pour désindexer le fichier robots.txt Crawl et indexation Google, sitemaps 5 Juin 2014
Désindexer des fichier pdf Problèmes de référencement spécifiques à vos sites 21 Décembre 2011
WordPress Yoast - Attachment-sitemap.xml à faire indexer ? Débuter en référencement 1 Février 2020
Crédits et mentions légales : pages à désindexer ou pas ? Référencement Google 22 Janvier 2020
Désindéxer pages sans en-têtes, ni balises meta Crawl et indexation Google, sitemaps 6 Décembre 2019
Désindexer page du moteur de recherche interne Crawl et indexation Google, sitemaps 30 Octobre 2019
WordPress Impossible d'indexer un site pour la première fois Problèmes de référencement spécifiques à vos sites 4 Septembre 2019
Pages zombies : faut-il désindexer les pages catégories ? Référencement Google 26 Août 2019
Pages Avis clients : à désindexer ou pas ? e-commerce 19 Août 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice