La solution pour désindexer le fichier robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par jd440, 5 Juin 2014.

  1. jd440
    jd440 Nouveau WRInaute
    Inscrit:
    6 Mars 2013
    Messages:
    15
    J'aime reçus:
    0
    Bonjour à tous,

    J'ai eu la surprise de découvrir que mon fichier robots.txt était indexé?
    Surprenant? non?

    Est ce normal, ou il y a t il un moyen d'empecher l'indexation?
     
  2. loubet
    loubet WRInaute impliqué
    Inscrit:
    19 Février 2003
    Messages:
    792
    J'aime reçus:
    0
    Re: robot.txt indexé

    s'il y a un lien vers le fichier, il n'y a pas de raison qu'il ne soit pas indexé.
     
  3. M&B Multimédia
    M&B Multimédia WRInaute passionné
    Inscrit:
    1 Octobre 2009
    Messages:
    1 117
    J'aime reçus:
    0
    Re: robot.txt indexé

    Ça arrive parfois.

    Il y a deux solutions connues pour remédier au "problème" :

    - Ajoutant la ligne "Disallow: /robots.txt" directement dans le fichier robots.txt et retirer le fichier de l'index via GWT
    - Utiliser l'en-tête HTTP "X-Robots-Tag" avec "noindex" via le fichier .htaccess

    Le solution n°1 est la plus courante, et ça n'empêche pas Google de lire le contenu du fichier robots.txt.
     
  4. jd440
    jd440 Nouveau WRInaute
    Inscrit:
    6 Mars 2013
    Messages:
    15
    J'aime reçus:
    0
    Re: robot.txt indexé

    Merci

    en rajoutant cela dans l'htacces?
    Code:
    <FilesMatch "robots.txt">
    Header set X-Robots-Tag "noindex, noarchive"
    </Files>
     
  5. indigene
    indigene WRInaute accro
    Inscrit:
    7 Septembre 2003
    Messages:
    4 160
    J'aime reçus:
    178
    Re: robot.txt indexé

    Code:
    <filesMatch "robots\.txt$">
      Header set X-Robots-Tag "noindex"
    </filesMatch>
    Sans demander la désindexation via GWT la désindexation s'est effectuée en 3 mois, donc ça fonctionne bien
     
Chargement...
Similar Threads - solution désindexer fichier Forum Date
Quelle solution en cas de piratage massif d'Internet ? Administration d'un site Web 27 Juin 2021
Trafic incorrect Adsense: solution Cloudflare AdSense 15 Avril 2021
Problème résolution typo logiciels Le café de WebRankInfo 28 Février 2021
Autres solution que Wordpress pour création de site ? Développement d'un site Web ou d'une appli mobile 13 Janvier 2021
Meilleure solution pour vendre des PDF à 1€ e-commerce 3 Décembre 2020
Meilleure solution pour les noms de fichiers HTML Débuter en référencement 6 Novembre 2020
Page explorée actuellement non indexée : solution au pb ? Débuter en référencement 3 Novembre 2020
solution pour avoir une "Durée de la session" autre que 0 Google Analytics 5 Avril 2020
Adaptation mobile sans solutions ?! Développement d'un site Web ou d'une appli mobile 2 Janvier 2020
Solution pratique pour avoir des backlinks. Netlinking, backlinks, liens et redirections 15 Décembre 2019