La solution pour désindexer le fichier robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par jd440, 5 Juin 2014.

  1. jd440
    jd440 Nouveau WRInaute
    Inscrit:
    6 Mars 2013
    Messages:
    15
    J'aime reçus:
    0
    Bonjour à tous,

    J'ai eu la surprise de découvrir que mon fichier robots.txt était indexé?
    Surprenant? non?

    Est ce normal, ou il y a t il un moyen d'empecher l'indexation?
     
  2. loubet
    loubet WRInaute impliqué
    Inscrit:
    19 Février 2003
    Messages:
    788
    J'aime reçus:
    0
    Re: robot.txt indexé

    s'il y a un lien vers le fichier, il n'y a pas de raison qu'il ne soit pas indexé.
     
  3. M&B Multimédia
    M&B Multimédia WRInaute passionné
    Inscrit:
    1 Octobre 2009
    Messages:
    1 097
    J'aime reçus:
    0
    Re: robot.txt indexé

    Ça arrive parfois.

    Il y a deux solutions connues pour remédier au "problème" :

    - Ajoutant la ligne "Disallow: /robots.txt" directement dans le fichier robots.txt et retirer le fichier de l'index via GWT
    - Utiliser l'en-tête HTTP "X-Robots-Tag" avec "noindex" via le fichier .htaccess

    Le solution n°1 est la plus courante, et ça n'empêche pas Google de lire le contenu du fichier robots.txt.
     
  4. jd440
    jd440 Nouveau WRInaute
    Inscrit:
    6 Mars 2013
    Messages:
    15
    J'aime reçus:
    0
    Re: robot.txt indexé

    Merci

    en rajoutant cela dans l'htacces?
    Code:
    <FilesMatch "robots.txt">
    Header set X-Robots-Tag "noindex, noarchive"
    </Files>
     
  5. indigene
    indigene WRInaute accro
    Inscrit:
    7 Septembre 2003
    Messages:
    4 101
    J'aime reçus:
    176
    Re: robot.txt indexé

    Code:
    <filesMatch "robots\.txt$">
      Header set X-Robots-Tag "noindex"
    </filesMatch>
    Sans demander la désindexation via GWT la désindexation s'est effectuée en 3 mois, donc ça fonctionne bien
     
Chargement...
Similar Threads - solution désindexer fichier Forum Date
Astuce Solution de Stockage de Fichiers sur mon Domaine Développement d'un site Web ou d'une appli mobile 15 Octobre 2021
Quelle solutions pour ajouter un annuaire de membre Développement d'un site Web ou d'une appli mobile 21 Septembre 2021
Quelle solution en cas de piratage massif d'Internet ? Administration d'un site Web 27 Juin 2021
Trafic incorrect Adsense: solution Cloudflare AdSense 15 Avril 2021
Problème résolution typo logiciels Le café de WebRankInfo 28 Février 2021
Autres solution que Wordpress pour création de site ? Développement d'un site Web ou d'une appli mobile 13 Janvier 2021
Meilleure solution pour vendre des PDF à 1€ e-commerce 3 Décembre 2020
Meilleure solution pour les noms de fichiers HTML Débuter en référencement 6 Novembre 2020
Page explorée actuellement non indexée : solution au pb ? Débuter en référencement 3 Novembre 2020
solution pour avoir une "Durée de la session" autre que 0 Google Analytics 5 Avril 2020
Adaptation mobile sans solutions ?! Développement d'un site Web ou d'une appli mobile 2 Janvier 2020
Solution pratique pour avoir des backlinks. Netlinking, backlinks, liens et redirections 15 Décembre 2019
Plateforme - Solution publicitaire intégrée aux éditoriaux. Demandes d'avis et de conseils sur vos sites 28 Octobre 2019
Bonne extension ou solution de petites annonces Développement d'un site Web ou d'une appli mobile 2 Octobre 2019
Les annuaires sont-ils la solution du référencement d'un site ? Annuaires et moteurs 14 Mai 2019
Campagne adwords sans aucun retour, quelle solution ? AdWords 6 Janvier 2019
Vol de photos ya t-il une solution efficace? Droit du web (juridique, fiscalité...) 9 Avril 2018
Quelle solution de forum utiliser pour migration phpbbseo ? Demandes d'avis et de conseils sur vos sites 11 Mars 2018
Solution de paiement pour gros montants e-commerce 4 Mars 2018
Solutions de paiement en ligne, Ecommerce e-commerce 23 Janvier 2018