La solution pour désindexer le fichier robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par jd440, 5 Juin 2014.

  1. jd440
    jd440 Nouveau WRInaute
    Inscrit:
    6 Mars 2013
    Messages:
    15
    J'aime reçus:
    0
    Bonjour à tous,

    J'ai eu la surprise de découvrir que mon fichier robots.txt était indexé?
    Surprenant? non?

    Est ce normal, ou il y a t il un moyen d'empecher l'indexation?
     
  2. loubet
    loubet WRInaute impliqué
    Inscrit:
    19 Février 2003
    Messages:
    792
    J'aime reçus:
    0
    Re: robot.txt indexé

    s'il y a un lien vers le fichier, il n'y a pas de raison qu'il ne soit pas indexé.
     
  3. M&B Multimédia
    M&B Multimédia WRInaute passionné
    Inscrit:
    1 Octobre 2009
    Messages:
    1 117
    J'aime reçus:
    0
    Re: robot.txt indexé

    Ça arrive parfois.

    Il y a deux solutions connues pour remédier au "problème" :

    - Ajoutant la ligne "Disallow: /robots.txt" directement dans le fichier robots.txt et retirer le fichier de l'index via GWT
    - Utiliser l'en-tête HTTP "X-Robots-Tag" avec "noindex" via le fichier .htaccess

    Le solution n°1 est la plus courante, et ça n'empêche pas Google de lire le contenu du fichier robots.txt.
     
  4. jd440
    jd440 Nouveau WRInaute
    Inscrit:
    6 Mars 2013
    Messages:
    15
    J'aime reçus:
    0
    Re: robot.txt indexé

    Merci

    en rajoutant cela dans l'htacces?
    Code:
    <FilesMatch "robots.txt">
    Header set X-Robots-Tag "noindex, noarchive"
    </Files>
     
  5. indigene
    indigene WRInaute accro
    Inscrit:
    7 Septembre 2003
    Messages:
    4 011
    J'aime reçus:
    146
    Re: robot.txt indexé

    Code:
    <filesMatch "robots\.txt$">
      Header set X-Robots-Tag "noindex"
    </filesMatch>
    Sans demander la désindexation via GWT la désindexation s'est effectuée en 3 mois, donc ça fonctionne bien
     
Chargement...
Similar Threads - solution désindexer fichier Forum Date
Adaptation mobile sans solutions ?! Développement d'un site Web ou d'une appli mobile 2 Janvier 2020
Solution pratique pour avoir des backlinks. Netlinking, backlinks, liens et redirections 15 Décembre 2019
Plateforme - Solution publicitaire intégrée aux éditoriaux. Demandes d'avis et de conseils sur vos sites 28 Octobre 2019
Bonne extension ou solution de petites annonces Développement d'un site Web ou d'une appli mobile 2 Octobre 2019
Les annuaires sont-ils la solution du référencement d'un site ? Annuaires et moteurs 14 Mai 2019
Campagne adwords sans aucun retour, quelle solution ? AdWords 6 Janvier 2019
Solution : Redirections de nombreuses pages Débuter en référencement 6 Novembre 2018
Vol de photos ya t-il une solution efficace? Droit du web (juridique, fiscalité...) 9 Avril 2018
Quelle solution de forum utiliser pour migration phpbbseo ? Demandes d'avis et de conseils sur vos sites 11 Mars 2018
Solution de paiement pour gros montants e-commerce 4 Mars 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice