Fichier robots.txt indexé dans Google

Discussion dans 'Crawl et indexation Google, sitemaps' créé par ptitdav80, 22 Juin 2012.

  1. ptitdav80
    ptitdav80 Nouveau WRInaute
    Inscrit:
    8 Juin 2012
    Messages:
    4
    J'aime reçus:
    0
    Bonjour,

    j'ai ajouté il y a peu un fichier "robots.txt" sur mon site afin de désindexer quelques liens de Google.
    Le problème maintenant est que lorsque je tape "site:david-b.net", je me retrouve avec mon fichier "robots.txt" dans la liste des résultats...

    Je ne trouve pas ça très propre de voir ce fichier indexé sur Google... qu'en pensez-vous?

    Y a t-il un moyen de le désindexer?

    Est-ce qu'il suffit simplement de rajouter une ligne "Disallow: /robots.txt" à la fin de mon fichier?

    Merci d'avance.
     
  2. Koxin-L.fr
    Koxin-L.fr WRInaute passionné
    Inscrit:
    15 Janvier 2012
    Messages:
    1 879
    J'aime reçus:
    6
    Bonjour,

    Tu dois avoir ou a du avoir un lien vers ton robots.txt et GG l'a indexé comme fichier texte.

    Demande la désindexation dans les GWT.

    Et pour info, on y met que des trucs de base, genre, n'indexes pas ma page "mentions légales".

    Lorsque l'on ne veut pas qu'il accède à des répertoire, on le bloque par htaccess. C’est plus sur et plus discret. ;-)

    Rod
     
Chargement...
Similar Threads - Fichier robots indexé Forum Date
"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ? Crawl et indexation Google, sitemaps 12 Février 2019
Indexée malgré le blocage par le fichier robots.txt Débuter en référencement 5 Décembre 2018
Ne pas indexer une page avec le fichier robots.txt Débuter en référencement 20 Juillet 2016
Page panier indexée plusieurs fois (duplicate content) ainsi que robots.txt et fichier map Crawl et indexation Google, sitemaps 17 Mars 2016
[Robots.txt] Réindéxer un site suite à une erreur dans le fichier robots.txt Crawl et indexation Google, sitemaps 23 Janvier 2015
La solution pour désindexer le fichier robots.txt Crawl et indexation Google, sitemaps 5 Juin 2014
Google passe outre mon fichier robots.txt , pages ré-indexées Crawl et indexation Google, sitemaps 26 Juin 2011
Mise à jour du fichier robots.txt : dire à Google qu'il doit modifier le contenu indexé Crawl et indexation Google, sitemaps 4 Novembre 2010
Page de Login et fichier Robots.Txt Débuter en référencement 11 Septembre 2022
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Search Console un fichier robots.txt pour chaque protocole Débuter en référencement 15 Août 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
noindex fr-fr dans fichier robots.txt avec translatepress Référencement international (langues, pays) 18 Décembre 2018
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
Mon site est bloqué par le fichier robots.txt Crawl et indexation Google, sitemaps 12 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Où puis-je configurer le fichier robots.txt et le htaccess ? Débuter en référencement 10 Avril 2018