Google ne lit-il pas mon fichier robots.txt ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par vgeslin, 8 Décembre 2014.

  1. vgeslin
    vgeslin Nouveau WRInaute
    Inscrit:
    5 Septembre 2013
    Messages:
    5
    J'aime reçus:
    0
    Bonjour à tous,

    J'ai crée un site sur Wordpress. A sa mise en ligne, je n'avais pas supprimé les pages natives de mon thème, que Google a crawlé et indexé. J'ai de suite modifié mon fichier robots.txt et demandé via GWT la suppression des pages indésirables. Dans mon interface GWT, la ligne "pages bloquées par le fichier robots" affiche 0 et l'indexation continue.

    J'ai l'impression que mon fichier robots.txt n'est pas lu par Google. Tous les tests du fichier sont bons, il est à la racine. Pourquoi GWT n'affiche-t-il pas de pages bloquées ?

    http://www.cash-and-collect.fr/robots.txt

    Merci si vous avez une piste..
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 904
    J'aime reçus:
    848
    quel bazar ce robots.txt ! espérons que tu le nettoies une fois toutes tes demandes de suppression terminées.
    ça donne quoi dans GWT comme résultat quand tu testes dans l'outil du robots.txt si Google peut accéder à une des URL ?
     
  3. vgeslin
    vgeslin Nouveau WRInaute
    Inscrit:
    5 Septembre 2013
    Messages:
    5
    J'aime reçus:
    0
    Les URLs sont bien bloquées lorsque je teste sur GWT.
    GWT m'a fait une nouvelle indexation il y a 2 jours : dans les stats il n'y a aucune page bloquée, il indexe 90 pages alors que mon site n'en a vraiment que 15, il n'indexe pas les nouvelles pages. je me demande s'il lit mon page-sitemap.xml et mon robots.txt ...
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 904
    J'aime reçus:
    848
    Google a peut-être indexé des URL à une époque, et ne peut plus aujourd'hui les désindexer car elles sont bloquées dans le robots.txt

    Proposer des URL dans un sitemap c'est bien, mais ce n'est pas le seul moyen pour Google de découvrir et indexer des URL...
     
  5. vgeslin
    vgeslin Nouveau WRInaute
    Inscrit:
    5 Septembre 2013
    Messages:
    5
    J'aime reçus:
    0
    Elles sont bloquées mais ce sont des 404 que j'ai également demandé à Google de supprimer dans GWT, pourquoi reviennent-elles ? Comment les pages de mon thème peuvent-elles tout le temps revenir. Mon sitemap est modifié : http://www.cash-and-collect.fr/sitemap.xml Voyez-vous d'autre chose à faire ?
     
Chargement...
Similar Threads - Google lit fichier Forum Date
Visibilité annonce google ads Référencement Google Vendredi à 16:14
Google exclut la quasi totalité de mes pages Problèmes de référencement spécifiques à vos sites 8 Février 2022
Actualité SEO : Anti Google Qwant et Bing Problèmes de référencement spécifiques à vos sites 4 Septembre 2021
Pas de vignette pour Google Actualité Problèmes de référencement spécifiques à vos sites 8 Juillet 2021
Google News / actualités : pas d'impression Référencement Google 22 Avril 2021
Énigme mortelle : chute de 99% du trafic Google, 0 pénalité Problèmes de référencement spécifiques à vos sites 24 Décembre 2020
WordPress Un journal sur Google Actualités Problèmes de référencement spécifiques à vos sites 2 Décembre 2020
Publication dans Google Actualités Référencement Google 6 Août 2020
Indexation longue / Aucune visibilité Google Actualité Crawl et indexation Google, sitemaps 26 Septembre 2019
Grosse volatilité des résultats en cours (MàJ Google ?) Référencement Google 30 Août 2019
Référencement des blogs Skyrock : visibilité dans Google Référencement Google 12 Août 2019
Pénalité Google pour avoir trop de backlinks de qualité d'un coup Netlinking, backlinks, liens et redirections 16 Juillet 2019
Consignes de Google pour la qualité (mai 2019) Référencement Google 18 Mai 2019
L'intégralité de mes images ont disparu de Google Image Pourquoi ? Problèmes de référencement spécifiques à vos sites 31 Mars 2019
Liens de mauvaise qualité vers mon site : ignorés par Google ou pénalisant ? Débuter en référencement 5 Janvier 2019
Pénalité Google ? comment retrouver mon référencement ? Débuter en référencement 16 Octobre 2018
Consignes Google Search Quality Raters AOUT 2018 Référencement Google 3 Août 2018
Google réduit les heures travaillées des Quality Raters [juin 2017] Référencement Google 1 Mai 2017
Articles "fact-check" (faits vérifiés) dans Google Actualités Google : l'entreprise, les sites web, les services 20 Octobre 2016
Pour quoi google n'index pas la totalité des backlinks ? Débuter en référencement 14 Octobre 2016