Google ne lit-il pas mon fichier robots.txt ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par vgeslin, 8 Décembre 2014.

  1. vgeslin
    vgeslin Nouveau WRInaute
    Inscrit:
    5 Septembre 2013
    Messages:
    3
    J'aime reçus:
    0
    Bonjour à tous,

    J'ai crée un site sur Wordpress. A sa mise en ligne, je n'avais pas supprimé les pages natives de mon thème, que Google a crawlé et indexé. J'ai de suite modifié mon fichier robots.txt et demandé via GWT la suppression des pages indésirables. Dans mon interface GWT, la ligne "pages bloquées par le fichier robots" affiche 0 et l'indexation continue.

    J'ai l'impression que mon fichier robots.txt n'est pas lu par Google. Tous les tests du fichier sont bons, il est à la racine. Pourquoi GWT n'affiche-t-il pas de pages bloquées ?

    http://www.cash-and-collect.fr/robots.txt

    Merci si vous avez une piste..
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 659
    J'aime reçus:
    433
    quel bazar ce robots.txt ! espérons que tu le nettoies une fois toutes tes demandes de suppression terminées.
    ça donne quoi dans GWT comme résultat quand tu testes dans l'outil du robots.txt si Google peut accéder à une des URL ?
     
  3. vgeslin
    vgeslin Nouveau WRInaute
    Inscrit:
    5 Septembre 2013
    Messages:
    3
    J'aime reçus:
    0
    Les URLs sont bien bloquées lorsque je teste sur GWT.
    GWT m'a fait une nouvelle indexation il y a 2 jours : dans les stats il n'y a aucune page bloquée, il indexe 90 pages alors que mon site n'en a vraiment que 15, il n'indexe pas les nouvelles pages. je me demande s'il lit mon page-sitemap.xml et mon robots.txt ...
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 659
    J'aime reçus:
    433
    Google a peut-être indexé des URL à une époque, et ne peut plus aujourd'hui les désindexer car elles sont bloquées dans le robots.txt

    Proposer des URL dans un sitemap c'est bien, mais ce n'est pas le seul moyen pour Google de découvrir et indexer des URL...
     
  5. vgeslin
    vgeslin Nouveau WRInaute
    Inscrit:
    5 Septembre 2013
    Messages:
    3
    J'aime reçus:
    0
    Elles sont bloquées mais ce sont des 404 que j'ai également demandé à Google de supprimer dans GWT, pourquoi reviennent-elles ? Comment les pages de mon thème peuvent-elles tout le temps revenir. Mon sitemap est modifié : http://www.cash-and-collect.fr/sitemap.xml Voyez-vous d'autre chose à faire ?
     
Chargement...
Similar Threads - Google lit fichier Forum Date
Indexation longue / Aucune visibilité Google Actualité Crawl et indexation Google, sitemaps 26 Septembre 2019
Grosse volatilité des résultats en cours (MàJ Google ?) Référencement Google 30 Août 2019
Référencement des blogs Skyrock : visibilité dans Google Référencement Google 12 Août 2019
Pénalité Google pour avoir trop de backlinks de qualité d'un coup Netlinking, backlinks, liens et redirections 16 Juillet 2019
Consignes de Google pour la qualité (mai 2019) Référencement Google 18 Mai 2019
L'intégralité de mes images ont disparu de Google Image Pourquoi ? Problèmes de référencement spécifiques à vos sites 31 Mars 2019
Liens de mauvaise qualité vers mon site : ignorés par Google ou pénalisant ? Débuter en référencement 5 Janvier 2019
Pénalité Google ? comment retrouver mon référencement ? Débuter en référencement 16 Octobre 2018
Consignes Google Search Quality Raters AOUT 2018 Référencement Google 3 Août 2018
Google réduit les heures travaillées des Quality Raters [juin 2017] Référencement Google 1 Mai 2017
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice