1. ✅ Apprenez une METHODE qui marche pour votre SEO ! Formation à distance avec Olivier Duffez et Fabien Facériès + aide pour prise en charge du financement
    Rejeter la notice

Indexation malgré le robots.txt

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par CecMne, 23 Septembre 2019.

  1. CecMne
    CecMne Nouveau WRInaute
    Inscrit:
    23 Septembre 2019
    Messages:
    1
    J'aime reçus:
    0
    Bonjour à tous et à toutes,

    Je rencontre un problème d'indexation malgré le robots.txt.

    Au départ, les pages à désindexer étaient situées dans le robots.txt mais indexées quand même, j'ai donc tenté de les enlever du robots.txt et de mettre un attribut no index no follow sur chacune des pages en question. Aujourd'hui, ces pages sont toutes encore indexées ... Avez-vous déjà rencontré cette problématique ?

    D'avance merci !!
     

    Fichiers attachés:

    #1 CecMne, 23 Septembre 2019
  2. Fred
    Fred WRInaute discret
    Inscrit:
    4 Avril 2019
    Messages:
    130
    J'aime reçus:
    12
    Le fait de le interdire dans le robots.txt n'empêche pas l'indexation si elles l'étaient déjà avant. La directive dans le fichier robots.txt empêche le crawl.

    Ainsi si vous empêchez le crawl via le fichier robots.txt et que vous mettez un noindex sur la page google ne désindexera pas la page car vous lui interdisez de la crawler dans le fichier robots.

    Conclusion : mettez un noindex sur les pages que vous souhaitez désindexer et retirer les directives interdisant le crawl de ces pages dans votre fichier robots.txt. Quand google ira crawler ces pages il verra le noindex et le retirera de son index.
     
    #2 Fred, 24 Septembre 2019
  3. KOogar
    KOogar WRInaute accro
    Inscrit:
    16 Novembre 2004
    Messages:
    4 665
    J'aime reçus:
    77
    Nope :cool:

    De mon coté je met juste la balise meta robots noindex (pas de nofollow) et ... je retire les URL du sitemap, peut-etre as tu gardé les URL a désindexer dans ton sitemap ?
     
    #3 KOogar, 24 Septembre 2019
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 789
    J'aime reçus:
    452
    #4 WebRankInfo, 24 Septembre 2019
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Indexation malgré robots Forum Date
Page d'accueil apparait disparait de google malgré indexation Problèmes de référencement spécifiques à vos sites 27 Juin 2011
Indexation des Session ID malgrès mes modifications Crawl et indexation Google, sitemaps 25 Novembre 2010
Indexation par Google d'un nom de domaine malgré redirection 301 (permanente) Crawl et indexation Google, sitemaps 20 Février 2010
Erreur d'indexation Google pour mes fichiers PDF Crawl et indexation Google, sitemaps 17 Septembre 2020
Search Console Probleme redirection nom de domaine et indexation google Crawl et indexation Google, sitemaps 16 Septembre 2020
Problème indexation Google desktop/mobile Problèmes de référencement spécifiques à vos sites 3 Septembre 2020
Désindexation - Besoin de vos retours ! Demandes d'avis et de conseils sur vos sites 17 Août 2020
Search Console Google n'explore pas les liens du sitemap (de desindexation) Crawl et indexation Google, sitemaps 6 Juillet 2020
WordPress Désindexation en masse de mes pages Problèmes de référencement spécifiques à vos sites 1 Juillet 2020
Empêcher l'indexation d'images dont le nom contient une chaîne donnée Crawl et indexation Google, sitemaps 27 Juin 2020