Indexation malgré le robots.txt

CecMne · 23 Septembre 2019

Bonjour à tous et à toutes,

Je rencontre un problème d'indexation malgré le robots.txt.

Au départ, les pages à désindexer étaient situées dans le robots.txt mais indexées quand même, j'ai donc tenté de les enlever du robots.txt et de mettre un attribut no index no follow sur chacune des pages en question. Aujourd'hui, ces pages sont toutes encore indexées ... Avez-vous déjà rencontré cette problématique ?

D'avance merci !!

Fred · 24 Septembre 2019

Le fait de le interdire dans le robots.txt n'empêche pas l'indexation si elles l'étaient déjà avant. La directive dans le fichier robots.txt empêche le crawl.

Ainsi si vous empêchez le crawl via le fichier robots.txt et que vous mettez un noindex sur la page google ne désindexera pas la page car vous lui interdisez de la crawler dans le fichier robots.

Conclusion : mettez un noindex sur les pages que vous souhaitez désindexer et retirer les directives interdisant le crawl de ces pages dans votre fichier robots.txt. Quand google ira crawler ces pages il verra le noindex et le retirera de son index.

KOogar · 24 Septembre 2019

CecMne a dit: ↑

Avez-vous déjà rencontré cette problématique
Cliquez pour agrandir...

Nope

De mon coté je met juste la balise meta robots noindex (pas de nofollow) et ... je retire les URL du sitemap, peut-etre as tu gardé les URL a désindexer dans ton sitemap ?

WebRankInfo · 24 Septembre 2019

Il faudrait vérifier si Google a bien récupéré la dernière version du fichier robots.txt (sans les interdictions de crawl)
Puis tester une des URL qui doit avoir une meta robots noindex

pour la méthode globale, voir mon dossier pour désindexer des pages

Similar Threads - Indexation malgré robots	Forum	Date
Page d'accueil apparait disparait de google malgré indexation	Problèmes de référencement spécifiques à vos sites	27 Juin 2011
Indexation des Session ID malgrès mes modifications	Crawl et indexation Google, sitemaps	25 Novembre 2010
Indexation par Google d'un nom de domaine malgré redirection 301 (permanente)	Crawl et indexation Google, sitemaps	20 Février 2010
Mise à jour du guide d'indexation pour mobile de Google	Référencement Google	Jeudi à 12:53
Interdire l'indexation d'url interne en double	Référencement Google	7 Janvier 2020
Crawl et indexation de certaines pages	Débuter en référencement	30 Décembre 2019
Indexation site web dans la thématique "érotisme"	Problèmes de référencement spécifiques à vos sites	7 Décembre 2019
Rythme d'indexation Google aléatoire	Crawl et indexation Google, sitemaps	3 Décembre 2019
Désindexation des images quasi totales	YouTube, Google Images et Google Maps	1 Décembre 2019
Indexation d'un blog wordpress	Problèmes de référencement spécifiques à vos sites	28 Novembre 2019