Urls filtrées indexées et crawl robots.txt

Nouveau WRInaute
Bonjour à tous,

Nous avons refondu toutes les pages listes/catégories de notre site e-commerce (sauf urls). Hors, chaque page liste qui contient des filtres activés (couleur, taille, tri croissant et décroissant etc...) se sont indexées + étaient autorisées au crawl sur le robots.txt. Nous nous sommes donc retrouvé avec des milliers d'urls avec contenu similaire + budget de crawl explosé...

Nous avons donc mis en place la meta no index, follow sur toutes ces pages + bloqué le crawl sur ces mêmes urls (uniquement avec les filtres). MAIS Google Search Console me les remonte en "indexées malgré blocage par le robots.txt" et leur nombre ne fait que d'augmenter !

Mes questions sont les suivantes :

- Les urls filtrées étant indexées, faut-il enlever le blocage sur robots.txt pour permettre à Google de prendre en compte la meta noindex, follow ? Cela risque-t-il d'exploser, en conséquence, à nouveau le budget de crawl ?

- Y a t il quelque chose qui n'a pas bien été fait ou pas dans le bon ordre ?

- Avez-vous une solution à nous proposer ?

Merci encore pour votre aide très précieuse.

Bonne journée.
 
Olivier Duffez (admin)
Membre du personnel
faut-il enlever le blocage sur robots.txt
oui car le fichier robots.txt n'est pas prévu pour configurer l'indexation, seulement le crawl. Si les URL déjà indexées et désormais interdites d'indexation sont bloquées au crawl, rien ne va bouger...

Y a t il quelque chose qui n'a pas bien été fait ou pas dans le bon ordre ?
il fallait dès le début mettre du noindex, ou alors après ne pas bloquer le crawl dans le fichier robots.txt

petites lectures conseillées :
 
Nouveau WRInaute
oui car le fichier robots.txt n'est pas prévu pour configurer l'indexation, seulement le crawl. Si les URL déjà indexées et désormais interdites d'indexation sont bloquées au crawl, rien ne va bouger...


il fallait dès le début mettre du noindex, ou alors après ne pas bloquer le crawl dans le fichier robots.txt

petites lectures conseillées :

Merci pour votre réponse ! Si je comprends bien, 2 solutions s'offrent à nous :

1. Fichier sitemap avec toutes les urls à désindexer puis, quand c'est ok, on le supprime
2. Enlever le blocage sur le robots.txt, puis quand la meta robots no index sera prise en compte, on le remet pour éviter le crawl.

Avec tout ceci, risque-t-on d'avoir des grosses chutes en SEO ? Merci
 
Olivier Duffez (admin)
Membre du personnel
il faudrait voir si ces URL génèrent du trafic (ce qui est peu probable). Un audit technique semble nécessaire ici
 
Olivier Duffez (admin)
Membre du personnel
désolé je pensais avoir été assez clair : il faut nettoyer le site (désindexer toutes ces URL non voulues)
 
Nouveau WRInaute
désolé je pensais avoir été assez clair : il faut nettoyer le site (désindexer toutes ces URL non voulues)
Oui merci mais du coup ceci convient alors (sans potentiel chute de traffic) : 2. Enlever le blocage sur le robots.txt, puis quand la meta robots no index sera prise en compte, on le remet pour éviter le crawl. J'essaie de bien comprendre
 
Discussions similaires
Haut