Mise à jour du fichier robots.txt : dire à Google qu'il doit modifier le contenu indexé

Cam88 · 4 Novembre 2010

Bonsoir,

J'ai mis à jour le fichier robots.txt en début de semaine, après avoir remarqué que Google indexait les pages de recherches
(--> doublon dans les pages indexés, problème signalé par Google dans Google Webmaster > metatag en doublon).

Aujourd'hui je remarque une grosse "avancée" dans l'indexation des pages : d'environs 4 000 pages, je passe à 200 000
(les sitemaps soumis à Google Webmaster compte environ 100 000 pages)

Comment faire pour que Google face le tri ? Il a bien téléchargé le nouveau robots.txt

Je pensais à passer par l'outil "Supprimer l'URL" dans Google Webmaster, mais bon... :roll:
Merci pour votre aide

ap34df · 5 Novembre 2010

L'outil de suppression est plus rapide que la prise en compte du robots.txt, mais bon... o0

kalamity666 · 10 Novembre 2010

Via l'outil de suppression tu peux retirer des pages par lot.
SI tes urls sont bien catégorisées avec un sous répertoire je crois que tu pourras toutes les retirer d'un coup (par exemple tonsite.com/recherche/blabla)

Similar Threads - fichier robots Google	Forum	Date
Google ne lit-il pas mon fichier robots.txt ?	Crawl et indexation Google, sitemaps	8 Décembre 2014
URL persistante dans Google malgré fichier robots.txt	Débuter en référencement	22 Mars 2013
Les robots ne respectent plus le fichier robots.txt, google, bing, voilà	Problèmes de référencement spécifiques à vos sites	11 Janvier 2013
Probleme fichier robots et google.	Problèmes de référencement spécifiques à vos sites	10 Décembre 2012
Avis sur mon fichier robots.txt pour Google	Débuter en référencement	4 Octobre 2012
Erreur rencontrée par googlebot dans fichier robots inexistant	Crawl et indexation Google, sitemaps	19 Août 2012
Fichier robots.txt indexé dans Google	Crawl et indexation Google, sitemaps	22 Juin 2012
Sitemap et fichiers Robots.txt des sites.google.com	Débuter en référencement	10 Mars 2012
Mis à jours du fichier robots et google	Référencement Google	6 Décembre 2011
Google passe outre mon fichier robots.txt , pages ré-indexées	Crawl et indexation Google, sitemaps	26 Juin 2011