Mise à jour du fichier robots.txt : dire à Google qu'il doit modifier le contenu indexé

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Cam88, 4 Novembre 2010.

Tags:
  1. Cam88
    Cam88 WRInaute occasionnel
    Inscrit:
    4 Juin 2006
    Messages:
    458
    J'aime reçus:
    0
    Bonsoir,

    J'ai mis à jour le fichier robots.txt en début de semaine, après avoir remarqué que Google indexait les pages de recherches
    (--> doublon dans les pages indexés, problème signalé par Google dans Google Webmaster > metatag en doublon).

    Aujourd'hui je remarque une grosse "avancée" dans l'indexation des pages : d'environs 4 000 pages, je passe à 200 000
    (les sitemaps soumis à Google Webmaster compte environ 100 000 pages)

    Comment faire pour que Google face le tri ? Il a bien téléchargé le nouveau robots.txt

    Je pensais à passer par l'outil "Supprimer l'URL" dans Google Webmaster, mais bon... :roll:
    Merci pour votre aide :)
     
    #1 Cam88, 4 Novembre 2010
  2. ap34df
    ap34df WRInaute occasionnel
    Inscrit:
    7 Septembre 2010
    Messages:
    413
    J'aime reçus:
    0
    L'outil de suppression est plus rapide que la prise en compte du robots.txt, mais bon... o0
     
    #2 ap34df, 5 Novembre 2010
  3. kalamity666
    kalamity666 Nouveau WRInaute
    Inscrit:
    26 Août 2006
    Messages:
    26
    J'aime reçus:
    0
    Via l'outil de suppression tu peux retirer des pages par lot.
    SI tes urls sont bien catégorisées avec un sous répertoire je crois que tu pourras toutes les retirer d'un coup (par exemple tonsite.com/recherche/blabla)
     
    #3 kalamity666, 10 Novembre 2010
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - fichier robots Google Forum Date
Google ne lit-il pas mon fichier robots.txt ? Crawl et indexation Google, sitemaps 8 Décembre 2014
URL persistante dans Google malgré fichier robots.txt Débuter en référencement 22 Mars 2013
Les robots ne respectent plus le fichier robots.txt, google, bing, voilà Problèmes de référencement spécifiques à vos sites 11 Janvier 2013
Probleme fichier robots et google. Problèmes de référencement spécifiques à vos sites 10 Décembre 2012
Avis sur mon fichier robots.txt pour Google Débuter en référencement 4 Octobre 2012
Erreur rencontrée par googlebot dans fichier robots inexistant Crawl et indexation Google, sitemaps 19 Août 2012
Fichier robots.txt indexé dans Google Crawl et indexation Google, sitemaps 22 Juin 2012
Sitemap et fichiers Robots.txt des sites.google.com Débuter en référencement 10 Mars 2012
Mis à jours du fichier robots et google Référencement Google 6 Décembre 2011
Google passe outre mon fichier robots.txt , pages ré-indexées Crawl et indexation Google, sitemaps 26 Juin 2011
Index google et fichier robots.txt ? Référencement Google 21 Août 2008
Les fichiers robots.txt avantagent Google Référencement Google 21 Novembre 2007
Google ne reconnait pas mon fichier robots.txt Crawl et indexation Google, sitemaps 28 Mars 2006
Fichier Robots pas suivi par GoogleBot Crawl et indexation Google, sitemaps 10 Janvier 2006
Limites du fichier robots.txt 100 lignes pour GOOGLE Crawl et indexation Google, sitemaps 16 Juillet 2005
Ajout d'un fichier robots.txt après référencement par Google Débuter en référencement 14 Janvier 2005
Page de Login et fichier Robots.Txt Débuter en référencement 11 Septembre 2022
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019