Pages qui ne veulent pas se désindexer

Discussion dans 'Crawl et indexation Google, sitemaps' créé par amrani13, 11 Janvier 2012.

  1. amrani13
    amrani13 WRInaute occasionnel
    Inscrit:
    18 Octobre 2011
    Messages:
    430
    J'aime reçus:
    0
    Bonsoir, j'essaye depuis plus d'une semaine de désindexer mes pages de tag mais rien y fait...

    J'ai interdit l'accès à ces pages en rajoutant le code qui suit dans mon fichier robot:
    Code:
    User-agent: Googlebot
    Disallow: /*/feed/$
    
Disallow: /*/feed/rss/$

    Disallow: /*/trackback/$
    
    
User-agent: *

    Disallow: /wp-

    Disallow: /feed/

    Disallow: /trackback/

    Disallow: /rss/

    Disallow: /comments/feed/

    Disallow: /date/
    Disallow: /comments
    Disallow: /author
    Disallow: /comments/feed/
    
Disallow: /tag/
    Sitemap: -http://www.wiki-travaux.com/sitemap.xml.gz
    
    Et pourtant lorsque je vais voir directement mon fichier robot ici -http://www.wiki-travaux.com/robot.txt et beh j'ai l'impression qu'il ne prend pas en compte ce que j'y rajoute puisque son contenu ne change pas...

    D'où cela peut il venir? GWT qui le génère automatiquement ?

    Merci d'avance
     
  2. mipc
    mipc WRInaute accro
    Inscrit:
    11 Février 2009
    Messages:
    3 157
    J'aime reçus:
    0
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 570
    J'aime reçus:
    658
    interdire le crawl ne va pas provoquer la désindexation ! il faut ensuite aller dans GWT faire la demande de suppression du répertoire (si tes tags sont bien dans un répertoire)

    cela dit, le fichier est -http://www.wiki-travaux.com/robots.txt et pas -http://www.wiki-travaux.com/robot.txt
    et dans -http://www.wiki-travaux.com/robots.txt je ne vois aucune des interdictions que tu as indiquées dans ton post...
     
  4. amrani13
    amrani13 WRInaute occasionnel
    Inscrit:
    18 Octobre 2011
    Messages:
    430
    J'aime reçus:
    0
    Merci, en effet, j'avais nommé mon fichier robot.txt, j'ai rajouter le "s".

    Mes tags sont sont le dossier "tag" mais je n'arrive pas à faire une demande de suppression de dossier dans GWT, on peut seulement désindexer des pages une par une.

    @mipc, comment tu fais pour les mettre en noindex tes pages sur wordpress ?
     
  5. mipc
    mipc WRInaute accro
    Inscrit:
    11 Février 2009
    Messages:
    3 157
    J'aime reçus:
    0
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 570
    J'aime reçus:
    658
    Pour supprimer un répertoire via GWT, il suffit d'aller dans son compte GWT, rubrique "Configuration du site > Accès du robot d'exploration", de cliquer sur l'onglet "Supprimer l'URL" puis sur le bouton "Nouvelle demande de suppression", de taper l'URL du répertoire (par exemple http://www.example.com/test/) puis dans le dernier formulaire, choisir "Supprimer un répertoire" dans la liste des motifs.

    Il faudra avoir préalablement interdit de crawl ce répertoire via le fichier robots.txt
     
Chargement...
Similar Threads - veulent désindexer Forum Date
Que veulent dire les informations de netcraft Administration d'un site Web 3 Septembre 2014
Désindexer des pages auteur avec Yoast sur Wordpress Référencement Google 15 Septembre 2021
Désindexer une page via Google Search Débuter en référencement 14 Juin 2021
Désindexer ou supprimer ? Débuter en référencement 25 Mai 2021
Désindexer une page non indexée Crawl et indexation Google, sitemaps 12 Août 2020
Désindexer les pages http (sans certificat SSL) après piratage japonais Crawl et indexation Google, sitemaps 1 Juillet 2020
WordPress désindexer les pages feed Crawl et indexation Google, sitemaps 8 Juin 2020
Désindexer liste d'URL en générant un sitemap Crawl et indexation Google, sitemaps 2 Mai 2020
Crédits et mentions légales : pages à désindexer ou pas ? Référencement Google 22 Janvier 2020
Désindéxer pages sans en-têtes, ni balises meta Crawl et indexation Google, sitemaps 6 Décembre 2019