Pages qui ne veulent pas se désindexer

WRInaute occasionnel
Bonsoir, j'essaye depuis plus d'une semaine de désindexer mes pages de tag mais rien y fait...

J'ai interdit l'accès à ces pages en rajoutant le code qui suit dans mon fichier robot:
Code:
User-agent: Googlebot
Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /*/trackback/$


User-agent: *

Disallow: /wp-

Disallow: /feed/

Disallow: /trackback/

Disallow: /rss/

Disallow: /comments/feed/

Disallow: /date/
Disallow: /comments
Disallow: /author
Disallow: /comments/feed/

Disallow: /tag/
Sitemap: -http://www.wiki-travaux.com/sitemap.xml.gz

Et pourtant lorsque je vais voir directement mon fichier robot ici -http://www.wiki-travaux.com/robot.txt et beh j'ai l'impression qu'il ne prend pas en compte ce que j'y rajoute puisque son contenu ne change pas...

D'où cela peut il venir? GWT qui le génère automatiquement ?

Merci d'avance
 
Olivier Duffez (admin)
Membre du personnel
interdire le crawl ne va pas provoquer la désindexation ! il faut ensuite aller dans GWT faire la demande de suppression du répertoire (si tes tags sont bien dans un répertoire)

cela dit, le fichier est -http://www.wiki-travaux.com/robots.txt et pas -http://www.wiki-travaux.com/robot.txt
et dans -http://www.wiki-travaux.com/robots.txt je ne vois aucune des interdictions que tu as indiquées dans ton post...
 
WRInaute occasionnel
Merci, en effet, j'avais nommé mon fichier robot.txt, j'ai rajouter le "s".

Mes tags sont sont le dossier "tag" mais je n'arrive pas à faire une demande de suppression de dossier dans GWT, on peut seulement désindexer des pages une par une.

@mipc, comment tu fais pour les mettre en noindex tes pages sur wordpress ?
 
Olivier Duffez (admin)
Membre du personnel
Pour supprimer un répertoire via GWT, il suffit d'aller dans son compte GWT, rubrique "Configuration du site > Accès du robot d'exploration", de cliquer sur l'onglet "Supprimer l'URL" puis sur le bouton "Nouvelle demande de suppression", de taper l'URL du répertoire (par exemple http://www.example.com/test/) puis dans le dernier formulaire, choisir "Supprimer un répertoire" dans la liste des motifs.

Il faudra avoir préalablement interdit de crawl ce répertoire via le fichier robots.txt
 
Discussions similaires
Haut