Mis à jours du fichier robots et google

WRInaute discret
Bonjour à tous je travaille sur un site en wordpress,

j'ai crée un document robots.txt, pour bloquer des pages sur google


voici mon fichier :
Code:
User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /pages-1
Disallow: /pages-21
Disallow: /fr/pages-4
Disallow: /nl/
Allow: /

Je bloque la pages-1, pages-21, fr/pages-4 et aussi tout le dossier /nl/ ( qui regroupe tout les pages en /nl/pages-98, /nl/pages-80 ...

pouvez vous me dire si c'est bon ?
ça fait deja 3 semaine que j'ai mis a jours ce document robots.txt et je vois toujours ses pages lorsque je tape : site:monsite.com ...

une idée ?

Merci et bonne soiréee
 
WRInaute passionné
Tu peux tester ton fichier robots.txt dans Google Webmaster Tools et voir ses effets sur les bots.

Sinon ça m'a l'air bon, mais cela signifie juste à Googlebot de ne plus crawler ces pages. Il faut que tu lui dises de les désindexer, soit en passant par GWT soit en insérant la balise <meta name="robots" content="noindex,follow"> sur tes pages
 
WRInaute discret
Salut voici après test ...

googlebot :

Autorisé par la ligne 18 : Allow: /
Identifié comme répertoire ; certains fichiers peuvent être soumis à des restrictions différentes.

Googlebot-Mobile :

Autorisé par la ligne 18 : Allow: /
Identifié comme répertoire ; certains fichiers peuvent être soumis à des restrictions différentes.

tout semble normal, mais je vois toujours ses pages dans l'index de google :(

...

merci
 
WRInaute occasionnel
Il faut encore attendre.
Sur certains gros sites de plusieurs milliers de pages, j'ai fais cette procédure et ça peut prendre des mois à Google pour purger son index.
 
Discussions similaires
Haut