Bloquer des urls via un robots.txt . est ce un problème ?

WRInaute discret
Bonjour,

Je bloque plusieurs centaines de pages de mon site a l'aide d'un fichier robots.txt, j'ai mis cela en place afin de lutter contre le duplicate content.

Dans mon Google Wemaster Tools, cela apparait comme un problème ...

Exploration du Web
URL à accès restreint par un fichier robots.txt
J'ai un panneau "Attention" 1243 détails


Diagnostic > Exploration du Web > j'ai le détail plus "Problème détecté le ..."

Donc cela apparait comme un Problème...

Pensez vous qu'il faut que je trouve une solution contre ca ?
 
WRInaute accro
Google n'explique pas clairement les choses. Il ne s'agit pas d'un problème puisque c'est en connaissance de cause que tu interdis l'accès à Googlebot. Ce n'est donc pas un message d'erreur, tout au plus un avertissement pour le cas où tu ne serais pas au courant que Google n'a pas accès à ces pages.

Jean-Luc
 
WRInaute accro
Ca peut être un problème si tu as, dans ton sitemap, des liens qui sont bloqués par robots.txt et c'est pourquoi gg t'affiche cette info
 
WRInaute discret
Merci pour vos réponses.

Je n'ai pas d'erreur ou de problème dans la ligne :

"Erreurs rencontrées pour les URL répertoriées dans les sitemaps"

Il faut que je trouve ou Google accède a ces urls et si le nombre augmente.
 
Discussions similaires
Haut