WMT : erreur URL à accès restreint par un fichier robots.txt

milkiway

WRInaute accro
Bonjour,

Webmaster Tools me relève en erreur 1500 URL, dans la section Erreur d'exploitation.
Il m'indique "URL à accès restreint par un fichier robots.txt"
Normal je les ai mises en disallow dans le robots.txt car elle ne sont pas destinées à être indexées.

Mais dès lors, pourquoi me l'indique t il en erreur ? Chez vous aussi vous avez ça ?
Vaut il mieux enlever le disallow mais mettre un meta noindex ?

Merci
 

Seoscar

Nouveau WRInaute
Je me permets de relancer ce topic car je suis également concerné par ce problème. Avez-vous trouvé une solution pour que ces urls en disallow ne soient plus comprises comme des "erreurs" par Webmaster Tools?

Merci
 

Marie-Aude

WRInaute accro
Les urls bloquées à l'exploration ne sont pas supprimées automatiquement des erreurs d'exploration, car le robot n'y accède plus, et il ne peut donc pas constater la résolution de l'erreur 404
 

longo600

WRInaute passionné
Marie-Aude a dit:
Les urls bloquées à l'exploration ne sont pas supprimées automatiquement des erreurs d'exploration, car le robot n'y accède plus, et il ne peut donc pas constater la résolution de l'erreur 404

J'ai pour ma part effacé les répertoires bloqués par des fichiers robots.txt avec l'outil suppression de répertoires de GWT, mais j'ai toujours l'immense liste d'erreurs.

Et pire, Google m'a ressortis des urls qui n'existent plus depuis 6 ans ... et TOUTES, par dizaines de milliers. du coups, mon site est truffé de 404, a 99% ... J'attends mon déploiement V2 pour mettre le nez dans tout ce bazar et utiliser les redirections.

Probleme pour ton annuaire @Milkway , c'est que ne peux pas mettre du redirect 301 si tes pages sont consultés par les internautes... tu as essayé le retrait de l'index par l'outil suppression de répertoire?

Je ne sais pas si Google utilise ses vieilles bases d'url pour envoyer le bot, ou si il tombe sur des sites d'archive comme archive.org et repointe les urls des anciennes versions... ce qui signifie (dans ce dernier cas) qu'il faut laisser a vie les redirections 301.
 

Discussions similaires

Haut