WMT : erreur URL à accès restreint par un fichier robots.txt

[milkiway]

Bonjour,

Webmaster Tools me relève en erreur 1500 URL, dans la section Erreur d'exploitation.
Il m'indique "URL à accès restreint par un fichier robots.txt"
Normal je les ai mises en disallow dans le robots.txt car elle ne sont pas destinées à être indexées.

Mais dès lors, pourquoi me l'indique t il en erreur ? Chez vous aussi vous avez ça ?
Vaut il mieux enlever le disallow mais mettre un meta noindex ?

Merci

 

[Marie-Aude]

Est ce qu'elles sont présentes dans le sitemap ?

 

[milkiway]

Non et elles n'ont aucun lien externe ...

 

[Leonick]

j'ai le même problème avec plusieurs milliers d'url mises en nofollow et bloquées avec robots.txt

 

[Seoscar]

Je me permets de relancer ce topic car je suis également concerné par ce problème. Avez-vous trouvé une solution pour que ces urls en disallow ne soient plus comprises comme des "erreurs" par Webmaster Tools?

Merci

 

[Marie-Aude]

Les urls bloquées à l'exploration ne sont pas supprimées automatiquement des erreurs d'exploration, car le robot n'y accède plus, et il ne peut donc pas constater la résolution de l'erreur 404

 

[longo600]

Les urls bloquées à l'exploration ne sont pas supprimées automatiquement des erreurs d'exploration, car le robot n'y accède plus, et il ne peut donc pas constater la résolution de l'erreur 404

J'ai pour ma part effacé les répertoires bloqués par des fichiers robots.txt avec l'outil suppression de répertoires de GWT, mais j'ai toujours l'immense liste d'erreurs.

Et pire, Google m'a ressortis des urls qui n'existent plus depuis 6 ans ... et TOUTES, par dizaines de milliers. du coups, mon site est truffé de 404, a 99% ... J'attends mon déploiement V2 pour mettre le nez dans tout ce bazar et utiliser les redirections.

Probleme pour ton annuaire @Milkway , c'est que ne peux pas mettre du redirect 301 si tes pages sont consultés par les internautes... tu as essayé le retrait de l'index par l'outil suppression de répertoire?

Je ne sais pas si Google utilise ses vieilles bases d'url pour envoyer le bot, ou si il tombe sur des sites d'archive comme archive.org et repointe les urls des anciennes versions... ce qui signifie (dans ce dernier cas) qu'il faut laisser a vie les redirections 301.