Google Webmaster Tools et pb urls non indexees

WRInaute occasionnel
Bonjour à tous !

Je souhaiterai avoir votre avis sur un problème.
Constat : Webmaster tools détecte des erreurs 404 d’un site qui sont en train de gonfler (4262). Ces urls ne sont pas indexées. Dans la base de données les pages associées sont absentes.
Symptômes : au début ou à la fin de la dernière partie des urls, des nombres sont ajoutés.
Hypothèse : ce serait généré par un bot.

Quel est votre diagnostique, quel est votre remède, qui pourrait en être la cause ?
 
Olivier Duffez (admin)
Membre du personnel
il faut s'assurer qu'il n'existe aucun lien interne vers ces URL en 404
puisque ces URL ne sont pas indexées, et si c'est possible, bloque-les au crawl (robots.txt)
 
WRInaute occasionnel
C'est déjà ce que nous avons fait, mais justement on s'interroge, comment cela se fait que sans liens interne et les urls indiqués en robots.txt que GWT les détectent quand même ! ... ?
Merci
Fanny
 
Olivier Duffez (admin)
Membre du personnel
si les URL sont bloquées dans le robots.txt, Google ne peut pas les indiquer en erreur 404
il doit s'agir d'URL différentes
 
Discussions similaires
Haut