Google crawle des url inexistantes "mobile"

WRInaute impliqué
Bonjour,

Google crawl des url qui n'existent pas avec son google bot smartphone.
Voici le genre d'url :
http://www.memecenter.fr/mobile/meme/scumbag-brain/page/3/

et ça indique "référérencé sur:"
http://www.memecenter.fr/meme/scumbag-brain/page/3/

alors que non, ça n'est pas indiqué sur cette page, et je n'ai pas de page mobile.
Et parfois c'est ce format d'url :
http://www.memecenter.fr/m/meme/success-kid/page/13/
référencé sur :
http://www.memecenter.fr/meme/success-kid/page/13/

bien sur je n'ai pas non plus d'url "/m/", ça retourne 404 ...

merci
 
WRInaute accro
Je vois ce genre de choses sur énormément de sites sur lesquels je travaille. J'ai pris l'habitude de bloquer les dossier /m/ et /mobile/ dans le robots.txt du coup.
 
WRInaute occasionnel
Je préfererais faire une redirection 301, ou 410.
Les indications du fichier robots.txt n'ont pas beaucoup de valeur.
 
WRInaute accro
elji a dit:
Je préfererais faire une redirection 301, ou 410.
Les indications du fichier robots.txt n'ont pas beaucoup de valeur.

Elles sont suivies par Google, et de fait depuis que j'ai bloqué ces url au crawl, les 404 ne remontent plus.
 
WRInaute occasionnel
Bon, ben j'ai eu le même problème en fait. J'avais pensé que c'était de l'IP spoofing, que c'était pas Google, alors j'ai créé un dossier de ce nom avec un .htaccess qui contient une redirection 410. Ca marche aussi.
 
Discussions similaires
Haut