Google crawle des url inexistantes "mobile"

Discussion dans 'Crawl et indexation Google, sitemaps' créé par madri2, 8 Janvier 2017.

  1. madri2
    madri2 WRInaute impliqué
    Inscrit:
    29 Décembre 2007
    Messages:
    837
    J'aime reçus:
    0
    Bonjour,

    Google crawl des url qui n'existent pas avec son google bot smartphone.
    Voici le genre d'url :
    http://www.memecenter.fr/mobile/meme/scumbag-brain/page/3/

    et ça indique "référérencé sur:"
    http://www.memecenter.fr/meme/scumbag-brain/page/3/

    alors que non, ça n'est pas indiqué sur cette page, et je n'ai pas de page mobile.
    Et parfois c'est ce format d'url :
    http://www.memecenter.fr/m/meme/success-kid/page/13/
    référencé sur :
    http://www.memecenter.fr/meme/success-kid/page/13/

    bien sur je n'ai pas non plus d'url "/m/", ça retourne 404 ...

    merci
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 466
    J'aime reçus:
    12
    Je vois ce genre de choses sur énormément de sites sur lesquels je travaille. J'ai pris l'habitude de bloquer les dossier /m/ et /mobile/ dans le robots.txt du coup.
     
  3. madri2
    madri2 WRInaute impliqué
    Inscrit:
    29 Décembre 2007
    Messages:
    837
    J'aime reçus:
    0
    je vois ... merci
     
  4. elji
    elji WRInaute occasionnel
    Inscrit:
    6 Juin 2009
    Messages:
    265
    J'aime reçus:
    0
    Je préfererais faire une redirection 301, ou 410.
    Les indications du fichier robots.txt n'ont pas beaucoup de valeur.
     
  5. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 466
    J'aime reçus:
    12
    Elles sont suivies par Google, et de fait depuis que j'ai bloqué ces url au crawl, les 404 ne remontent plus.
     
  6. elji
    elji WRInaute occasionnel
    Inscrit:
    6 Juin 2009
    Messages:
    265
    J'aime reçus:
    0
    Bon, ben j'ai eu le même problème en fait. J'avais pensé que c'était de l'IP spoofing, que c'était pas Google, alors j'ai créé un dossier de ce nom avec un .htaccess qui contient une redirection 410. Ca marche aussi.