1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Google crawle des url inexistantes "mobile"

Discussion dans 'Crawl et indexation Google, sitemaps' créé par madri2, 8 Janvier 2017.

  1. madri2
    madri2 WRInaute impliqué
    Inscrit:
    29 Décembre 2007
    Messages:
    655
    J'aime reçus:
    0
    Bonjour,

    Google crawl des url qui n'existent pas avec son google bot smartphone.
    Voici le genre d'url :
    http://www.memecenter.fr/mobile/meme/scumbag-brain/page/3/

    et ça indique "référérencé sur:"
    http://www.memecenter.fr/meme/scumbag-brain/page/3/

    alors que non, ça n'est pas indiqué sur cette page, et je n'ai pas de page mobile.
    Et parfois c'est ce format d'url :
    http://www.memecenter.fr/m/meme/success-kid/page/13/
    référencé sur :
    http://www.memecenter.fr/meme/success-kid/page/13/

    bien sur je n'ai pas non plus d'url "/m/", ça retourne 404 ...

    merci
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 867
    J'aime reçus:
    70
    Je vois ce genre de choses sur énormément de sites sur lesquels je travaille. J'ai pris l'habitude de bloquer les dossier /m/ et /mobile/ dans le robots.txt du coup.
     
  3. madri2
    madri2 WRInaute impliqué
    Inscrit:
    29 Décembre 2007
    Messages:
    655
    J'aime reçus:
    0
    je vois ... merci
     
  4. elji
    elji WRInaute occasionnel
    Inscrit:
    6 Juin 2009
    Messages:
    275
    J'aime reçus:
    5
    Je préfererais faire une redirection 301, ou 410.
    Les indications du fichier robots.txt n'ont pas beaucoup de valeur.
     
  5. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 867
    J'aime reçus:
    70
    Elles sont suivies par Google, et de fait depuis que j'ai bloqué ces url au crawl, les 404 ne remontent plus.
     
  6. elji
    elji WRInaute occasionnel
    Inscrit:
    6 Juin 2009
    Messages:
    275
    J'aime reçus:
    5
    Bon, ben j'ai eu le même problème en fait. J'avais pensé que c'était de l'IP spoofing, que c'était pas Google, alors j'ai créé un dossier de ce nom avec un .htaccess qui contient une redirection 410. Ca marche aussi.
     
Chargement...
Similar Threads - Google crawle inexistantes Forum Date
GoogleBot crawle des pages partenaires inexistantes Crawl et indexation Google, sitemaps 30 Avril 2011
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
Google crawle des pages existant sur d'autres sites Crawl et indexation Google, sitemaps 1 Janvier 2019
Google crawle encore des liens désavoués qui me font des 404 Référencement Google 22 Décembre 2018
Google veut crawler des élèments qui n'existe pas sur mon serveur Crawl et indexation Google, sitemaps 26 Juin 2015
Google crawle des URL virtuelles destinées à Analytics Crawl et indexation Google, sitemaps 10 Juin 2015
Googlebot crawle-t-il les onglets d'une div en style="display:none" ? Crawl et indexation Google, sitemaps 26 Août 2014
Google crawle des urls qu'il invente : quel code renvoyer ? Crawl et indexation Google, sitemaps 31 Juillet 2014
CRAWLER GOOGLEBOT / ROBOT.txt et META ROBOT Débuter en référencement 31 Août 2012
Formulaire POST avec action = this.value, crawlé par Google ? Problèmes de référencement spécifiques à vos sites 9 Juillet 2012
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice