Noindex+disallow, Google m'indexe coûte que coûte !

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par milkiway, 25 Mai 2010.

  1. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    Bonjour,

    Il suffit que je parte en vacances pour revenir et constater que Google fait de la résistance à mes tentatives de non indexation.

    Cas clinique :
    Code:
    <meta name="robots" content="noindex,nofollow" />
    sur chaque pages + la ligne disallow qui va bien dans le robots.txt confirmé par Google WT (comme non indexable).

    Et la commande site:URL_du_site_non_indexable ... me renvoie 533 résultats sur ce site que je ne veux pas indexer :D
    Merveilleux non ?

    Dès lors, comment vérifier si cette indexation non désirée provoque du DC sur mon site ? Une commande spécifique ?

    Pour rappel, il s'agit des versions classiques et mobiles du site. D'ailleurs quel est le DOCTYPE xHTML mobile ?

    Merci, en tout cas c'est intéressant de constater que noindex seul n'avait servi à rien, que la ligne disallow dans le robots.txt avait éradiqué toute trace du site pendant trois semaines et que deux semaines plus tard tout est indexé :mrgreen:
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 850
    J'aime reçus:
    457
    je n'ai pas trop le temps de lire les détails tout de suite, mais si tu interdis le crawl via le robots.txt, le robot ne peut pas constater que tu interdis l'indexation.
    il suffit alors qu'il ait indexé préalablement tes pages pour arriver dans ce genre de situation paradoxale

    au fait, tu peux aussi tester d'aiguiller chaque type de crawler (mobile ou pas) vers la bonne version du site (mobile ou pas)
     
  3. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    Ah! Ce serait là l'explication. Je vais creuser ça je mettrai ici le résultat.

    Oui mais voyant que l'index m.google.fr et la version normale ne diffère pas, est-ce vraiment utile ?

    Merci pour ton intervention.
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 850
    J'aime reçus:
    457
    Il y a bien un index différent constitué par le crawl de Googlebot-mobile. Cela dit, si la plupart des sites laissent crawler leur version "classique" par Googlebot mobile, il est clair que l'index mobile peut être proche de l'index "classique".
    Enfin je ne m'aventure pas plus loin car je n'ai pas assez testé.
     
  5. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    D'après mes recherches et tests, il y a bien un bot Google Mobile, il y a bien un index Google Mobile mais dans les deux cas, sauf erreur de ma part, "Mobile" renvoie aux vieux GSM avec mini écran et navigation au clavier téléphonique. Tout sauf un Smartphone.

    PC : https://www.google.fr/search?q=r%C3%A9f%C3%A9rencement&ie=utf-8&oe=utf- ... =firefox-a
    Smartphone : https://www.google.fr/m/search?q=r%C3%A9f%C3%A9rencement&aq=f&oq=&aqi=g ... 2a1f91602c

    Après tout c'est logique.
    Indexer mon site Smartphone par un bot qui recueille des données pour des téléphones archaïques incapables de l'afficher me parait contre productif.
     
Chargement...
Similar Threads - Noindex+disallow Google indexe Forum Date
Les Quotas ont disparu des Api Google Google : l'entreprise, les sites web, les services Hier à 17:55
Problème page destination groupe d'annonces Google Ads AdWords Hier à 10:54
Nettoyage de requètes externes de Google, comment faire? Administration d'un site Web Samedi à 13:18
Données mobiles absentes de Google Analytics Google Analytics Jeudi à 11:53
Problèmes d'indexations de Google Crawl et indexation Google, sitemaps 19 Octobre 2020
Baisse de traffic juste après : Votre compte Google Ads a été désactivé pour absence de dépenses Référencement Google 17 Octobre 2020
Explosion visites via Google Référencement Google 10 Octobre 2020
Chargement composants par JS (fetch) - indexation dans Google Crawl et indexation Google, sitemaps 9 Octobre 2020
Commentaires dans les articles google news Référencement Google 4 Octobre 2020
Ads Google uniquement sur ordinateur? AdSense 2 Octobre 2020