User-agent: Mediapartners-Google*

Discussion dans 'AdSense' créé par jean28, 6 Août 2006.

  1. jean28
    jean28 WRInaute occasionnel
    Inscrit:
    1 Janvier 2005
    Messages:
    461
    J'aime reçus:
    0
    Pour les adsenses si je mets ceci dans mon fichier robots.txt

    User-agent: Mediapartners-Google*
    Disallow:

    Est ce le même robot qui indexe les pages pour la recherche ?
    Car je ne souhaite pas que google indexe certaines pages de mon site, merci :)
     
  2. TOMHTML
    TOMHTML WRInaute accro
    Inscrit:
    25 Août 2004
    Messages:
    2 524
    J'aime reçus:
    0
    Mediapartner est le bot pour GOOGLE ADSENSE
    mais méfie toi, il sert aussi à mettre les pages en cache...
     
  3. Suede
    Suede WRInaute passionné
    Inscrit:
    4 Octobre 2002
    Messages:
    2 474
    J'aime reçus:
    0
    Ils n'ont pas corrigé ce bug d'indexation du á leur crawl via proxy?
     
  4. Ron56
    Ron56 WRInaute occasionnel
    Inscrit:
    20 Novembre 2005
    Messages:
    461
    J'aime reçus:
    0
    Moi dans mes stats, j'ai eu le bot avec comme UA Mediapartners-Google/2.1 et le bot qui avait comme UA Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot. avec la meme ip, le meme jour :?
     
  5. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Ce n'est pas un bug. C'est une optimisation du crawl. Au lieu d'avoir deux bots différents qui visitent la même page, maintenant ils partagent une cache commune.

    Je ne sais pas si cela entraîne qu'on ne peut plus interdire les crawls d'indexation si on affiche des AdSense.

    Jean-Luc
     
  6. gwaradenn
    gwaradenn WRInaute occasionnel
    Inscrit:
    22 Janvier 2006
    Messages:
    272
    J'aime reçus:
    0
    Et en utilisant en plus :
    <meta name="robots" content="index, follow, noarchive"

    Le bot ne fera plus que son boulot pour adsense
    :wink:
     
  7. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 932
    J'aime reçus:
    5
    Attention: le Crawl Caching Proxy n'est pas un cache de résultats, mais un cache de contenu, inter-robots.
    Le contenu chopé par le bot d'AdSense n'est pas pour autant indexé par GoogleBot ou par les autres. Chaque robot applique stricto-sensu les règles qui lui sont imposées par robots.txt: si GoogleBot ne peut indexer une page, elle ne sera pas indexée dans le moteur; mais celà n'empèche pas MediaBot (Mediapartners) de lire la page et de renvoyer du contextuel.

    http://blog.indexweb.info/actualite-int ... xy,16.html
     
  8. Helpeur
    Helpeur Nouveau WRInaute
    Inscrit:
    11 Septembre 2005
    Messages:
    43
    J'aime reçus:
    0
    Moi je préfère <meta name="robots" content="noarchive"
    <meta name="robots" content="index, follow, est la valeur par défaut, pouquoi alourdir le code ?
     
  9. Suede
    Suede WRInaute passionné
    Inscrit:
    4 Octobre 2002
    Messages:
    2 474
    J'aime reçus:
    0
    Si, il y eu un bug dans les premiers temps.
    Des gens avaient autorisé mediapartner mais refusé googlebot sur certaines pages. Ces pages se sont trouvés indexées car il n'y avait pas de vérification du robots lors de la consultation du cache du crawl.

    François
     
  10. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 249
    J'aime reçus:
    0
    Bonsoir, je m y perds un peu et j aurais voulu savoir comment dois-je faire exactement pour permettre au robot google-adsense de parcourir mes pages, même celles que j ai interdit à tous les robots d indexer pour eviter les doublons.

    J'ai mis ceci:

    User-agent: *
    Disallow: /forum/ici

    par exemple j'ai mis ca. Ok, les bots n'indexent pas les pages qui comment par ici, mais si je veux autoriser juste le robot google adsense, dois-je rajouter sous ces deux lignes:

    User-agent: Mediapartners-Google*
    allow: /forum/ici

    Merc de votre aide !
     
  11. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Bonjour,

    Il faut mettre :
    Code:
    Useragent: *
    Disallow: /forum/ici
    
    User-agent: Mediapartners-Google*
    Disallow:
    Allow: est à déconseiller car ce n'est pas une directive standard.

    Jean-Luc
     
  12. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 249
    J'aime reçus:
    0
    ok et est-ce que ca va changer quelquchose de mettre

    Code:
    Useragent: *
    Disallow: /forum/ici
    
    User-agent: Mediapartners-Google*
    Disallow:
    
    ou

    Code:
    User-agent: Mediapartners-Google*
    Disallow:
    
    Useragent: *
    Disallow: /forum/ici
    
    Y a-t-il un ordre de lecture ou prend-t-il simplement tout en considération ?

    Merci
     
  13. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Aucune différence. Le User-agent: * s'adresse à tous les robots pour lesquels il n'y a pas de directives spécifiques.

    Jean-Luc
     
  14. ivoyages
    ivoyages WRInaute discret
    Inscrit:
    28 Septembre 2004
    Messages:
    87
    J'aime reçus:
    0
    Le sujet date mais je reviens dessus car je viens de recevoir un mail de Google Adsense :

    Pourtant mon fichier Robots.txt autorise tous les bots à se connecter :

    Code:
    User-agent: *
    Disallow:
    Sitemap: http://www.xxx.net/sitemap.xml
    Google Adsense préconise le code :

    Code:
    User-agent: Mediapartners-Google
    Disallow:
    mais je ne vois pas ce que ça va changer ? Votre avis ?
     
  15. Labroc
    Labroc WRInaute occasionnel
    Inscrit:
    13 Avril 2005
    Messages:
    250
    J'aime reçus:
    0
    Il faut dire que plein de sites ont un problème avec leur robots.txt. Car, depuis quelques temps, beaucoup de webmestres reçoivent ce mail de Google AdSense. Pourquoi subitement il y a un problème dans les fichiers robots.txt ? A moins que ce ne soit le robot Mediapartners-Google qui ait un problème.

    J'ai aussi reçu ce mail la première fois il y a à peu près 3 semaines. Cela fait des années que j'ai le même fichier robots.txt et le robot Mediapartners-Google a toujours crawlé le site sans problème. J'ai ajouté le code proposé par Google AdSense. Résultat : le site a été inondé d'annonces pas vraiment pertinentes. J'ai donc retiré le code de Google AdSense ; mais quelques jours plus tard j'ai reçu une seconde fois le mail.
     
Chargement...
Similar Threads - User agent Mediapartners Forum Date
User-agent: Mediapartners-Google Débuter en référencement 10 Février 2012
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
[PHP] Détecter le navigateur / bot en fonction du HTTP_USER_AGENT Développement d'un site Web ou d'une appli mobile 14 Septembre 2019
2 versions du code source en fonction du User Agent [Indexation / SEO] Crawl et indexation Google, sitemaps 25 Juin 2019
Le User-Agent google-speakr de Google Home et l'Assistant vocal Crawl et indexation Google, sitemaps 7 Février 2019
Sans user agent header 403 sur la home page Référencement Google 29 Mai 2018
[PHP] Détecter le navigateur / bot en fonction du HTTP_USER_AGENT Développement d'un site Web ou d'une appli mobile 12 Janvier 2017
Filtrer sur User-Agent Mozilla Google Analytics 25 Novembre 2015
Crawling en fonction des "User Agent" Crawl et indexation Google, sitemaps 20 Septembre 2015
Google change le user-agent de Googlebot pour smartphones [SEO mobile] Crawl et indexation Google, sitemaps 23 Janvier 2014