User agent pour les nouveaux bot ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par moutyk, 28 Septembre 2004.

  1. moutyk
    moutyk WRInaute impliqué
    Inscrit:
    1 Mars 2003
    Messages:
    524
    J'aime reçus:
    0
    Je viens de découvrir un user agent sur les nouveaux robots d'indexation de google (66.249..)

    Pour ma part identifié sous cette forme : crawl-66-249-64-182.googlebot.com

    Petite remarque comme ça en passant :wink:

    Bonne journée à tous
     
    #1 moutyk, 28 Septembre 2004
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 236
    J'aime reçus:
    565
    ça c'est pas le user agent, c'est le nom d'hôte
    moi j'ai vu passer plein de
    Code:
    Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
    de 66.249.66.177 par exemple
     
    #2 WebRankInfo, 28 Septembre 2004
  3. Dams
    Dams WRInaute discret
    Inscrit:
    10 Mars 2003
    Messages:
    124
    J'aime reçus:
    0
    Ben oui C'est Google...



     
    #3 Dams, 28 Septembre 2004
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 236
    J'aime reçus:
    565
    Ce qui est étonnant c'est que ce robot fait beaucoup d'erreurs (il vient chercher des pages qui n'existent pas là où il va les chercher : erreur de répertoire) alors que Googlebot ne fait jamais d'erreur.

    De toute façon ce n'est pas nouveau ce user agent et ces intervalles d'adresses IP ont été signalées depuis qq temps déjà.

    Y'en a même qui pensent sur d'autres forums qu'il pourrait s'agir d'un robot dont la visite est déclenchée par les spam reports. Rumeur quand tu nous tiens !
     
    #4 WebRankInfo, 28 Septembre 2004
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - User agent nouveaux Forum Date
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
[PHP] Détecter le navigateur / bot en fonction du HTTP_USER_AGENT Développement d'un site Web ou d'une appli mobile 14 Septembre 2019
2 versions du code source en fonction du User Agent [Indexation / SEO] Crawl et indexation Google, sitemaps 25 Juin 2019
Le User-Agent google-speakr de Google Home et l'Assistant vocal Crawl et indexation Google, sitemaps 7 Février 2019
Sans user agent header 403 sur la home page Référencement Google 29 Mai 2018
[PHP] Détecter le navigateur / bot en fonction du HTTP_USER_AGENT Développement d'un site Web ou d'une appli mobile 12 Janvier 2017
Filtrer sur User-Agent Mozilla Google Analytics 25 Novembre 2015
Crawling en fonction des "User Agent" Crawl et indexation Google, sitemaps 20 Septembre 2015
Google change le user-agent de Googlebot pour smartphones [SEO mobile] Crawl et indexation Google, sitemaps 23 Janvier 2014
Robots.txt user-agent: * Débuter en référencement 17 Décembre 2013