detection du passage de google bot : la meilleure methode ?

WRInaute passionné Inscrit le: 29 Avr 2005 Messages: 726

bonjour
j'aimerai savoir quelle est la meilleure methode (la plus sure) pour detecter le passage du bot google :

- detecter les IP du bot ?
- detecter le UserAgent ?
- autre methode ?

merci

RobotStats ne fait pas ça ?
Je ne l'ai jamais testé donc je ne peux pas te dire.

BBclone m'affiche tous les moteurs qui viennent.

WRInaute passionné Inscrit le: 29 Avr 2005 Messages: 726

je sais qu'il y'a pleins de scripts qui detectent les moteurs, mais moi je ne cherche pas un script, je veux juste savoir quelle methode est plus fiable pour detecter le passage du bot .
Car justement j'ai étudier quelques scripts, et ils n'utilisent pas tous la meme methode !

WRInaute passionné Inscrit le: 24 Sep 2004 Messages: 801 Localisation: Suisse

L'IP du bot je pense....
Car avec l'user agent, les visiteurs peuvent le modifier sans difficulté.... meme que Firefox propose une extension pour ca!

WRInaute passionné Inscrit le: 29 Avr 2005 Messages: 726

bein si c'est le seul inconvenion, ça pose pas de problème, je crois pas qu'il y'a énormement de surfeurs qui mettent googlebot dans leur variable useragent Very Happy

WRInaute accro Inscrit le: 18 Sep 2004 Messages: 3892 Localisation: France

Ben IP+UserAgent ^^.

WRInaute occasionnel Inscrit le: 15 Jan 2005 Messages: 227

RobotStats, il est assez complet

WRInaute passionné Inscrit le: 29 Avr 2005 Messages: 726

mais personne ne me comprend ou koi ? Crying or Very sad

j'ai dis que je ne veux pas installer un truc pour tracker les passages de robots , je veux juste savoir quel method est la meilleur pour la detection ...

je connais robotstats et d'autres scripts qui font ça, mais ils le font differement, moi je veux juste savoir laquelle des methodes est la meilleure, sans combinant deux methodes .

WRInaute accro Inscrit le: 18 Sep 2004 Messages: 3892 Localisation: France

Ben par IP, c'est évident ^^.

moi je suis d'avis de coupler les 2

Nouveau WRInaute Inscrit le: 19 Sep 2005 Messages: 9

Je ne suis pas un spécialiste mais le nom du UserAgent reste le même

deep crawl : "Googlebot/2.1 (+http://www.google.com/bot.html)"
si tu exclus le numéro de version (recherche uniquement de la chaine "Googlebot" au *début* du nom du UserAgent) je pense que tu es tranquille pour un bout de temps.

fast crawl : "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Alors que les IP changent tout le temps, et en plus avec seulement les IP on ne peut pas distinguer le fast crawl de Google des visites de MediaPartners (mêmes IP utilisées).

Donc si tu ne dois en chosir qu'un je dirais le UserAgent.
A moins qu'un point important m'ait échappé ?

WRInaute accro Inscrit le: 18 Sep 2004 Messages: 3892 Localisation: France

En même temps, tout dépend ce que l'on veut faire :
- prendre tout ce qui est Google et un peu plus
- ne prendre absolument que Google

WRInaute discret Inscrit le: 18 Sep 2005 Messages: 89

Google dit lui-même que le meilleur moyen est de vérifier l'user agent : http://www.google.com/webmasters/bot.html#logs

Existe-t-il des scripts PHP qui en font QUE détecter les robots?

Merci beaucoup,
olivier.

detection du passage de google bot : la meilleure methode ?

A lire dans l'actualité sur WRI :

Autres sujets de discussion :