detection du passage de google bot : la meilleure methode ?

WRInaute passionné
bonjour
j'aimerai savoir quelle est la meilleure methode (la plus sure) pour detecter le passage du bot google :

- detecter les IP du bot ?
- detecter le UserAgent ?
- autre methode ?



merci
 
WRInaute passionné
je sais qu'il y'a pleins de scripts qui detectent les moteurs, mais moi je ne cherche pas un script, je veux juste savoir quelle methode est plus fiable pour detecter le passage du bot .
Car justement j'ai étudier quelques scripts, et ils n'utilisent pas tous la meme methode !
 
WRInaute impliqué
L'IP du bot je pense....
Car avec l'user agent, les visiteurs peuvent le modifier sans difficulté.... meme que Firefox propose une extension pour ca!
 
WRInaute passionné
bein si c'est le seul inconvenion, ça pose pas de problème, je crois pas qu'il y'a énormement de surfeurs qui mettent googlebot dans leur variable useragent :D
 
WRInaute passionné
:cry: :cry: :cry:

mais personne ne me comprend ou koi ? :cry: :cry:

j'ai dis que je ne veux pas installer un truc pour tracker les passages de robots , je veux juste savoir quel method est la meilleur pour la detection ...


je connais robotstats et d'autres scripts qui font ça, mais ils le font differement, moi je veux juste savoir laquelle des methodes est la meilleure, sans combinant deux methodes .
 
Nouveau WRInaute
Je ne suis pas un spécialiste mais le nom du UserAgent reste le même

deep crawl : "Googlebot/2.1 (+https://www.google.com/bot.html)"
si tu exclus le numéro de version (recherche uniquement de la chaine "Googlebot" au *début* du nom du UserAgent) je pense que tu es tranquille pour un bout de temps.

fast crawl : "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

Alors que les IP changent tout le temps, et en plus avec seulement les IP on ne peut pas distinguer le fast crawl de Google des visites de MediaPartners (mêmes IP utilisées).

Donc si tu ne dois en chosir qu'un je dirais le UserAgent.
A moins qu'un point important m'ait échappé ?
 
WRInaute discret
Je ne suis pas un spécialiste mais le nom du UserAgent reste le même

les IP aussi mais on ne peut pas les simuler

# Google
# UA "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
# UA "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
# UA "Googlebot/Test"
# UA "Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)"
# UA "Googlebot/Test (+http://www.googlebot.com/bot.html)"
# UA "Mediapartners-Google/2.1"
# UA "Googlebot-Image/1.0"
164.71.1.146
164.71.1.147
164.71.1.148
164.71.1.149
192.51.44.10
192.51.44.13
192.51.44.18
192.51.44.19
209.185.108
209.185.253
210.131.75.80
210.131.75.81
210.131.75.82
210.131.75.83
210.131.75.84
216.33.229.163
216.239.33.96
216.239.33.97
216.239.33.98
216.239.33.99
216.239.37.98
216.239.37.99
216.239.39.98
216.239.39.99
216.239.41.96
216.239.41.97
216.239.41.98
216.239.41.99
216.239.45.4
216.239.46
216.239.51.96
216.239.51.97
216.239.51.98
216.239.51.99
216.239.53.98
216.239.53.99
216.239.57.96
216.239.57.97
216.239.57.98
216.239.57.99
216.239.59.98
216.239.59.99
63.83.186.67
64.68.80
64.68.81
64.68.82
64.68.83
64.68.84
64.68.85
64.68.86
64.68.87
64.68.88
64.68.89
64.68.90.1
64.68.90.10
64.68.90.11
64.68.90.12
64.68.90.129
64.68.90.13
64.68.90.130
64.68.90.131
64.68.90.132
64.68.90.133
64.68.90.134
64.68.90.135
64.68.90.136
64.68.90.137
64.68.90.138
64.68.90.139
64.68.90.14
64.68.90.140
64.68.90.141
64.68.90.142
64.68.90.143
64.68.90.144
64.68.90.145
64.68.90.146
64.68.90.147
64.68.90.148
64.68.90.149
64.68.90.15
64.68.90.150
64.68.90.151
64.68.90.152
64.68.90.153
64.68.90.154
64.68.90.155
64.68.90.156
64.68.90.157
64.68.90.158
64.68.90.159
64.68.90.16
64.68.90.160
64.68.90.161
64.68.90.162
64.68.90.163
64.68.90.164
64.68.90.165
64.68.90.166
64.68.90.167
64.68.90.168
64.68.90.169
64.68.90.17
64.68.90.170
64.68.90.171
64.68.90.172
64.68.90.173
64.68.90.174
64.68.90.175
64.68.90.176
64.68.90.177
64.68.90.178
64.68.90.179
64.68.90.18
64.68.90.180
64.68.90.181
64.68.90.182
64.68.90.183
64.68.90.184
64.68.90.185
64.68.90.186
64.68.90.187
64.68.90.188
64.68.90.189
64.68.90.19
64.68.90.190
64.68.90.191
64.68.90.192
64.68.90.193
64.68.90.194
64.68.90.195
64.68.90.196
64.68.90.197
64.68.90.198
64.68.90.199
64.68.90.2
64.68.90.20
64.68.90.200
64.68.90.201
64.68.90.202
64.68.90.203
64.68.90.204
64.68.90.205
64.68.90.206
64.68.90.207
64.68.90.208
64.68.90.21
64.68.90.22
64.68.90.23
64.68.90.24
64.68.90.25
64.68.90.26
64.68.90.27
64.68.90.28
64.68.90.29
64.68.90.3
64.68.90.30
64.68.90.31
64.68.90.32
64.68.90.33
64.68.90.34
64.68.90.35
64.68.90.36
64.68.90.37
64.68.90.38
64.68.90.39
64.68.90.4
64.68.90.40
64.68.90.41
64.68.90.42
64.68.90.43
64.68.90.44
64.68.90.45
64.68.90.46
64.68.90.47
64.68.90.48
64.68.90.49
64.68.90.5
64.68.90.50
64.68.90.51
64.68.90.52
64.68.90.53
64.68.90.54
64.68.90.55
64.68.90.56
64.68.90.57
64.68.90.58
64.68.90.59
64.68.90.6
64.68.90.60
64.68.90.61
64.68.90.62
64.68.90.63
64.68.90.64
64.68.90.65
64.68.90.66
64.68.90.67
64.68.90.68
64.68.90.69
64.68.90.7
64.68.90.70
64.68.90.71
64.68.90.72
64.68.90.73
64.68.90.74
64.68.90.75
64.68.90.76
64.68.90.77
64.68.90.78
64.68.90.79
64.68.90.8
64.68.90.80
64.68.90.9
64.68.91
64.68.92
64.233.173.193
64.233.173.194
64.233.173.195
64.233.173.196
64.233.173.197
64.233.173.198
64.233.173.199
64.233.173.200
64.233.173.201
64.233.173.202
64.233.173.203
64.233.173.204
64.233.173.205
64.233.173.206
64.233.173.207
64.233.173.208
64.233.173.209
64.233.173.210
64.233.173.211
64.233.173.212
64.233.173.213
64.233.173.214
64.233.173.215
64.233.173.216
64.233.173.217
64.233.173.218
64.233.173.219
64.233.173.220
64.233.173.221
64.233.173.222
64.233.173.223
64.233.173.224
64.233.173.225
64.233.173.226
64.233.173.227
64.233.173.228
64.233.173.229
64.233.173.230
64.233.173.231
64.233.173.232
64.233.173.233
64.233.173.234
64.233.173.235
64.233.173.236
64.233.173.237
64.233.173.238
64.233.173.239
64.233.173.240
64.233.173.241
64.233.173.242
64.233.173.243
64.233.173.244
64.233.173.245
64.233.173.246
64.233.173.247
64.233.173.248
64.233.173.249
64.233.173.250
64.233.173.251
64.233.173.252
64.233.173.253
64.233.173.254
64.233.173.255
66.249.64
66.249.65
66.249.66
66.249.68
66.249.69
66.249.71
66.249.72
 
WRInaute accro
En même temps, tout dépend ce que l'on veut faire :
- prendre tout ce qui est Google et un peu plus
- ne prendre absolument que Google
 
WRInaute discret
Oui, merci beaucoup!!

Je pensais que robotstats était un service sfonctionnant comme xiti par exemple (script hébergé sur le serveur du service).

Merci
 
WRInaute accro
User agent...

C'est beaucoup plus simple...

Pour ce qui est de ceux qui s'amusent à le modifier ils ne sont pas très nombreux...
 
WRInaute accro
agilis>Pas de problème :p.

Ohax>tout dépend ce que tu veux faire. Si c'est pour des statistiques, l'UA me paraît être la meilleure solution. Si tu veux faire une page réservée à Google uniquement (bon, en général, c'est pas pour faire des choses très très zoulies ^^), le filtrage sur IP garantit une meilleure sécurité.

Donc la méthode "la plus sûre" est par l'IP.
 
Discussions similaires
Haut