Changement de Bot?

WRInaute accro
Salut à tous!

Avant j'avais "Googlebot/2.1 (+http://www.googlebot.com/bot.html)" qui passait, maintenant j'ai "Mozilla/5.0 (compatible; Googlebot/2.1; +http: ..."

Est-ce moi qui ait louper un chapitre?
 
WRInaute passionné
Mince non moi aussi ! Depuis ce matin 5 heure !!!
J'avais même pas fait gaffe... On dirai que la dénomination tente de ce rapprocher de celle de Yahoo! Etonnant, étonnant...
 
WRInaute accro
Et il aspire celui-ci!
C'est vrai que depuis 3 semaine, le bot s'arrétait à ma page d'accueil. Celui la est beaucoup plus actif
 
WRInaute accro
Hein? tous les crawlers > 10

A mon avis c'est peut-être un test de google.

Bon la je suis pas trops sûr de ce que j'avance mais l'IP aussi à changer.
Avant : 64.68.87.---
Maintenant : 64.68.82.---

On va voir de toute manière si c'est efficace ou non. Ca fait 3 semaines que mon nouveau site est en ligne et seule le page d'accueil est indexé. Le bot n'est jamais allé plus loin (beaucoup dans le même cas d'ailleurs vu ce que je lis sur le forum).
Peut-être que Google à suspendu plus ou moins son indexation pour mettre en place un nouveau bot ?
On va voir si il index vraiment ou si il est en test.
 
WRInaute passionné
De mon coté j'ai des DNS etonnant
crawl4.googlebot.com
crawl5.googlebot.com

mais aussi
64.68.92.183
64.68.92.190
64.68.92.195

et les crawler1 à crawler15

Avec une page visitée 67 fois 8O
 
A
aiolos_pk
Guest
Bizarre... Et vous pensez que ca a un rapport avec la non indexation de certains sites en ce moment ?

Je viens de regarder d'autres sites plus récents et ils sont référencés avec des pages très récentes... J'en perds mon latin.... Et des visiteurs potentiels :(
 
WRInaute discret
nouveau google bot

je confirme ...

moi, j'ai un site où les google bots passent sans arrets ...

finalement, j'ai de la chance alors ! ;-)

premier googlebot nouvelle version
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

le 03/03/2004 à 03:29:17
 
WRInaute passionné
j'allais venir parler de ce phenomene aussi :)! donc je me range du cote de ceux qui ont observe le changement sans trop comprendre :p
 
Nouveau WRInaute
Pour ma part j'ai toujours l'ancienne version de user agent pour ce matin:
2004-03-03 06:21:14 GET /robots.txt - 80 - 64.68.82.182 HTTP/1.0 Googlebot/2.1+(+http://www.googlebot.com/bot.html)
 
Nouveau WRInaute
Chez moi il passe aussi, l'ancien est passé comme d'hab ce matin juste sur 2 pages! Et le nouveau il se promene un peu partout 8O
 
WRInaute occasionnel
Aujourd"hui : GoogleBot [692] passage

[__1] 64.68.82.170
[_34] 64.68.92.142
[_21] 64.68.92.145
[_26] 64.68.92.147
[_29] 64.68.92.148
[_18] 64.68.92.149
[_24] 64.68.92.151
[_20] 64.68.92.152
[_20] 64.68.92.157
[__7] 64.68.92.161
[_16] 64.68.92.162
[_28] 64.68.92.163
[_32] 64.68.92.166
[__3] 64.68.92.168
[_18] 64.68.92.169
[_28] 64.68.92.171
[_24] 64.68.92.173
[_31] 64.68.92.176
[_21] 64.68.92.178
[_19] 64.68.92.183
[_20] 64.68.92.184
[_22] 64.68.92.189
[_24] 64.68.92.190
[_24] 64.68.92.193
[_27] 64.68.92.194
[_37] 64.68.92.195
[_38] 64.68.92.197
[_23] 64.68.92.203
[_26] 64.68.92.205
[_31] 64.68.92.207
 
WRInaute occasionnel
Bonjour à tous !

J'ai eu ça cette nuit :

64.68.89.144 - xxx.xxx.xxx.xxx 80 GET /robots.txt - 404 Googlebot/Test :?:

Pas de lookup possible...

A+
 
WRInaute impliqué
et ben j'lai ai rajouté dans ma liste des robots et y passe pô chez moi :(

il passe a la place du 64.68.8x.xx ou du 216.239.46.xx ?
 
WRInaute occasionnel
Pour ma part il est pasé avec lookup possible :
Code:
crawl36.googlebot.com - - [15/Mar/2004:21:51:41 +0100] "GET /gaia/?pic=5 HTTP/1.1" 200 10957 "-" "Googlebot/Test"

Je n'ai eu que des crawler##.googlebot.com qui sont venus aujourd'hui, et un seul crawl##.googlebot.com (ci-dessus)

Ils doivent travailler sur une nouvelle génération de bots et fonctionnent par échantillonage.
 
WRInaute passionné
J'ai lu sur un site "concurrent" de WRI que GoogleGuy avait annoncé que Google utiliserait un nouveau nom pour son robot, pour éviter d'être redirigé vers une page sans javascript.

Ceci parce que le moteur souhaite à l'avenir prendre en compte le JS ainsi que les frames.

aK.
 
WRInaute passionné
Faut mettre quoi pour ajouter ce nouveau bot, en supposant qu'il s'agit d'un nouveau bot ? (il y a des moyens de mettre à jour tous les bots d'un coup sur le site officiel ?)
Au passage "webrankinfo" il aurai été pratique de faire une petite page "mise à jour des bots" pour ceux qui suivent pas ou qui ne peuvent pas suivre toutes les mises à jours directement sur le script, en effet à cette vitesse là, ceux qui ne mettent pas à jour l'outil, ça devient vite obsolète.

Enfin sinon moi le bot habituel passe sur des pages de niveaux 4 à partir de l'accueil sans trop de problème et il en fait un paquet d'ailleur :)
 
WRInaute occasionnel
Je me sers du fait que google ne suit pas les redirections javascript pour ne pas faire une redirection qui me permet d'habitude d'adapter mon site dynamiquement à la résolution du visiteur.
Vous connaissez une autre solution pour détecter un robot de référencement comme google :?:
 
WRInaute impliqué
Je me demande ce que googlebot va te répondre quand tu lui demanderas sa résolution d'écran...
1x1 ? :mrgreen:
 
Discussions similaires
Haut