Crawl bizarre de Google ? Explications ?

Ghibli · 3 Juin 2005

Bonjour,

Je reposte à nouveau un message concernant un crawl bizarre qui agit sur mes sites depuis ce matin... à savoir les IP 212.27.41.39 / 40 et 29 crawlent mes sites avec comme User Agent "Googlebot/2.1 (+http://googlebot.com/bot.html)" alors que l'IP correspond a crawl.dir.com pour le .29 et pour les autres a mon avis ca doit etre du meme genre !

Est-ce que vous rencontrez egalement ce phenomene sur vos sites ?

Sinon est-ce que quelqu'un a une explication ? Serait-ce dir.com qui crawl avec l'user agent de google ? Ca parait anormal quand meme !

Merci d'avance pour vos réponses.

tcctitan · 4 Juin 2005

moi je fais plus attention à tout çà sinon je me prend trop la tête...

jeanluc · 4 Juin 2005

Bonjour,

N'importe qui peut surfer en indiquant un user agent fantaisiste. Sans doute quelqu'un qui veut se faire passer pour Google en visitant ton site... Tant qu'il n'envahit pas ta bande passante, ce n'est pas important.

D'après RIPE, cette adresse appartient à un autre domaine que celui que tu indiques.

Jean-Luc

gorgu · 6 Juin 2005

212.27.41.28 est en effet un google bot débile

j'ai l'impression que dir.com se rapproche de google (referer en dir.com/googl.pl)

il crawl des anciennes urls que j'avais désindexé de google.
Donc à prioris c'est une google bot avec les infos de dir.com (qui etait banni chez moé

)

bref un drôle de bestiole