Crawl bizarre de Google ? Explications ?

Nouveau WRInaute Inscrit le: 03 Mar 2005 Messages: 11 Localisation: Le Mans

Bonjour,

Je reposte à nouveau un message concernant un crawl bizarre qui agit sur mes sites depuis ce matin... à savoir les IP 212.27.41.39 / 40 et 29 crawlent mes sites avec comme User Agent "Googlebot/2.1 (+http://googlebot.com/bot.html)" alors que l'IP correspond a crawl.dir.com pour le .29 et pour les autres a mon avis ca doit etre du meme genre !

Est-ce que vous rencontrez egalement ce phenomene sur vos sites ?

Sinon est-ce que quelqu'un a une explication ? Serait-ce dir.com qui crawl avec l'user agent de google ? Ca parait anormal quand meme !

Merci d'avance pour vos réponses.

WRInaute occasionnel Inscrit le: 15 Jan 2005 Messages: 227

moi je fais plus attention à tout çà sinon je me prend trop la tête...

Bonjour,

N'importe qui peut surfer en indiquant un user agent fantaisiste. Sans doute quelqu'un qui veut se faire passer pour Google en visitant ton site... Tant qu'il n'envahit pas ta bande passante, ce n'est pas important.

D'après RIPE, cette adresse appartient à un autre domaine que celui que tu indiques.

Jean-Luc

WRInaute impliqué Inscrit le: 23 Mar 2005 Messages: 347

212.27.41.28 est en effet un google bot débile Wink

j'ai l'impression que dir.com se rapproche de google (referer en dir.com/googl.pl)

il crawl des anciennes urls que j'avais désindexé de google.
Donc à prioris c'est une google bot avec les infos de dir.com (qui etait banni chez moé Wink

)

bref un drôle de bestiole

Crawl bizarre de Google ? Explications ?

A lire dans l'actualité sur WRI :

Autres sujets de discussion :