Bingbot : le crawler de Bing

Par Olivier Duffez , Mardi 29 juin 2010

Ces publicités sont réduites voire supprimées pour les membres WebRankInfo.

Jusqu'à présent, le nom officiel du robot du moteur de recherche de Microsoft n'a pas évolué aussi rapidement que les noms du moteur : il s'appelle toujours msnbot, du nom de MSN Search, l'ancêtre de Live Search, celui-là même qui a engendré l'actuel Bing :-) A partir du 1er octobre 2010 le nom d'agent sera donc Bingbot.

Quel est l'impact de ce changement ?

Bing et son crawler

Dean Wierman and Fabrice Canel l'ont annoncé sur le blog officiel avec plusieurs mois d'avance, histoire que tous les développeurs web se préparent à tenir compte de ce changement. Rien d'exceptionnel, mais ce changement peut concerner certains d'entre vous :

• ceux qui analysent les crawlers dans leurs logs
• ceux qui utilisent le fichier robots.txt pour indiquer au robot de Bing les rubriques du site qu'il ne doit pas crawler
• ceux qui font du cloaking en fonction du UserAgent (par exemple pour supprimer les identifiants de session...)
• ceux qui utilisent des extensions comme UserAgentSwitcher
• si j'ai oublié d'autres cas, signalez-moi, merci !

Le UserAgent de Bing

Voici le nouveau nom officiel complet du robot de Bing, en vigueur au 01/10/2010 :

Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)

(Pour l'instant la page http://www.bing.com/bingbot.htm ne semble pas répondre, c'est sans doute trop tôt).

Dans le fichier robots.txt, il faudra utiliser "bingbot" (sans les guillemets bien entendu).

Si vous rencontrez des problèmes avec ce crawler, les équipes chez Microsoft ont mis en place un système très performant de communication avec les webmasters : l'email ! Il vous suffit en effet d'écrire à bingbot@microsoft.com pour raconter vos soucis...

Je n'ai pas vu d'infos concernant les petits frères de MSNbot, à savoir MSNBot-Media, MSNBot-NewsBlogs, MSNBot-Products et MSNBot-Academic (d'ailleurs j'ignore s'ils existent encore ?).

Si vous souhaitez publier un extrait de cet article sur votre site, assurez-vous de respecter les conditions générales d'utilisation de WebRankInfo.