Une petite liste de robots

[Acketeers1]

User-agent: Baiduspider

User-agent: Googlebot

User-agent: MSNBot

User-agent: Baiduspider-image

User-agent: YoudaoBot

User-agent: Sogou web spider

User-agent: Sogou inst spider

User-agent: Sogou spider2

User-agent: Sogou blog

User-agent: Sogou News Spider

User-agent: Sogou Orion spider

User-agent: JikeSpider

User-agent: Sosospider

User-agent: PangusoSpider

User-agent: yisouspider

User-agent: EasouSpider

User-agent: Baiduspider

User-agent: Googlebot

User-agent: MSNBot

User-agent: Baiduspider-image

User-agent: YoudaoBot

User-agent: Sogou web spider

User-agent: Sogou inst spider

User-agent: Sogou spider2

User-agent: Sogou blog

User-agent: Sogou News Spider

User-agent: Sogou Orion spider

User-agent: Sosospider

User-agent: PangusoSpider

User-agent: yisouspider

User-agent: EasouSpider

User-agent: googlebot-image

User-agent: googlebot-mobile

User-agent: Slurp

User-agent: Teoma

User-agent: twiceler

User-agent: Gigabot

User-agent: Scrubby

User-agent: Robozilla

User-agent: ia_archiver

User-agent: naverbot

User-agent: yeti

User-agent: yahoo-mmcrawler

User-agent: psbot

User-agent: asterias

User-agent: yahoo-blogs/v3.9

User-agent: seznambot

User-agent: Yandex

User-agent: AlexaBot

User-agent: SurveyBot

User-agent: ZyBorg

User-agent: ArchitextSpider

User-agent: msnbot-media/1.0

User-agent: MSNPTC

User-agent: bingbot

User-agent: Lycos_Spider_(T-Rex)

User-agent: Mediapartners-Google*

User-agent: googlemediabot*

User-agent: gulliver

User-agent: fast

User-agent: scooter

User-agent: vscooter

User-agent: FAST-WebCrawler

User-agent: VoilaBot BETA 1.2

User-agent: LinkedInBot/1.0

User-agent: MLBot

User-agent: ZanranCrawler/0.2

User-agent: Synthesio

User-agent: SheenBot/SheenBot-1.0.4

User-agent: INA dlweb

User-agent: Lijit Crawler

User-agent: dtSearchSpider

User-agent: MJ12bot/v1.3.2

User-agent: VoilaBot

User-agent: ScoutJet

User-agent: NaverBot

User-agent: DuckDuckBot

User-agent: iSense

User-agent: iSense bot v1.21

User-agent: spbot/2.0.2

User-agent: spbot

User-agent: SindiceBot

User-agent:aggregator:Spinn3r (Spinn3r 3.1)

User-agent:Spinn3r

User-agent: Konqueror/3.5

User-agent: psbot/0.1

User-agent: psbot

User-agent: beetween/Nutch-1.0 (beetween crawler)

User-agent: beetween/Nutch-1.0

User-agent: dotbot

User-agent: TinEye/1.1

User-agent: Speedy

User-agent: GurujiBot

User-agent: daumoa

User-agent: Solbot

User-agent: StackRambl

User-agent: Relcybot

User-agent: Exabot

User-agent: discobot/1.1

User-agent: Infoaxe./Nutch-0.9

User-agent: PiplBot; http://pipl.com/bot/

 

[chateaudelaronde]

J'ai noté quelques doublons mais ça peut toujours servir, merci !

 

[Acketeers1]

Je vais voir si je ne pourrais pas ajouter une petite liste chaque jours pour la noel , je vais eviter les doublons dans les prochains

 

[Leonick]

ce qui serait plus intéressant ça serait de catégoriser les robots (ok, à voir et "à exclure) et d'indiquer à quoi ils servent

 

[madri2]

c'est quoi cette url pénalité minus 60 ?