• Configuration de l'affichage du site :
  • Affichage en pleine largeur
  • Affichage en basse résolution (800px)
  • Affichage en texte seul

Référencement :
conseils, outils, actualité, forum
tout ça gratuit !

Vous êtes ici : Yahoo! » Yahoo! Slurp » Liste des robots de Yahoo!

Les crawlers de Yahoo! (spiders)

Par Olivier DUFFEZ, le 07/03/2004

Yahoo! ayant racheté plusieurs moteurs de recherche en 2003, vous pouvez voir dans vos logs les traces de plusieurs robots appartenant désormais à Yahoo!.

Cet article a pour objectif de vous aider à y voir plus clair. Il sera complété au fil des prochains mois...

Nom Yahoo! Slurp
Moteur Yahoo! Search
Description Crawler des pages web de Yahoo! Search
Nom d'agent Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
URL help.yahoo.com/help/us/ysearch/slurp
Nom YahooFeedSeeker
Moteur Yahoo! Search
Description Crawler des fils RSS
Nom d'agent YahooFeedSeeker/1.0 (compatible; Mozilla 4.0; MSIE 5.5; http://my.yahoo.com/s/publishers.html)

ou
YahooFeedSeeker/1.0 (compatible; Mozilla 4.0; MSIE 5.5; http://my.yahoo.com/s/publishers.html; users {X}; views {Y})

{X} et {Y} représentent des nombres
URL my.yahoo.com/s/publishers.html
Nom Yahoo-MMCrawler
Moteur Yahoo! Search (???)
Description Crawler des contenus multimédias pour Yahoo! ?

Même intervalle d'adresses IP que l'ancien robot FAST-WebCrawler/3.x Multimedia. Il vient visiter exclusivement le fichier robots.txt et les fichiers multimédia.
Nom d'agent Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)
URL  
Nom Yahoo-VerticalCrawler
Moteur AllTheWeb
Description

Crawler de AllTheWeb. Egalement appelé Yahooseeker, il semblerait qu'il serve aujourd'hui à un (futur) moteur de shopping.
Nom d'agent Yahoo-VerticalCrawler-FormerWebCrawler/3.9 crawler at trd dot overture dot com; http://www.alltheweb.com/
help/webmaster/crawler
URL www.alltheweb.com/help/webmaster/crawler
Nom FAST-WebCrawler
Moteur Fast
Description Crawler de Fast
Nom d'agent FAST-WebCrawler/3.7/FirstPage (atw-crawler at fast dot no;http://fast.no/support/crawler.asp)
URL fast.no/support/crawler.asp

Liste des robots de Yahoo! ("crawlers" ou "spiders")

N'hésitez pas à me contacter via ce formulaire pour me signaler une éventuelle erreur ou pour compléter cette liste.

Vous pouvez aussi discuter directement dans le forum Yahoo

Récemment dans le forum Yahoo