Différence des Crawlers

[yep]

Bonjour à tous,

comme cela a déjà dû être évoqué, quelqu'un connait-il le travail exact de chaque crawler de Google :

Par exemple que fait le crawler 13 ? : détection de nouvelles pages, indexation des index, simple rafraichissement des pages, etc. ?
Même question pour l'ensemble des crawlers ?

Merci d'avance

 

[niceunef]

Tu parles des adresses IP type crawler10.googlebot.com ? Il me semble que c'est toujours le meme robot, connaitre les IP permet de savoir combien de différentes viennent visiter etc... mais c'est plus une histoire de charge de réseau qu'autre chose.
Ils ont tous le meme role que je sache. S'il y a une différence d'user-agent, c'est autre chose par contre...

 

[yep]

d'IP ou du nom de sous domaine associé ? en fait je voulais juste connaître les rôles de chaque robot de GG, si quelqu'un les connait.