Nouvelle "Encyclopédie des Robots" et UserAgents

[jeanluc]

Bonjour,

Je voulais vous annoncer un heureux événement, la naissance de l'Encyclopédie des Robots. On n'est pas les premiers à publier une liste de robots, crawlers et autres spiders, mais, nous allons utiliser notre expérience de maintenance d'une liste de plus de 5000 annuaires pour faire grandir et tenir à jour cette nouvelle database des robots et UserAgents.

Le but est qu'en quelques secondes, vous puissiez décidez si les visites d'un robot sur votre site sont bénéfiques ou non. Vous pourrez alors l'exclure ou pas, en connaissance de cause.

Actuellement, pour chaque robot référencé, vous trouvez :
- le nom du propriétaire du robot ou de l'auteur du logiciel
- sa nationalité
- le type de robot (pour savoir si ce robot crawle le site ou s'il se contente de lire une page)
- une description du service concerné
- le UserAgent transmis aux serveurs web visités
- la plage d'adresses depuis laquelle le robot travaille
- une URL contenant des informations complémentaires
- les possibilités de restriction d'accès supportées par ce robot : robots.txt ou META ou autres
- le UserAgent à utiliser dans le robots.txt
- la date de mise à jour

Commentaires et critiques plus que bienvenus.

Jean-Luc

 

[dmathieu]

et pourquoi pas une possibilité d'export au format xml afin de mettre à jour sa liste robotstats ?

sinon, c'est une bonne idée

 

[squawk]

sympa

 

[Racine]

Sympatoche !

Quid, par exemple, d'un classement thématique des robots, en plus du classement alphabétique actuel ?
Exemples :
-liste des robots extracteurs de mail
-liste des robots vérificateurs de liens
-liste des robots aspirateurs
-liste des robots tout gentils
...

Le genre de liste qui permet de refaire son fichier robots.txt rapidement, sans avoir à parcourir l'intégralité des fiches.

Non ?

Guillaume

 

[Lymf]

ca a l'air sympa, je suis en train de visiter... bookmark

 

[jeanluc]

Merci pour les encouragements et les suggestions. Je ne promets pas qu'elles seront toutes réalisées, mais elles sont notées et vont nous inspirer.

Si vous en avez d'autres, n'hésitez pas.

Jean-Luc

 

[Albert1]

Quid, par exemple, d'un classement thématique des r0b0ts, en plus du classement alphabétique actuel ?
Exemples :
-liste des r0b0ts extracteurs de mail
-liste des r0b0ts vérificateurs de liens
-liste des r0b0ts aspirateurs
-liste des r0b0ts tout gentils
...

les nationalités possibles (observées) de chaque bot seraient les bienvenues ...
par exemple : P0mp0s -> IP française
et en cas de classement, ce pourrait être un choix supplémentaire appréciable.

sinon, sympa comme idée ...
et assez original !

bonne continuation ...

 

[Thierry Bugs]

En effet très utile en surveillance des stats et pour mieux les comprendre, c'est bien d'avoir un outil qui donne des renseignements.
En fait on peut meme participer en te donnant des robots que l'on ne voit pas dans la liste