| |
|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
fbparis
WRInaute passionné
Inscrit le: 01 Fév 2005
Messages: 633
Localisation: Formation logistique avec www.imtl.fr
|
 Posté le : Sam Fév 05, 2005 1:14 Sujet du message: liste des user agent des robots |
|
|
bonjour
j'ai codé un petit script php qui doit faire a peu pres la meme chose que robotstats (enregistrer le parcours des robots sur mon site), ou du moins qui doit fonctionner sur le meme principe : reperer les robots par leur useragent...
j'ai une liste d'environ 500 robots et je me demandais si il existait qqpart une liste officielle de tous ces robots, pour des mises a jour automatiques.
fb - http://www.msnblockchecker.net |
|
| |
|
 |
fbparis
WRInaute passionné
Inscrit le: 01 Fév 2005
Messages: 633
Localisation: Formation logistique avec www.imtl.fr
|
| Posté le : Sam Fév 05, 2005 19:24 Sujet du message: liste des user agent des robots |
|
|
je me reponds a moi meme 
pour info, j'ai trouve mieux je pense, en partant du principe que les robots essayent de lire le fichier /robots.txt, qqs modifs d'apache au niveau des htaccess pour rediriger /robots.txt vers un script php qui ajoute automatiquement le user-agent a la liste des robots deja connus et qui renvoit le contenu de robots.txt.
je sais que certains bots n'essayent pas de lire ce fichier mais bon... au moins comme ca j'ai une liste qui se met a jour automatiquement.
fb |
|
| |
|
|
cloacking
WRInaute passionné
Inscrit le: 20 Oct 2004
Messages: 664
|
| Posté le : Sam Fév 05, 2005 19:56 Sujet du message: liste des user agent des robots |
|
|
bonsoir,
En anglais il y a cela
h**p://www.robotstxt.org |
|
| |
|
|
fbparis
WRInaute passionné
Inscrit le: 01 Fév 2005
Messages: 633
Localisation: Formation logistique avec www.imtl.fr
|
| Posté le : Dim Fév 06, 2005 3:42 Sujet du message: liste des user agent des robots |
|
|
oui je connais, c un bon site mais pas la liste la plus complete  |
|
| |
|
|
| |
|
|
|
|
Autres sujets de discussion :
Définitions :
|
|
