|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
cedriic
Nouveau WRInaute
Inscrit le: 30 Nov 2005
Messages: 13
Localisation: Montpellier
|
 Posté le : Ven Juin 09, 2006 20:19 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
Bonjour,
Cela fait deux fois ce mois de juin que mon script anti aspirateur m'informe qu'un certain psycheclone (ce nom est récupéré par http_user_agent dans mon script) tente de visiter mes pages à plus de 25 pages/minute.
Cette chose est venu le 02/06/2006 avec l'IP 208.66.195.3 puis le 09/06/2006 avec l'IP 208.66.195.10
Une recherche sur Google avec psycheclone ne donne que des pages de logs où l'on voit que ce truc possède visiblement la plage d'IP commençant par 208.66.195 et donc semble être un robot.
Un whois sur une des IP de la chose donne :
McColo Corporation MCCOLO (NET-208-66-192-0-1)
208.66.192.0 - 208.66.195.255
Digital Infinity Ltd DIGITALINFINITY (NET-208-66-195-0-1)
208.66.195.0 - 208.66.195.15
La première boîte existe (http://mccolo.com/english/index.html) et fait de la location de serveur mais la seconde n'a pas de site web bien qu'on retrouve la trace de cette société ici (si il s'agit bien de la même) : http://www.ukdata.com/numbers/05152250.html
Alors ami ou ennemi ?
@+ |
|
| |
|
 |
Boby Night
Nouveau WRInaute
Inscrit le: 18 Avr 2006
Messages: 36
Localisation: Valence
|
| Posté le : Ven Juin 09, 2006 20:22 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
J'ai égement un robot a ma disposition (le bobybot  )
Dans le cas d'un truc pas connu, c'est peut etre utilisé pour des besoins spécifiques. (pub, espionnage pub, ptet qu'il clique sur tes adsense ?)
Ou encore récupère-t-il des morceaux de code pour les utiliser a son compte de façon automatique...
Regardes surtout son comportement pour voir ce qu'il en est |
|
| |
|
|
Borower
WRInaute accro
Inscrit le: 18 Avr 2005
Messages: 2129
Localisation: Lyon
|
| Posté le : Ven Juin 09, 2006 21:12 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
| Boby Night a écrit: |
J'ai égement un robot a ma disposition (le bobybot )
Dans le cas d'un truc pas connu, c'est peut etre utilisé pour des besoins spécifiques. (pub, espionnage pub, ptet qu'il clique sur tes adsense ?)
Ou encore récupère-t-il des morceaux de code pour les utiliser a son compte de façon automatique...
Regardes surtout son comportement pour voir ce qu'il en est |
C'est tres interessant ce que tu viens de dire.
Quels sont les technologies utiliser pour créer un robots ou bots.
DSL pour ma questions qui peut paraitre stupide  |
|
| |
|
|
ecocentric
WRInaute accro
Inscrit le: 10 Fév 2004
Messages: 3293
Localisation: Mons
|
| Posté le : Ven Juin 09, 2006 21:21 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
| Borower a écrit: |
| Boby Night a écrit: |
J'ai égement un robot a ma disposition (le bobybot )
Dans le cas d'un truc pas connu, c'est peut etre utilisé pour des besoins spécifiques. (pub, espionnage pub, ptet qu'il clique sur tes adsense ?)
Ou encore récupère-t-il des morceaux de code pour les utiliser a son compte de façon automatique...
Regardes surtout son comportement pour voir ce qu'il en est |
C'est tres interessant ce que tu viens de dire.
Quels sont les technologies utiliser pour créer un robots ou bots.
DSL pour ma questions qui peut paraitre stupide |
Un interpréteur Perl ou Python et c'est parti  ! Ces deux langages incluent ce qu'il faut pour traiter des formulaires, ouvrir des URLs, analyser des chaines, etc. |
|
| |
|
|
Borower
WRInaute accro
Inscrit le: 18 Avr 2005
Messages: 2129
Localisation: Lyon
|
| Posté le : Ven Juin 09, 2006 21:27 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
Merci pour ta reponce ecocentric
Avec un windows on peut utiliser (lancer) des scripts Perl ou Python ou il faut utiliser un type de machine preci ? (Linux) |
|
| |
|
|
Serious
WRInaute accro
Inscrit le: 21 Nov 2005
Messages: 2437
|
| Posté le : Ven Juin 09, 2006 22:10 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
Avec un nom pareil, surement ennemi.
Au mieux, c'est du scraping avec markov derriere donc pas de dommage pour toi (a part la BP), au pire du mirroring.
Par ailleurs, tu utilises quoi comme antibot?
mon site ayant ete clone au moins trois fois... |
|
| |
|
|
cedriic
Nouveau WRInaute
Inscrit le: 30 Nov 2005
Messages: 13
Localisation: Montpellier
|
| Posté le : Ven Juin 09, 2006 22:27 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
Hello,
J'ai trouvé un script simple et efficace ici : http://www.1001bd.com/stop_aspirateurs/
Je l'ai modifié pour pouvoir accepter les IP de confiance (celle des robots) car certains bots de google aspirent plus de 25 pages/minute qui est la limite que j'ai fixé pour bloquer une IP
Je ne me sers pas du USER_AGENT qui est falsifiable plus facilement qu'une IP (je ne me rapelle d'ailleurs pas si ce script l'utilisait au départ).
Pour la liste des IP de confiance : http://iplists.com/nw/
Voilà, en tous cas le mystère psycheclone reste entier  |
|
| |
|
|
ecocentric
WRInaute accro
Inscrit le: 10 Fév 2004
Messages: 3293
Localisation: Mons
|
| Posté le : Ven Juin 09, 2006 22:28 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
| Borower a écrit: |
Merci pour ta reponce ecocentric
Avec un windows on peut utiliser (lancer) des scripts Perl ou Python ou il faut utiliser un type de machine preci ? (Linux) |
Je suis sous Windows, parfois sous Linux. Python fonctionne très bien sur les deux. Pour Perl, je ne l'ai utilisé que sur un serveur Linux, mais ça doit tourner sous Windows aussi. Dans les deux cas, il faut télécharger un interpréteur. J'ai choisi Python, pour des scripts de type robots, que je trouve plus simple d'utilisation (il y a moyen de faire du code impigeable sous Perl). Ceci étant, il y a des bibliothèque tout-à-fait impressionnantes sous Perl, par exemple pour faire des bots qui gèrent les formulaires. |
|
| |
|
|
thierry8
WRInaute accro
Inscrit le: 11 Juil 2005
Messages: 3252
|
| Posté le : Ven Juin 09, 2006 22:58 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
Ca peut également être un robot en C++, etc...
Tu peux faire dans tous les langages, même en php... |
|
| |
|
|
cedriic
Nouveau WRInaute
Inscrit le: 30 Nov 2005
Messages: 13
Localisation: Montpellier
|
| Posté le : Dim Juin 11, 2006 11:34 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
Bonjour,
Le mystérieux psycheclone est revenu hier et aujourd'hui avec les IP 208.66.195.11 et 208.66.195.11
Il insiste... |
|
| |
|
|
Digit
WRInaute passionné
Inscrit le: 18 Avr 2003
Messages: 613
Localisation: La tête dans les logs
|
| Posté le : Dim Juin 11, 2006 15:53 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
Je confirme, j'ai eu sa visite de plusieurs ip.
Comme il prend aussi robots.txt, je l'y ai inséré pour voir s'il le respecte. |
|
| |
|
|
karan
Nouveau WRInaute
Inscrit le: 03 Mai 2004
Messages: 49
|
|
| |
|
|
Linkid
WRInaute occasionnel
Inscrit le: 09 Mai 2006
Messages: 216
Localisation: France
|
| Posté le : Jeu Juin 22, 2006 20:55 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
Chez moi aussi, il est venu... Dès que j'ai vu qu'un nouveau robot est venu sur mon site, j'ai été surpris ! Et puis en plus il est Russe ...
Son IP : 208.66.195.4
Enfin, ce n'est que le deuxième russe... |
|
| |
|
|
Linkid
WRInaute occasionnel
Inscrit le: 09 Mai 2006
Messages: 216
Localisation: France
|
| Posté le : Jeu Juin 22, 2006 20:57 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
| Sinon, il y a aussi un certains -http://irl.cs.tamu.edu/crawler qui est venu sur mon site... (même question que pour psycheclone : ami ou ennemi ?) |
|
| |
|
|
mijsoot
Nouveau WRInaute
Inscrit le: 12 Oct 2005
Messages: 41
|
| Posté le : Jeu Juil 06, 2006 15:29 Sujet du message: Psycheclone, robot ou aspirateur ? |
|
|
Je me suis fait visiter aussi au mois de juin, 1527 hits !!!!
J'ai trouver ça dans mes archives :
| Code: |
SetEnvIfNoCase User-Agent "psycheclone" bad_bot
SetEnvIfNoCase User-Agent "SurveyBot/2.3" bad_bot
SetEnvIfNoCase User-Agent "ia_archiver" bad_bot
SetEnvIfNoCase User-Agent "SBIder/0.8-dev" bad_bot
SetEnvIfNoCase User-Agent "aipbot/1.0" bad_bot
Deny from env=bad_bot |
A mettre dans le .htaccess
Tant qu'à faire on en dégage d'autre en même temps. Par contre je viens de le mettre en place et je ne sais pas si cela fonctionne correctement.
A + |
|
| |
|
|
| |
|
|
