Un truc que je pige pas au niveau des IP ... si quelqu'un sait ...

Zecat · 26 Août 2010

Sur un site je suis précisément les ip des visiteurs pour détecter des "typologies" d'aspi ...

ET sur un site j'ai un truc curieux que j'ai un peu de mal a cerner, si certains ion des éclairages ...

Cas rencontré :

10:00:01 - IP 87...... (pologne) : page a1
10:00:02 - IP 87...... (pologne) : page a2
10:00:03 - IP 87...... (pologne) : page a3 (bon la ca commence a titiller mon algo ...)
10:00:04 - IP 188...... (pologne) : page a4
10:00:05 - IP 87...... (pologne) : page a5
10:00:06 - IP 188...... (pologne) : page a6
10:00:07 - IP 87...... (pologne) : page a7

J'ai utilisé a1 a2 ... pour bien montrer qu'il sagit d'une série de page qui se suivent dans la logique du site.

Ce qui interppelle c'est le changement d'IP (188) mais la poursuite de la série ... (a4) ... page a4 qui est accessible a partir d'un lien présent sur a3 .... Vous voyez ce que je veux dire !!! On notera que a la ligne suivante l'ip 87 ne passe pas sur a4 !

Je suis pas un spécialiste en Ip ... si quelqu'un a une explication ?

Ca ressemble en fait a un aspi :

- qui aurait réparti ses scan sur plusieurs ip ... c'est une astuce identifiée ?
ou
- qui fairait croire a un changement d'ip entre deux pages ... est ce possible techniquement ?

jcaron · 26 Août 2010

Ils ont probablement tout bêtement plusieurs machines qui crawlent et qui utilisent une base de données commune derrière qui "pilote" les crawlers. Comme Google par exemple. Ensuite il est tout à fait possible d'avoir plusieurs machines même chez le même hébergeur avec des IPs complètement différentes (t'as qu'à regarder les IPs chez OVH, ils ont tout un tas d'étendues différentes), voire même d'avoir des IPs complètement différentes sur la même machine.

Jacques.

Zecat · 26 Août 2010

merci jacques. comme d'hab reponse claire nette et precise. Tu me confirmes que ca ressemble bien a de l'aspi et pas de la visite naturelle ?

Leonick · 26 Août 2010

sinon, il y a un truc dont on a parlé l'an passé, il me semble, au moment d'hadopi : une espèce de proxy mutualisé où chaque internaute permettrait au système d'effectuer des requêtes depuis chez lui et ses propres requêtes seraient réparties sur une dizaine d'oi différents

Zecat · 26 Août 2010

Leonick a dit:
sinon, il y a un truc dont on a parlé l'an passé, il me semble, au moment d'hadopi : une espèce de proxy mutualisé où chaque internaute permettrait au système d'effectuer des requêtes depuis chez lui et ses propres requêtes seraient réparties sur une dizaine d'oi différents

Effectivement ca ressemble aussi a cela ... c'est quoi l'objectif annoncé de ces proxy mutu ? masquer sa visite ?

jcaron · 26 Août 2010

Zecat a dit:
Tu me confirmes que ca ressemble bien a de l'aspi et pas de la visite naturelle ?

Disons que le fait de passer d'une IP à une autre ne suffit pas à en faire des visites naturelles distinctes. Après, à toi de voir en fonction d'autres critères (nombre d'IPs, user-agent, fréquence, ordre des visites, etc.) s'il s'agit de la même "personne" et s'il s'agit d'un aspirateur ou pas (de la même façon que même si tout était fait depuis une seule IP, le fait de lire 5 pages en 5 minutes ne suffit pas à en faire un aspirateur).

Tu peux regarder ce que dit whois pour les blocs d'IPs en question, logiquement ils vont appartenir à la même organisation.

Jacques.

Zecat · 26 Août 2010

je vais investiguer toutes ces pistes mais bon la on est sur les bases de 30 pages à la minute ... dur dur d'y voir du naturel !

En plus je viens de voir que il y a trois jours le meme groupe d'ip (en fait elles sont 4) a eu exactement le meme comportement ... et la encore cela n'a dure qu'une trentaine de page ...

Ca ressemble a un test d'aspi pour voir si ca declenche aucune contre mesure ...

Bon je vais mettre ces 4 ip dans le fichier (txt !! lol) des "IP à surveiller" (du coup alerte mail des qu'elle vont se repointer) ...

finstreet · 26 Août 2010

Zecat a dit:
je vais investiguer toutes ces pistes mais bon la on est sur les bases de 30 pages à la minute ... dur dur d'y voir du naturel !

Pfff petit joueur

J'en suis à 5 pages / seconde. En bourse, on lit super trop vite

Zecat · 26 Août 2010

finstreet a dit:
Zecat a dit:

je vais investiguer toutes ces pistes mais bon la on est sur les bases de 30 pages à la minute ... dur dur d'y voir du naturel !

Cliquez pour agrandir...

Pfff petit joueur J'en suis à 5 pages / seconde. En bourse, on lit super trop vite

Voui me toi c'ets du "bon et gentil" bot (cf une discussion en MP avec finstreet) alors que la je sais que c'ets pas du gentil bot identifié ... au prochain coup, tout le paquet passe en IPban ... :wink:

finstreet · 26 Août 2010

gentil gentil gentil... Exalead, Yahoo et Google qui copulent en même temps sur mon site, c'est dégueu. Bon en même temps les voyeurs Baidu et Yandex sont pas là

Tu "bannes" souvent des ip comme ca ?

Zecat · 26 Août 2010

Non eux c'ets le gentils ... meme si ils sont violent comem baidu a ses heures ... les ban je les reserve aux aspi ou identifiés comme tel ou aux cochonneries comme majes**c ...

finstreet · 26 Août 2010

j'avais viré ma liste d'aspis parce qu'elle était trop sauvage et qu'elle empêchait Facebook de venir. Va falloir que je resonge à en mettre une.

Zecat · 26 Août 2010

Bon sinon j'ai été fouiner un peu ... les ip en question semblent etre des ovh.net ...

Bon, comme je suis pas du tout calé la dedans, je suis pas sur d'avoir trouvé les bonnes infos ...

Si certains ont l'habitude d'utiliser de bons outils pour y voir clair, voila les 4 IP suspectes :

87.98.234.186 (pologne)
188.165.16.155 (pologne)
94.23.211.138 (france) (*)
188.165.23.26 (pologne)

qui semblent debarquer de façon concertées ...

(*) celui la je l'aurais jamais repéré si il avait pas été au beau millieu de la série des a1,a2 a3 etc ... et si sa page n'avait pas été ignorée par les 3 autres ...

PS : Je viens d'aller vérifier dans GA : aucune trace de visiteurs polonais ... et idem lors du precedent passage de la petite troupe ... rien de polonais chez GA ... bref ca va faire couic ...

finstreet · 26 Août 2010

Je sais pas de quand ca date :
http://www.ovh.com/fr/apropos/annonces/les-scans-sur-le-reseau.xml

Zecat · 26 Août 2010

finstreet a dit:
Je sais pas de quand ca date :
http://www.ovh.com/fr/apropos/annonces/les-scans-sur-le-reseau.xml

Interessant ... merci fin ... (ca date du 11/09/2008) ....

bon moi ce sont des ip ovh.net (je sais pas si c'ets la meme cuisine).

Note : je n'ai pas de site chez Ovh et ne connait pas leurs procédures ... si quelqu'un peut leur transmettre mes 4 ip suspectes ... et un lien vers ce topics si ils veulent des détails ...

jcaron · 26 Août 2010

C'est un crawl, ou c'est un scan à la recherche de failles? C'est quoi le User-Agent?

C'est un peu bizarre parce que les 2 machines ont un serveur web qui s'identifie comme "httpd" (et fait un 301 vers deux sites .pl différents qui n'ont pas l'air de marcher très fort, le 3e est un Apache sous FreeBSD, et le dernier n'a pas de serveur web. Ca fait un peu genre quelqu'un a hacké ces machines pour y faire tourner ça, mais ce serait logique pour un scan dans le but de faire des attaques, pour du crawl je trouve ça bizarre.

Ceci dit, peu importe, si ça t'importune, envoie un mail (avec le plus de détails possible) à a-b-u-s-e-at-o-v-h-point-net, c'est le point d'entrée logique pour ça.

Jacques.

Zecat · 26 Août 2010

j'ai envoyé un mail a ovh avec un lien vers ce topic ... comme ca ils ont tout le detail ... bon la je vais au dodo ... ma journée "scorpion" a été epuisante ... je regarde les user agent demain. merci jacques

Zecat · 26 Août 2010

Bon j'ai été voir les user-agent ... les 4 ont strictement le même :

"Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"

Le truc bateau quoi ...

Voila les logs correspondants :

Code:

188.165.16.155 - - [25/Aug/2010:18:01:25 -0400] "GET /xxxx.html HTTP/1.1" 200 23019 "-" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"
188.165.16.155 - - [25/Aug/2010:18:01:27 -0400] "GET /xxxx.html HTTP/1.1" 200 22862 "-" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"
188.165.16.155 - - [25/Aug/2010:18:01:31 -0400] "GET / HTTP/1.1" 200 18129 "-" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"
94.23.211.138 - - [25/Aug/2010:18:01:34 -0400] "GET /xxx.html HTTP/1.1" 200 22887 "-" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"
87.98.234.186 - - [25/Aug/2010:18:01:35 -0400] "GET /xxx.html HTTP/1.1" 200 22948 "-" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"
188.165.16.155 - - [25/Aug/2010:18:01:36 -0400] "GET /xxx.html HTTP/1.1" 200 22836 "-" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"
188.165.23.26 - - [25/Aug/2010:18:01:37 -0400] "GET /xxx.html HTTP/1.1" 200 22870 "-" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"
87.98.234.186 - - [25/Aug/2010:18:01:38 -0400] "GET /xxx.html HTTP/1.1" 200 22863 "-" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"
188.165.23.26 - - [25/Aug/2010:18:01:39 -0400] "GET /xxx.html HTTP/1.1" 200 23308 "-" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"