Hausse anormale du trafic direct via différentes adresses IP

Mich Much · 4 Mars 2014

Bonjour,

Après 2 mois passés à tenter de résoudre ce problème je viens faire appel à votre expérience sur ce forum :
Le 3 janvier les stats de mon site ont explosées passant d'environ une centaine de visiteurs uniques jours à près de 1500. Les caractéristiques :
- La hausse vient uniquement du trafic direct sur la page d'accueil
- les liens via les sites référents n'ont pas augmenté
- le trafic provient de différents pays : Etats-Unis, Turquie, Russie, Pologne, Espagne, Allemagne et d'autres encore. Je n'avais jusqu'à alors aucune visite en provenance de ces pays ou très peu (US et Russie par ex.)
- L'analyse des logs brutes de mon hébergement indique une multiplication des ip sources différentes et uniques (environ une centaine contre plus de 1000 aujourd'hui)
- le temps de visite de ces ip peut-être assez long, leur taux de rebond aux alentours de 70-80%, important donc, mais rien qui ne fasse penser à un bot avec un rebond proche de 99%
- l'analyse des fournisseurs de service indique une multiplication d'opérateurs tels que deutsche telekom ag (+ de 1000 visites rien que pour celui-ci), neostrada plus, tt adsl-ttnet_dynamic_gay, rcs & rds residential, telefonica de argentina, upc polska sp. z o.o.

Avez-vous une idée de ce que cela peut-être et de la solution à apporter ?

Je remercie d'avance tous ceux qui pourront m'aider à identifier et corriger ce problème !

fobec · 4 Mars 2014

Bonjour,

il peut s'agir de proxy pour rendre une connexion plus anonyme.
Les pays que tu cites Etats-Unis, Turquie, Russie, Pologne, ... sont des champions en la matière. En clair, des internautes passent par un relais dans un pays pour accéder sur ta page d'accueil.

As-tu quelques IP sous la main pour que je jette un oeil ?

ybet · 4 Mars 2014

Mich Much a dit:
deutsche telekom ag (+ de 1000 visites rien que pour celui-ci), neostrada plus, tt adsl-ttnet_dynamic_gay, rcs & rds residential, telefonica de argentina, upc polska sp. z o.o.

deux ou trois choses à savoir.
1. beaucoup de Smartphones viennent en direct: soit parce qu'ils passent par un proxy qui augmente leur vitesse de téléchargement. Ce sont des proxy de cache, donc pas forcément nocifs. Ces proxy sont dans différents pays suivant souvent le modèle / marque de smartphone: à toi de vérifier les users_agent qui arrivent sur le site.
2. Un véritable robot travaille de plusiseurs méthodes. Soit il arrive en direct mais explore le plus souvent un paquet de pages. Seuls quelques uns se contentent de vérifier une seule page
3. Analytic donne souvent de faux résultats sur le pays de visite. Pour vérifier un pays (et fournisseur d'accès ou hébergeur), utilise le site myip.ms ... Parfois, ca fait même peur

fobec a dit:
As-tu quelques IP sous la main pour que je jette un oeil ?

idem sauf que tu met toute la ligne de donnée par connexion.

Mich Much · 4 Mars 2014

Tout d'abord, merci à vous Ybet et Fobec pour ces réponses très précises : voici une sélection (EU, Argentine, Chili, Allemagne, Brésil... selon myip.ms
Une question Ybet, quelle est la bonne méthode pour vérifier les users_agents et surtout les filtrer ?

Merci d'avance pour vos retours !

J'oubliais de dire que les stats apache remontent également un max de IE7/Windows NT à plus de 90%
J'ai donc filtré mes logs dans ce sens et voilà le résultat (j'ai volontairement remplacer le nom de mon site) :

Code:

109.120.200.243	www.monsite.fr	[01/Feb/2014:08:08:51	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/6.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)
109.197.138.15	www.monsite.fr	[01/Feb/2014:17:20:31	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)
109.197.40.114	www.monsite.fr	[01/Feb/2014:09:30:16	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; BRI/2; NP07; .NET4.0C; NP07)
109.228.231.95	www.monsite.fr	[01/Feb/2014:16:58:34	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; InfoPath.3; MALNJS)
109.235.1.210	www.monsite.fr	[01/Feb/2014:10:09:23	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)
109.254.49.24	www.monsite.fr	[01/Feb/2014:09:46:04	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; ASU2JS)
109.64.144.10	www.monsite.fr	[01/Feb/2014:16:22:01	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C)
109.97.169.249	www.monsite.fr	[01/Feb/2014:08:19:50	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.2; .NET4.0E; BOIE9;ENUS)
109.98.61.212	www.monsite.fr	[01/Feb/2014:11:51:20	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.2; .NET4.0E; BOIE9;ENUS)
113.210.130.101	www.monsite.fr	[01/Feb/2014:03:30:14	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/7.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 2.0.50727; .NET CLR 3.0.30729; Tablet PC 2.0; HPNTDFJS)
114.76.4.126	www.monsite.fr	[01/Feb/2014:11:53:33	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MATP; .NET4.0C; Tablet PC 2.0; .NET4.0E)
123.0.208.50	www.monsite.fr	[01/Feb/2014:01:02:02	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/6.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MANM; Tablet PC 2.0; .NET4.0C; .NET4.0E; yie10)
125.60.241.29	www.monsite.fr	[01/Feb/2014:01:09:48	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C)
134.19.151.236	www.monsite.fr	[01/Feb/2014:16:32:35	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C)
141.135.166.149	www.monsite.fr	[01/Feb/2014:16:52:08	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/7.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 2.0.50727; .NET CLR 3.0.30729; MAPBJS)
144.64.118.149	www.monsite.fr	[01/Feb/2014:18:05:17	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MAAR; .NET4.0C; .NET4.0E; InfoPath.3)
145.236.150.201	www.monsite.fr	[01/Feb/2014:09:44:18	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C)
148.81.117.48	www.monsite.fr	[01/Feb/2014:17:40:23	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)
151.15.161.177	www.monsite.fr	[01/Feb/2014:13:03:05	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; Tablet PC 2.0; .NET4.0E)
151.250.198.152	www.monsite.fr	[01/Feb/2014:16:49:47	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E; Tablet PC 2.0)
171.25.230.1	www.monsite.fr	[01/Feb/2014:11:05:49	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E; Media Center PC 6.0)
173.217.78.193	www.monsite.fr	[01/Feb/2014:23:57:35	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; MATBJS)
176.111.28.130	www.monsite.fr	[01/Feb/2014:17:44:21	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C)
176.41.194.17	www.monsite.fr	[01/Feb/2014:14:25:34	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3; .NET4.0E)
177.195.98.187	www.monsite.fr	[01/Feb/2014:19:25:35	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Tablet PC 2.0; .NET4.0C; .NET4.0E)
178.11.94.99	www.monsite.fr	[01/Feb/2014:13:05:39	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C)
178.132.4.56	www.monsite.fr	[01/Feb/2014:12:14:38	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; McAfee; InfoPath.3; MAARJS)
178.182.107.220	www.monsite.fr	[01/Feb/2014:11:05:01	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E; Media Center PC 6.0; MASE)
178.203.123.32	www.monsite.fr	[01/Feb/2014:00:27:31	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/7.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 2.0.50727; .NET CLR 3.0.30729; MAARJS)
178.203.234.214	www.monsite.fr	[01/Feb/2014:09:24:46	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C)
178.215.113.8	www.monsite.fr	[01/Feb/2014:05:37:00	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; MASMJS)
178.43.248.171	www.monsite.fr	[01/Feb/2014:19:26:16	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Tablet PC 2.0; .NET4.0C; .NET4.0E)
178.69.212.235	www.monsite.fr	[01/Feb/2014:12:25:37	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/6.0; .NET4.0E; .NET4.0C; InfoPath.3; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727)
181.199.164.174	www.monsite.fr	[01/Feb/2014:03:46:19	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C)
186.147.158.165	www.monsite.fr	[01/Feb/2014:00:26:33	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 2.0.50727; .NET CLR 3.0.30729; InfoPath.2)
187.101.51.253	www.monsite.fr	[01/Feb/2014:11:41:36	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0)
188.105.226.128	www.monsite.fr	[01/Feb/2014:10:51:55	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)
188.238.137.99	www.monsite.fr	[01/Feb/2014:15:12:07	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; HPNTDFJS; InfoPath.3)
189.186.139.222	www.monsite.fr	[01/Feb/2014:00:06:01	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)
190.101.127.164	www.monsite.fr	[01/Feb/2014:17:20:31	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C)
195.116.32.10	www.monsite.fr	[01/Feb/2014:11:55:18	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)
2.201.0.31	www.monsite.fr	[01/Feb/2014:08:20:51	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET CLR 1.1.4322; .NET4.0E)
212.122.121.154	www.monsite.fr	[01/Feb/2014:22:49:12	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/6.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)
217.131.206.88	www.monsite.fr	[01/Feb/2014:18:24:14	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727)
220.255.2.160	www.monsite.fr	[01/Feb/2014:13:51:23	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/7.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 2.0.50727; .NET CLR 3.0.30729; MATPJS)
37.123.23.18	www.monsite.fr	[01/Feb/2014:10:40:27	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; MASMJS)
46.151.20.7	www.monsite.fr	[01/Feb/2014:09:50:16	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; MASMJS; Creative AutoUpdate v1.41.05)
47.65.81.232	www.monsite.fr	[01/Feb/2014:16:32:03	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C)
62.248.93.21	www.monsite.fr	[01/Feb/2014:09:45:19	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/6.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; MASMJS)
67.176.135.217	www.monsite.fr	[01/Feb/2014:01:58:23	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/7.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 2.0.50727; .NET CLR 3.0.30729; InfoPath.3; MDDCJS)
67.248.213.219	www.monsite.fr	[01/Feb/2014:02:30:29	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C)
68.0.132.34	www.monsite.fr	[01/Feb/2014:00:45:29	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)
69.196.152.196	www.monsite.fr	[01/Feb/2014:03:36:02	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E; Tablet PC 2.0)
71.10.33.57	www.monsite.fr	[01/Feb/2014:21:39:02	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0)
71.57.21.131	www.monsite.fr	[01/Feb/2014:01:46:50	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.2; Win64; x64; Trident/7.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 2.0.50727; .NET CLR 3.0.30729; InfoPath.3)
71.85.193.234	www.monsite.fr	[01/Feb/2014:22:18:41	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Win64; x64; Trident/7.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Tablet PC 2.0; .NET4.0C)
77.46.211.157	www.monsite.fr	[01/Feb/2014:09:15:32	GET / HTTP/1.1	-	Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0E; .NET4.0C)

ybet · 4 Mars 2014

109.120.200.243: bulgarie, Windows 7 avec IE7 (??? possible mais quand même) et Outlook ??
109.197.138.15: russe , Windows 7 (et bizarrement: généralement les russes ils mettent un lien en referer que je ne vois pas dans ton log
109.197.40.114: pologne
109.228.231.95: turquie.
Ceux là sont "normaux" mais bien des PC

Par contre, tu as toute la série de user_agent: MATPJS et consort, tous inconnu -> à jeter. En plus si tu remarque, il y a un paquet d'user qui reprennent Outlook (donc normalemtnt visite par mail ...

77.46.211.157 (serbe) lui connu comme parasite.

A la place de -http://www.monsite.fr, il y a autre chose :wink: comme le fichier lu mais aussi la page qui appelle. Ce qu'il faut regarder ce sont les pages précédentes externes et si ce sont toujours les mêmes pages qui sont appelées.

ybet · 4 Mars 2014

Mich Much a dit:
Une question Ybet, quelle est la bonne méthode pour vérifier les users_agents et surtout les filtrer ?

Un développement ...

Code:

$tableau=array();
$ip=$_SERVER["REMOTE_ADDR"];
// echo $ip."<br>";
$tableau=explode(".",$ip);
$ipdecimal=intval($tableau['3'])+(intval($tableau['2'])*256)+(intval($tableau['1'])*256*256)+(intval($tableau['0'])*256*256*256);
// echo "Adresse ip".$ipdecimal;
// vérification si bloqué
include ('includes/start-ip.php');
mysql_select_db('daruteu');
$requete="select ip from ip_bloque WHERE ipdecimal_min<='$ipdecimal' AND ipdecimal_max >='$ipdecimal'";
$resultat=mysql_query($requete);
$ligne=mysql_num_rows($resultat);
// echo "ligne ".$ligne;
if ($ligne>0)
{
 // adresse déjà bloquée
 include('copie.htm');
 exit();
 // die(content="3");
}

// fin de vérification si bloqué.
$host=gethostbyaddr($_SERVER['REMOTE_ADDR']);
$filename=$_SERVER["SCRIPT_FILENAME"];
$page=strstr($filename,"/www/");

$site=STR_REPLACE($page,"",$filename);
$site=STR_REPLACE("/home/","",$site);

$page1=STR_REPLACE("/www/","",$page);
$page=$_SERVER['REQUEST_URI'];
// page reprend maintenant les paramètres également

//LIST($site,$page)=explode("wwww/",$filename,2);
//echo $site."<br>".$page;
if (isset ($_SERVER["HTTP_REFERER"]))
{
$precedent=$_SERVER["HTTP_REFERER"];
}
else
{
$precedent="Direct";
}
$user_agent=$_SERVER["HTTP_USER_AGENT"];
// echo $user_agent;
if(isset($_SERVER['HTTP_X_FORWARDED_FOR']))
{
$x_forward = $_SERVER['HTTP_X_FORWARDED_FOR'];
}
else
{
  $x_forward='';
}

qui rentre dans une table via la requete

Code:

$requete="INSERT ip_visiteur SET ip='$ip',ipdecimal='$ipdecimal',host='$host',filename='$page',site='$site',precedent='$precedent',user_agent='$user_agent',x_forward='$x_forward'";

Voici la structure de la table

Code:

-- --------------------------------------------------------

--
-- Structure de la table `ip_visiteur`
--

CREATE TABLE IF NOT EXISTS `ip_visiteur` (
  `uid` bigint(20) unsigned NOT NULL auto_increment,
  `date_heure` timestamp NOT NULL default CURRENT_TIMESTAMP on update CURRENT_TIMESTAMP,
  `ip` varchar(40) NOT NULL,
  `ipdecimal` bigint(20) NOT NULL,
  `host` varchar(60) NOT NULL,
  `filename` varchar(60) NOT NULL,
  `site` varchar(40) NOT NULL,
  `precedent` varchar(1000) NOT NULL,
  `user_agent` varchar(500) NOT NULL,
  `x_forward` varchar(100) NOT NULL,
  `bloque` char(1) NOT NULL,
  UNIQUE KEY `uid` (`uid`)
) ENGINE=MyISAM  DEFAULT CHARSET=latin1 AUTO_INCREMENT=420682 ;

Tu place le tout en début de code sur la page, ensuite tu vérifie manuellement explication (que je dois compléter): -http://www.ybet.be/news-fiche.php?numero=52

C'est un développement en cours qui va un peu plus loin que ci-dessus. A ce niveau tu va retrouver dans la table toutes les IP qui visitent les pages PHP et vite découvrir que la vie d'un serveur est un peu complexe (dans le code ci-dessus, tu a également la partie "jette dehors en automatique" mais le traitement est plus loin et pas publié ici.

Mich Much · 4 Mars 2014

Merci encore une fois pour cette réponse Ybet. Très intéressant ton script, ainsi que ton article, je vais approfondir tout ça.

Mich Much a dit:
A la place de http://www.monsite.fr, il y a autre chose

Et bien je t'assure que ce n'est pas le cas, j'ai uniquement remplacé l'URL de la page d'accueil et il n'y a pas de pages précédentes externes.
Je trouve bien évidemment des lignes "complètes" dans les logs, mais elles correspondent alors à une visite qualifiée, soit via un site référent, soit un mots-clé, soit une autre page.

ybet a dit:
109.120.200.243: bulgarie, Windows 7 avec IE7 (??? possible mais quand même) et Outlook ??

Je ne vois pas le user-agent Outlook dans la sélection que je t'ai donnée (alors que je peux bien le voir dans mes logs et ils coïncident tout à fait à mes campagnes d'e-mailing) ? Je suppose que c'est grâce à ton script que tu peux le déterminer, car je ne l'identifie ni dans user-agent-string.info, ni dans myip.ms.

ybet a dit:
109.197.40.114: pologne
109.228.231.95: turquie.
Ceux là sont "normaux" mais bien des PC

C'est bien le problème, la plupart on l'air normaux ;-)

Si je comprends bien ton article, je pourrais être la victime d'un hacker qui cherche une faille dans mon cms (j'utilise Joomla) ? J'ai d'ailleurs pu voir passer l'url www.monsite.fr/wp-login.php (j'utilise bien Joomla hein).

J'ai peut-être d'autres pistes :
- On est récemment passé sur un hébergement mutualisé OVH performance Mx1 avec CDN... qui a bien déconné au début si bien qu'on est repassé directement sur l'ip de la machine pour shunter le CDN (d'ailleurs à quoi ça sert pour un petit site sinon permettre à OVH d'héberger encore plus de site sur un cluster...). Les dates de mes pbs de stats ne coincident pas, mais peut-il y avoir un lien selon toi ?
- Cela peut-il provenir de services de monitoring ? notre admin réseau en a mis en place monitor.us et zabbix, mais apparemment je ne vois pas de lien de causes à effet... qu'en penses-tu ?

Merci d'avance pour tes lumières !

spout · 4 Mars 2014

@ybet: t'as une faille d'injection SQL dans ton script. Si on change le UA on px t'injecter des trucs.

ybet · 4 Mars 2014

spout a dit:
@ybet: t'as une faille d'injection SQL dans ton script. Si on change le UA on px t'injecter des trucs.

J'ai pas tout à fait mis le code utilisé (il y a un traitement sur les variables avant) mais je vais vérifier
Merci

Connais pas cette technique "CDN... qui a bien déconné au début si bien qu'on est repassé directement sur l'ip de la machine pour shunter le CDN ". Par contre, sur Internet, il y a un paquet de scanner d'IP qui teste des réponses de ports ... peut-être une piste. Par contre, la majorité des "hacking" sont des trucs automatiques sans réels compétances, téléchargés sur des forums cachés par des gamins incompétants: je serais un vrai hacker, j'attaque le serveur pas un site.
D'où

Si je comprends bien ton article, je pourrais être la victime d'un hacker qui cherche une faille dans mon cms (j'utilise Joomla) ? J'ai d'ailleurs pu voir passer l'url -http://www.monsite.fr/wp-login.php (j'utilise bien Joomla hein).

Mich Much a dit:
Merci encore une fois pour cette réponse Ybet. Très intéressant ton script, ainsi que ton article, je vais approfondir tout ça.
Je ne vois pas le user-agent Outlook dans la sélection que je t'ai donnée (alors que je peux bien le voir dans mes logs et ils coïncident tout à fait à mes campagnes d'e-mailing) ? Je suppose que c'est grâce à ton script que tu peux le déterminer, car je ne l'identifie ni dans user-agent-string.info, ni dans myip.ms.

Moi oui, reprend le user_agent et tape le sur Google :wink:

Mich Much a dit:
- Cela peut-il provenir de services de monitoring ? notre admin réseau en a mis en place monitor.us et zabbix, mais apparemment je ne vois pas de lien de causes à effet... qu'en penses-tu ?

Des outils standards

Mich Much a dit:
Merci d'avance pour tes lumières !

Je travaille en fait sur un autre problème lié au référencement (Pinguin), c'est le départ de ce développement: repérer les robots d'indexations des copieurs de sites ... En avançant, j'ai simplement trouvé un paquet d'autres problèmes (visiteurs automatiques) et programmé un peu plus. En même temps, j'ai trouvé d'autres sites qui facilitent le travail manuel:
en voilà 3:
http://www.myip.ms : permet de vérifier une adresse IP: le pays, la plage complète et si hébergeur ou FAI (souvent les plages d'hébergeurs reprennent des proxy)
http://monadresseip.info/Web-Outils/bloquer-plage-ip-htaccess tu colle l'adresse IP de départ et celle de fin et il te crée la règle d'Htaccess
http://user-agent-string.info/ donne de bonnes informations sur l'user_agent surtout les parties inconnues :wink:
Je me considère pas comme un spécialiste de sécurité :wink:

C'est plutôt le bricolage de départ sur l'hébergement qui a déclanché.

zeb · 4 Mars 2014

Mich Much a dit:
On est récemment passé sur un hébergement mutualisé OVH performance Mx1 avec CDN... qui a bien déconné au début si bien qu'on est repassé directement sur l'ip de la machine pour shunter le CDN (d'ailleurs à quoi ça sert pour un petit site sinon permettre à OVH d'héberger encore plus de site sur un cluster...). Les dates de mes pbs de stats ne coincident pas, mais peut-il y avoir un lien selon toi ?

Oui c'est possible. Tout dépend de comment est configuré le CDN (ce sur quoi tu n'as aucun contrôle).
Quoi qu'il en soit ton contenu hébergé par le CDN fait forcement l'objet d'une collecte ce qui peut expliquer ton trafic perturbé.
Par principe les différents datacenters du CDN sont géographiquement éclatés partout sur la planète (sinon ça ne servirais a rien) et cela peut encore expliquer tes connexions diverses et inhabituelles.

Pour ta question sur le bien fondé (ou pas) d'un CDN c'est surtout une question de trafic. Si ton public est international c'est très justifié. Si ce n'est pas le cas ça peut se discuter. A noter au passage qu'un de tes visiteurs est au moins affecté par le CDN et ça peut aider ... Je parle du gros GG bien sur. A noter aussi qu'une forte densité de documents statiques (images, feuilles de style, etc ...) augmente l'intérêt du CDN.

Mich Much · 4 Mars 2014

Un GRAND MERCI pour vos réponses, je ne pensais pas trouver autant de compétences ici, si j'avais su je n'aurais pas attendu 2 mois ;-)
Au cas ou Zeb, Ybet, voici un tout petit aperçu de ce que donne un export des logs récupérées via piwik installé pour l'occasion, oui je sais qu'on est sur un forum GG Analytics ;-)

Code:

visitIp	visitorType	actions	url (actionDetails 0)	pageTitle (actionDetails 0)	serverTimePretty (actionDetails 0)	generationTime (actionDetails 0)	timeSpentPretty (actionDetails 0)	country	provider	providerName	referrerType	referrerTypeName	operatingSystemShortName	browserFamilyDescription	browserCode	browserVersion	resolution
172.16.0.12	returning	9	http://www.monsite.fr/	Titre de la page	Mar 25 Fév 21:14:27	0,02s	10 min 39s	Pologne	Ip	IP	direct	Entrées directes	Win 7	Trident (IE)	IE	11.0	1680x1050
172.16.0.13	returning	3	http://www.monsite.fr/	Titre de la page	Lun 24 Fév 15:46:59	0,01s	13s	Pologne	Ip	IP	direct	Entrées directes	Win 7	Trident (IE)	IE	11.0	1680x1050
172.16.0.13	returning	1	http://www.monsite.fr/	Titre de la page	Mar 25 Fév 14:17:00	0,006s		Russie	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
127.0.0.1	returning	1	http://www.monsite.fr/	Titre de la page	Mar 25 Fév 00:06:29	0,34s		États Unis	Ip	IP	direct	Entrées directes	Win 7	Trident (IE)	IE	11.0	1600x900
172.16.0.13	returning	1	http://www.monsite.fr/	Titre de la page	Mer 26 Fév 07:34:25	0,01s		Russie	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.13	returning	1	http://www.monsite.fr/	Titre de la page	Jeu 27 Fév 14:55:46	0,006s		Russie	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.13	returning	1	http://www.monsite.fr/	Titre de la page	Jeu 27 Fév 16:00:58	0,006s		Russie	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.13	returning	1	http://www.monsite.fr/	Titre de la page	Jeu 27 Fév 19:39:57	0,01s		Russie	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.13	returning	1	http://www.monsite.fr/	Titre de la page	Ven 28 Fév 06:20:50	0,1s		Russie	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.13	returning	1	http://www.monsite.fr/	Titre de la page	Ven 28 Fév 08:24:53	0,01s		Russie	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.15	returning	2	http://www.monsite.fr/	Titre de la page	Ven 7 Fév 21:08:23	0,08s	22 min 39s	Pologne	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.15	returning	1	http://www.monsite.fr/	Titre de la page	Jeu 6 Fév 18:31:30	0,11s		Pologne	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.15	returning	1	http://www.monsite.fr/	Titre de la page	Ven 7 Fév 18:51:05	0,42s		Pologne	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.15	returning	1	http://www.monsite.fr/	Titre de la page	Ven 7 Fév 19:41:11	0,18s		Pologne	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.15	returning	1	http://www.monsite.fr/	Titre de la page	Dim 9 Fév 11:42:06	0,06s		Pologne	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.15	returning	1	http://www.monsite.fr/	Titre de la page	Dim 9 Fév 18:19:29	0,06s		Pologne	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.15	returning	1	http://www.monsite.fr/	Titre de la page	Lun 10 Fév 17:37:42	0,08s		Pologne	Ip	IP	direct	Entrées directes	Win 8	Trident (IE)	IE	11.0	1366x768
172.16.0.16	returning	1	http://www.monsite.fr/	Titre de la page	Dim 16 Fév 11:53:48	0,002s		Pologne	Ip	IP	direct	Entrées directes	Win 7	Trident (IE)	IE	11.0	1680x1050
172.16.0.17	returning	1	http://www.monsite.fr/	Titre de la page	Sam 15 Fév 07:25:35	0,003s		Pologne	Ip	IP	direct	Entrées directes	Win 7	Trident (IE)	IE	11.0	1680x1050

Piwik remonte toute une série d'IP locales qui coïncident tout à fait avec le problème décrit : visiteurs connus, revenant plusieurs fois, en provenance d'un peu partout, temps passé relativement important. Cela plaiderait bien en faveur d'un problème lié au CDN, non ?

ybet · 5 Mars 2014

Si je suis ton log, ca donne 172.16.0.12= Pologne et 172.16.0.13 : Pologne 1X et russe le reste du temps :?: :?: :?: pas très logique :?: . C'est une plage non assignée iana.

Connaissais pas le CDN (merci Zeb) mais ca y ressemble. Les IP données ne sont pas celles des vrais visiteurs :wink:

Mich Much · 5 Mars 2014

Un CDN (Content Delivery Network) est désormais proposé dans les offres d'hébergement mutualisé d'OVH. Je ne suis ni un défendeur, ni un pourfendeur des mutu OVH, mais cette offre est toute jeune et on a eu pas mal d'indisponibilité au début. Depuis les perf sont au rendez-vous niveau vitesse de chargement des pages (devenus insupportables sur les mutu pro !!).
J'ajoute que les logs correspondant à un trafic qualifié (accès par mot-clé, via un site référent ou venant d'une autre page du site), remontent bien les vraies IP publiques des visiteurs.c Seules les accès directs sur la page d'accueil, provenant d'un peu partout dans le monde remontent des ip locales...

Je vais déclarer un problème au support d'OVH et ne manquerait pas de vous informer des retours sur ce post. Si notre exemple peut servir à d'autres, car en attendant, je suis toujours dans l'impossibilité de présenter des rapports statistiques fiables, car ce problème affecte tous mes KPI de conversion !

En attendant merci beaucoup pour vos réponses !

zeb · 5 Mars 2014

Mich Much a dit:
voici un tout petit aperçu de ce que donne un export des logs récupérées

The class B private IP ranges are from 172.16.0.0 to 172.31.0.0 and the class C networks are the 192.168 networks.

C'est un segment IP réservé a un usage privé chez moi (maison) je suis sur des "192" par exemple (ip de box classique http://192.168.1.1), crosoft plébicite la 127.0.0.1. Bref ce trafic intercepté par Piwik (qui tourne sur ton serveur) indique que c'est le réseau OVH qui accède a ton site (si tu est chez OVH).

Deux options :
* le CDN (OVH fait une ponction pour diffuser ton contenu vers les différents data center)
* un service autre fait joujou avec ton site (des dizaines de causes possibles depuis les plus normales jusqu'aux plus soucieuses)

Après il est possible de forger un paquet avec une IP bidon si tu n'a pas besoin de la réponse ... mais bon là c'est tordu j'y crois moyen.

Plutôt que de te fier a piwik tu devrais surtout regarder tes log apache c'est plus "fiable".

Leonick · 7 Mars 2014

bizarre que (quasi ?) tous les UA contiennent "Trident" !
Attention au niveau des ip, car quand on passe par un proxy, l'ip finale n'apparait pas forcement