16800 pages en 15 minutes

[Jean-Yves Willmann]

Bonjour à tous,

Le 25 février 2008, un "visiteur" (robot) a "vu" (chargé) plus de 16000 pages de mon site (qui n'en compte que 200) entre 1h15 et 1h30 du matin. Il s'agit en fait surtout de deux (types de) pages qui ont été chargées respectivement :
- 7809 fois pour la page /forum/login.php
- 7346 fois pour (les déclinaisons possibles de) la page /forum/posting.php
...avec un "trafic" total de près de 80 Mo en ¼ d'heure, essentiellement pour ces deux (types de) URL.

Sur mes statistiques brutes, bébête s'appelle : laf31-6-82-241-3-118.fbx.proxad.net
Qu'est-ce ? Malveillance ? (Mon robots.txt "interdit" /forum/posting.php) Ou dysfonctionnement ponctuel ?

Voilà un très court extrait des résultats bruts du 25 février :

laf31-6-82-241-3-118.fbx.proxad.net www.-------.fr - [25/Feb/2008:01:26:16 +0100] "GET /forum/login.php?redirect=posting.php&mode=quote&p=22 HTTP/1.1" 200 7621 "http://www.-------.fr/forum/viewtopic.php?t=7&view=previous" "WebCopier v4.2"
laf31-6-82-241-3-118.fbx.proxad.net www.-------.fr - [25/Feb/2008:01:26:16 +0100] "GET /forum/login.php?redirect=posting.php&mode=quote&p=24 HTTP/1.1" 200 7628 "http://www.-------.fr/forum/viewtopic.php?t=7&view=previous" "WebCopier v4.2"
laf31-6-82-241-3-118.fbx.proxad.net www.-------.fr - [25/Feb/2008:01:26:16 +0100] "GET /forum/posting.php?mode=reply&t=7 HTTP/1.1" 302 5 "http://www.-------.fr/forum/viewtopic.php?t=7&start=0&postdays=0&postorder=asc&highlight=" "WebCopier v4.2"
laf31-6-82-241-3-118.fbx.proxad.net www.-------.fr - [25/Feb/2008:01:26:16 +0100] "GET /forum/login.php?redirect=posting.php&mode=reply&t=7 HTTP/1.1" 200 7662 "http://www.-------.fr/forum/viewtopic.php?t=7&start=0&postdays=0&postorder=asc&highlight=" "WebCopier v4.2"
laf31-6-82-241-3-118.fbx.proxad.net www.-------.fr - [25/Feb/2008:01:26:16 +0100] "GET /forum/posting.php?mode=quote&p=7 HTTP/1.1" 302 5 "http://www.-------.fr/forum/login.php?redirect=posting.php&mode=quote&p=7" "WebCopier v4.2"
laf31-6-82-241-3-118.fbx.proxad.net www.-------.fr - [25/Feb/2008:01:26:16 +0100] "GET /forum/posting.php?mode=quote&p=23 HTTP/1.1" 302 5 "http://www.-------.fr/forum/viewtopic.php?p=23" "WebCopier v4.2"
laf31-6-82-241-3-118.fbx.proxad.net www.-------.fr - [25/Feb/2008:01:26:16 +0100] "GET /forum/login.php?redirect=posting.php&mode=quote&p=7 HTTP/1.1" 200 8236 "http://www.-------.fr/forum/login.php?redirect=posting.php&mode=quote&p=7" "WebCopier v4.2"
laf31-6-82-241-3-118.fbx.proxad.net www.-------.fr - [25/Feb/2008:01:26:16 +0100] "GET /forum/login.php?redirect=posting.php&mode=quote&p=23 HTTP/1.1" 200 7509 "http://www.-------.fr/forum/viewtopic.php?p=23" "WebCopier v4.2"

Cela a donc duré 15 minutes, mais après tout, pourquoi pas 15 jours la prochaine fois ?! Avec un gros rachat de trafic en perspective, voire un blocage du site ?... Je ne crois pas trop à un tel scénario, mais de manière générale, existe-t-il un moyen de bloquer un robot qui tourne en rond ?

Jean-yves

 

[Vap]

Tu peux bloquer l'ip dans ton .htaccess (si tu es en hébergement Linux).

Tu met quelquechose comme ça:

Order Deny, Allow
Deny from xxx.xxxx.xxxx.xxx

Tu peux aussi utiliser le nom du domaine:

Order Deny, Allow
Deny from proxad.net

Ou un sous domaine :

Order Deny, Allow
Deny from fbx.proxad.net

 

[Jean-Yves Willmann]

Merci pour ta réponse.

"Hébergement Linux" ?
Chez OVH, c'est Linux ?

Si ce n'est pas Linux, je peux quand même faire ce que tu proposes avec le .htaccess ?

 

[seebz]

.htaccess, c'est apache.

donc même si tu as apache sous windows, ca devrait aussi marcher

 

[Jean-Yves Willmann]

D'accord, j'essaierai.

Merci à vous deux.

 

[darkjukka]

Tu peux aussi utiliser le nom du domaine:

Order Deny, Allow
Deny from proxad.net

Ou un sous domaine :

Order Deny, Allow
Deny from fbx.proxad.net

Oui bien sur, et tout les freenautes sont refusés sur son site :roll:

Ca c'est l'IP d'un particulier abonné chez Free

 

[forummp3]

vu les pages demandé, c'est une tentative de "force brut" pour trouver surement le mdp de quelqu'un en utilisant automatiquement pleins de mot de passe via un robot.

 

[ecocentric]

C'est un gars de Toulouse, si ça peut t'aider.

 

[Vap]

.htaccess, c'est apache.

donc même si tu as apache sous windows, ca devrait aussi marcher

Tu en connais beaucoup d'hébergeurs qui offrent Apache sur Windows, au lieu de IIS?

 

[Vap]

Tu peux aussi utiliser le nom du domaine:

Order Deny, Allow
Deny from proxad.net

Ou un sous domaine :

Order Deny, Allow
Deny from fbx.proxad.net

Oui bien sur, et tout les freenautes sont refusés sur son site :roll:

Ca c'est l'IP d'un particulier abonné chez Free

Cites moi en entier tant qu'à faire. Je donne toutes les possibilités, car je ne sais pas laquelle est la bonne dans son cas...

 

[alliax]

WebCopier v4.2 apparemment c'est un navigateur offline, donc en premier il doit te prendre toutes tes pages et les sauver sur le disque dur du gars, le logiciel doit pas etre au point :
http://www.maximumsoft.com

A chaque page de ton forum il y a un lien vers post a message avec une url différente puisqu'il y a dans l'url lapage sur laquelle l'utilisateur devra revenir apres s'etre loggué (c la page post a message)
bref le logiciel doit pas seprendre la tete a comprendre phpbb, s'il voit une url qu'il n'a pas encore rappatrié sur le disque dur du gars, il l'a télécharge et voila, si le webmaster est pas content c'est pareil il avait qu'à bloquer tous les aspirateurs web du monde.

 

[darkjukka]

Cites moi en entier tant qu'à faire. Je donne toutes les possibilités, car je ne sais pas laquelle est la bonne dans son cas...

Non non, je cite juste les conneries pour dire de ne surtout pas faire ça car il perdrait automatique pas mal de visiteurs.

EDIT : Par ailleurs, quand on propose des solutions faut s'arranger pour qu'elles soient viables quand même

 

[Jean-Yves Willmann]

Bon, ne nous fâchons pas !

Pour l'instant je ne fais rien, j'attends de voir. J'ai remarqué que fbx.proxad.net revient de temps en temps de façon normale. Donc pour l'instant j'opte pour un dysfonctionnement ponctuel.

J'essaie d'écouter et de comprendre tout le monde. C'est sympa d'avoir autant de réponses. S'il y a d'autres avis encore, je suis preneur !

 

[darkjukka]

Il est normal que fbx.proxad.net revienne régulièrement puisque tous les freenautes ont un hostname qui se termine par cela,si c'est ton www il suffis que je clique dessus pour qu'il y en ai un nouveau

 

[Vap]

Cites moi en entier tant qu'à faire. Je donne toutes les possibilités, car je ne sais pas laquelle est la bonne dans son cas...

Non non, je cite juste les conneries pour dire de ne surtout pas faire ça car il perdrait automatique pas mal de visiteurs.

EDIT : Par ailleurs, quand on propose des solutions faut s'arranger pour qu'elles soient viables quand même

C'est pas une connerie d'interdire les freenautes, ilLs croient que tout est gratuit de toutes façon! :arrow:

 

[Pandore]

C'est pas une connerie d'interdire les freenautes, ilLs croient que tout est gratuit de toutes façon! :arrow:

rhhhhooo, la mauvaise langue ! :lol:

Effectivement, 80 Mo en ¼ d'heure, ça fait quand même beaucoup. Surtout si l'opération est répétée plusieurs fois ... :?

 

[Jean-Yves Willmann]

C'est peut-être stupide (ou naïf) comme question, mais n'y aurait-il pas moyen d'interdire l'accès SEULEMENT à l'internaute précis (via son IP par exemple ?) qui s'est amusé à utiliser son joujou WebCopier ? ...ou d'interdire l'utilisation du joujou lui-même, d'ailleurs ?

Par exemple, qu'est-ce que laf31-6-82-241-3-118.fbx.proxad.net ? Un IP ? Dans ce cas, ne puis-je pas mettre dans mon .htaccess quelque chose comme :

Order Deny, Allow
Deny from laf31-6-82-241-3-118.fbx.proxad.net

ou comme :

Order Deny, Allow
Deny from WebCopier v4.2

...ou même les deux interdictions l'une à la suite de l'autre ??

 

[Vap]

C'est peut-être stupide (ou naïf) comme question, mais n'y aurait-il pas moyen d'interdire l'accès SEULEMENT à l'internaute précis (via son IP par exemple ?) qui s'est amusé à utiliser son joujou WebCopier ? ...ou d'interdire l'utilisation du joujou lui-même, d'ailleurs ?

Par exemple, qu'est-ce que laf31-6-82-241-3-118.fbx.proxad.net ? Un IP ? Dans ce cas, ne puis-je pas mettre dans mon .htaccess quelque chose comme :

Order Deny, Allow
Deny from laf31-6-82-241-3-118.fbx.proxad.net

ou comme :

Order Deny, Allow
Deny from WebCopier v4.2

...ou même les deux interdictions l'une à la suite de l'autre ??

L'adresse IP correspondant a laf31-6-82-241-3-118.fbx.proxad.net est 82.241.3.118 . Passer du nom à l'adresse IP s'appelle un DNS lookup.

Tu peux donc interdire cet IP :

Order Deny, Allow
Deny from 82.241.3.118

Mais (je ne connais pas comment free alloue ses adresses) il se peut que ce ne soit qu'une adresse temporaire. IL se peut donc que cet internaute ait une autre adresse IP dans quelques jours.

L'autre chose que tu peux essayer est d'interdire l'accès a WebCopier. Avec un peu de chance, c'est le User_Agent. Dans ce cas, tu peux utiliser une règle de récriture:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} WebCopier
RewriteRule (.*) - [F]

Tu met ça dans ton .htaccess.

Mais, encore une fois, ceci n'a un effet que si ton serveur est un serveur Apache. C'est sûrement le cas si tu as un hébergement Linux. Dans le cas d'un hébergement Windows, demande à ton hébergeur. IL est probable que ce n'est pas Apache mais IIS comme serveur. Dans ce cas il doit etre possible de controller l'accès, mais ce sera par un mécanisme différent, que je ne connais pas.

 

[Jean-Yves Willmann]

Grand MERCI pour ta réponse très complète !

Si je comprends bien, pour trouver l'IP depuis nos logs, il faut donc tout le temps retenir les 4 dernières séquences de chiffres, c'est bien ça ?

J'avoue ne pas trop comprendre ce qu'est un "User_Agent" mais je te fais confiance : je vais garder précieusement tes 3 lignes de code, que je me garde sous le coude au cas où l'incident se reproduirait...

Mon serveur est-il un serveur Apache ? (Et mon hébergement est-il un hébergement Linux ?) Je n'ai sais rien. J'ai un 60GP chez OVH. C'est Apache ? (C'est Linux ?)

Jy

 

[Vap]

Grand MERCI pour ta réponse très complète !

Si je comprends bien, pour trouver l'IP depuis nos logs, il faut donc tout le temps retenir les 4 dernières séquences de chiffres, c'est bien ça ?

Non, il faut faire un "dns lookup". Tu tapes ça dand google ou autre, et tu as plein de sites qui te le font gratos.

J'avoue ne pas trop comprendre ce qu'est un "User_Agent" mais je te fais confiance : je vais garder précieusement tes 3 lignes de code, que je me garde sous le coude au cas où l'incident se reproduirait...

Le User Agent est le nom du logiciel qui demande à voir les pages web.

Mon serveur est-il un serveur Apache ? (Et mon hébergement est-il un hébergement Linux ?) Je n'ai sais rien. J'ai un 60GP chez OVH. C'est Apache ? (C'est Linux ?)

Jy

Là, c'est à OVH de te le dire. Je ne suis pas chez cet hébergeur. Mais il y a tellement de membres du forum qui sont chez OVH qu'ils vont peut etre pouvoir te le dire. En fait, ça a l'air d'être du apache d'après leur site. Donc tu met ce que je dis dans un fichier appelé .htaccess, à la racine de ton site, et tu es (un peu plus) tranquille.

 

[Leonick]

oui, c'est bien du apache (il suffit de regarder les en-têtes renvoyées par le serveur) et aussi du Linux, mais ça importe peu.
le htaccess n'a à voir qu'avec apache

 

[Jean-Yves Willmann]

D'accord !

Merci encore

 

[asiansnakewine]

Bonjour,

Moi c'est cette adresse:

bdv75-11-88-177-242-144.fbx.proxad.net

qui voit des milliers de pages par jour depuis des mois, et à chaque fois que j'enlève le DENY 88-177-242-144 du .htaccess les attaquent recommencent, qu'est-ce que ça peut être ?

Merci.

 

[julienr]

les fai gère des emails du type abuse@free.fr, tu expliques la situation, très souvent çà abouti ...