|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
NoGlob
WRInaute discret
Inscrit le: 17 Sep 2007
Messages: 82
|
 Posté le : Lun Sep 17, 2007 22:56 Sujet du message: Méthode anti aspi ? |
|
|
Hello World, 
j'ai vue plusieurs méthodes anti aspirateur de site et pour le .htaccess j'ai retenu ceci :
| Code: |
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^-?$ [OR]
RewriteCond %{HTTP_USER_AGENT} Advanced\ Email\ Extractor [OR]
RewriteCond %{HTTP_USER_AGENT} almaden [NC,OR]
RewriteCond %{HTTP_USER_AGENT} @nonymouse [OR]
RewriteCond %{HTTP_USER_AGENT} Art-Online [OR]
RewriteCond %{HTTP_USER_AGENT} CherryPicker [OR]
RewriteCond %{HTTP_USER_AGENT} Crescent\ Internet\ ToolPack [OR]
RewriteCond %{HTTP_USER_AGENT} DirectUpdate [OR]
RewriteCond %{HTTP_USER_AGENT} Download\ Accelerator [OR]
RewriteCond %{HTTP_USER_AGENT} eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} echo\ extense [OR]
RewriteCond %{HTTP_USER_AGENT} EmailCollector [OR]
RewriteCond %{HTTP_USER_AGENT} EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} Fetch\ API\ Request [OR]
RewriteCond %{HTTP_USER_AGENT} flashget [NC,OR]
RewriteCond %{HTTP_USER_AGENT} frontpage [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} HTTP\ agent [OR]
RewriteCond %{HTTP_USER_AGENT} HTTPConnect [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [OR]
RewriteCond %{HTTP_USER_AGENT} IPiumBot\ laurion(dot)com [OR]
RewriteCond %{HTTP_USER_AGENT} Kapere [OR]
RewriteCond %{HTTP_USER_AGENT} libwww-perl [OR]
RewriteCond %{HTTP_USER_AGENT} Microsoft\ URL\ Control [OR]
RewriteCond %{HTTP_USER_AGENT} minibot\(NaverRobot\) [OR]
RewriteCond %{HTTP_USER_AGENT} NICErsPRO [OR]
RewriteCond %{HTTP_USER_AGENT} NPBot [OR]
RewriteCond %{HTTP_USER_AGENT} Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} Program\ Shareware [OR]
RewriteCond %{HTTP_USER_AGENT} QuepasaCreep [OR]
RewriteCond %{HTTP_USER_AGENT} SiteMapper [OR]
RewriteCond %{HTTP_USER_AGENT} Star\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} Telesoft [OR]
RewriteCond %{HTTP_USER_AGENT} TuringOS [OR]
RewriteCond %{HTTP_USER_AGENT} TurnitinBot [OR]
RewriteCond %{HTTP_USER_AGENT} vobsub [NC,OR]
RewriteCond %{HTTP_USER_AGENT} webbandit [NC,OR]
RewriteCond %{HTTP_USER_AGENT} WebCapture [OR]
RewriteCond %{HTTP_USER_AGENT} webcollage [OR]
RewriteCond %{HTTP_USER_AGENT} WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} WebDAV [OR]
RewriteCond %{HTTP_USER_AGENT} WebEmailExtractor [OR]
RewriteCond %{HTTP_USER_AGENT} WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} WEBsaver [OR]
RewriteCond %{HTTP_USER_AGENT} WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Wysigot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Zeus.*Webster [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus [OR]
#
# Un hôte qui tente de se cacher dans une reverse DNS lookup
RewriteCond %{REMOTE_HOST} ^private$ [NC,OR]
#
# Sites de surveillance du Web (peut nécessiter ipchains)
RewriteCond %{HTTP_USER_AGENT} traffixer [NC,OR]
RewriteCond %{HTTP_USER_AGENT} netfactual [NC,OR]
RewriteCond %{HTTP_USER_AGENT} netcraft [NC,OR]
#
# Un faux referrer souvent utilisé
RewriteCond %{HTTP_USER_AGENT} ^[^?]*iaea\.org [NC,OR]
#
# Le referrer "addresses.com" est utilisé par un email address extractor
RewriteCond %{HTTP_USER_AGENT} ^[^?]*addresses\.com [NC,OR]
#
# Bloque les navigateurs se dissimulants avec des lettres et chiffres aléatoires
RewriteCond %{HTTP_USER_AGENT} [0-9A-Za-z]{15,} [OR]
RewriteCond %{HTTP_USER_AGENT} ^[0-9A-Za-z]+$ [OR]
#
# Un faux referrer utilisé en conjonction avec un formmail exploits
RewriteCond %{HTTP_USER_AGENT} ^[^?]*\.ideography\.co\.uk [NC]
RewriteRule .*$ http://www.autre_site.com [R,L]
# Une redirection interne compte pour 2 hits
# Une redirection externe compte pour 1 hit |
Je me demandais si mon htaccess est correct ? et si c'est pas mieux de faire comme ceci par exemple :
| Code: |
| RewriteCond %{HTTP_USER_AGENT} .*HTTrack [OR] |
au lieu de
| Code: |
| RewriteCond %{HTTP_USER_AGENT} HTTrack [OR] |
Je me suis également fais un script de blocage d'IP, si vous avez testé d'autres méthodes (également contre les bots à spam) elles sont les bienvenues |
|
| |
|
 |
bproductiv
WRInaute accro
Inscrit le: 27 Déc 2004
Messages: 2262
Localisation: La roche s/ yon
|
| Posté le : Mar Sep 18, 2007 9:19 Sujet du message: Méthode anti aspi ? |
|
|
et ca te sert a quoi? j'ai jamais été convaincu de ce genre de méthode...  |
|
| |
|
|
Leonick
WRInaute accro
Inscrit le: 08 Aoû 2004
Messages: 8788
Localisation: Val de Marne
|
| Posté le : Mar Sep 18, 2007 9:41 Sujet du message: Méthode anti aspi ? |
|
|
| bproductiv a écrit: |
| et ca te sert a quoi? |
à obliger les utilisateurs d'aspirateurs à regarder la notice pour changer leur user agent, et mettre IE7 ou FF2  |
|
| |
|
|
NoGlob
WRInaute discret
Inscrit le: 17 Sep 2007
Messages: 82
|
| Posté le : Mar Sep 18, 2007 12:25 Sujet du message: Méthode anti aspi ? |
|
|
| Citation: |
| et ca te sert a quoi? j'ai jamais été convaincu de ce genre de méthode... |
C'est pourquoi je demande des avis pour améliorer cette méthode et il y'a d'autres méthodes ... |
|
| |
|
|
bproductiv
WRInaute accro
Inscrit le: 27 Déc 2004
Messages: 2262
Localisation: La roche s/ yon
|
| Posté le : Mar Sep 18, 2007 12:34 Sujet du message: Méthode anti aspi ? |
|
|
donc si tu prend ces mesures c'est que tu a constaté régulièrement que des gens aspiraient ton site, et donc te plombent ta bande passante, non?
sinon aucun intérêt tout court, ta méthode, (peu importe laquelle) pourra tjs être détournée. |
|
| |
|
|
NoGlob
WRInaute discret
Inscrit le: 17 Sep 2007
Messages: 82
|
| Posté le : Jeu Sep 20, 2007 7:10 Sujet du message: Méthode anti aspi ? |
|
|
| Citation: |
| donc si tu prend ces mesures c'est que tu a constaté régulièrement que des gens aspiraient ton site, et donc te plombent ta bande passante, non? |
Exactement
J'ai mis un simple blocage par IP et ça me bloque environ 2 aspirateurs ou bots par jour, lorque je cherche d'où proviennent ces IP je constate que se sont des serveurs de spam ou autre chose de pas très catholique.
Donc bien sûr c'est contournable mais ça a le mérite d'en bloquer certains, si à ça je peux coupler avec d'autres méthodes je ne vais pas cracher dessus malgré les conseils inverses des 2 compères ci-dessus 
Alors personne ne connait d'autres méthodes ou pourrait me répondre concernant le .htaccess que j'ai posté svp ?  |
|
| |
|
|
bproductiv
WRInaute accro
Inscrit le: 27 Déc 2004
Messages: 2262
Localisation: La roche s/ yon
|
| Posté le : Jeu Sep 20, 2007 8:19 Sujet du message: Méthode anti aspi ? |
|
|
| est ce que les humains arrivent encore à avoir accès à ton site tellement il est blindé? |
|
| |
|
|
NoGlob
WRInaute discret
Inscrit le: 17 Sep 2007
Messages: 82
|
| Posté le : Ven Sep 21, 2007 1:11 Sujet du message: Méthode anti aspi ? |
|
|
| Bref ... |
|
| |
|
|
bproductiv
WRInaute accro
Inscrit le: 27 Déc 2004
Messages: 2262
Localisation: La roche s/ yon
|
| Posté le : Ven Sep 21, 2007 8:44 Sujet du message: Méthode anti aspi ? |
|
|
| ce que je veux dire et j'arrete là je te promet, c'est que ton htaccess suffit, ca ne sert a rien de rajouter d'autres méthodes. |
|
| |
|
|
NoGlob
WRInaute discret
Inscrit le: 17 Sep 2007
Messages: 82
|
| Posté le : Ven Sep 21, 2007 14:40 Sujet du message: Méthode anti aspi ? |
|
|
Il n'enlève que le gros, il en reste certains qui passent au travers et le bloquage par IP fais une protection de plus qui marche un minimum vue que j'en ai bloqué quelques une.
Pour l'instant je vais me contenter de ça, si quelqu'un a a un conseil pour améliorer le .htaccess ou une méthode à soumettre elle est la bienvenue. |
|
| |
|
|
| |
|
|
