ma protection contre les spider [rules]

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par rog, 2 Décembre 2006.

  1. rog
    rog WRInaute passionné
    Inscrit:
    21 Septembre 2006
    Messages:
    1 346
    J'aime reçus:
    0
    bon je suis en train de terminer mon script de protection contre les spiders

    j'ai mis le palier à 5 hits sur 10 secondes

    est ce que c'est raisonnable ?

    rog
     
  2. rog
    rog WRInaute passionné
    Inscrit:
    21 Septembre 2006
    Messages:
    1 346
    J'aime reçus:
    0
    nouvelle formule tout en 1 (protection + logger)

    Code:
    #################################################################################################
    #	rog secure query & log V0.2
    #
    #	03/12/2006
    #
    #	this script attempt to sanitize the query string (GET sended var)
    #
    #	it will check if the user is trusted (search engine spider) and log the visit
    #	the untrusted query by untrusted users will be redirected to ban.php 
    #
    #
    #
    #	#################################################################
    #	#							the log								#
    #	#################################################################
    #
    #	then it will log the visit on 3 ways :
    #
    #		1)normal user ip and user agent
    #			- it will log the ip + user_agent 
    #			- SCRIPT_DIR + LOG_DIR + USER_LOG_FILE
    #		
    #		2)search engine spider
    #			- it will log the spider visited pages spider + url + date
    #			- SCRIPT_DIR + LOG_DIR + SPIDER_DIR + SPIDER_LOG_FILE
    #
    #		3)temporary user for flooding protection
    #			- ip = directory
    #			- filename = timestamp
    #			- SCRIPT_DIR + LOG_DIR + SPIDER_DIR + SPIDER_TMP_DIR
    #			- SCRIPT_DIR + LOG_DIR + SPIDER_DIR + SPIDER_BAN_DIR
    #
    #
    #	#################################################################
    #	#						the protection							#
    #	#################################################################
    #
    #	A) the script actions
    #		1) data extractions
    #			- ips address and user agent
    #			- checking it the user agent is trusted ?
    #			- user ==> engine name ==> spider log and exit
    #			- untrusted user ==> script forward
    #
    #		2) forbidden string checking
    #			- it will only check untrusted user by ips
    #			- returns true/false ?
    #			- true ==> BAN_FILE redirection
    #			- false ==> script forward
    #
    #		3) flood checking
    #			- it will only check untrusted user by ips
    #			- it has to be something very light to check
    #			- first of all we log the ips + timestamp
    #			- SCRIPT_DIR + LOG_DIR + SPIDER_DIR + SPIDER_TMP_DIR
    #			- checking if dirname exists ? the dir for finding the ips, if matches finded
    #			- open the dir and grep the filenames < time max, make a sum if sum >= max entry ==> BAN_FILE redirection
    #			- SCRIPT_DIR + LOG_DIR + SPIDER_DIR + SPIDER_BAN_DIR
    #
    #			
    #	#################################################################
    #	#						var declaration							#
    #	#################################################################
    #
    # 	some path have to be declared as const :
    #
    #		- SCRIPT_DIR		==> main script dir | this allows you to make a general site protection or folder protection
    #		- LOG_DIR 			==> directory logging dirname
    #		- USER_DIR			==> path to the user log
    #		- SPIDER_DIR		==> the spider log dirname
    #
    #		- BAN_FILE			==> path to the ban.php file
    #		- USER_LOG_FILE 	==> user log filename
    #		- SPIDER_LOG_FILE	==> spider log filename
    #		- SPIDER_TMP_DIR	==> spider log filename
    #
    															|
    															|
    															|
    													+-------+-------+
    													|	SCRIPT_DIR	|
    													+-------+-------+
    											  				|
    															|
    															|
    													+-------+-------+
    													|	 LOG_DIR	|
    							+-----------------------+---------------+-------------------+
    							|															|	
    							|															|
    							|															|
    						  	|															|
    					+-------+-------+											+-------+-------+
    					|	USER_DIR	|											|	SPIDER_DIR	|
    		+-----------+-------+-------+---------+			  		  	+-----------+-------+-------+---------+		
    		|					|				  |			  			|					|				  |				
    		|					|				  |			  			|					|				  |		
    		|					|				  |			  			|					|				  |		
    		|					|				  |			  			|					|				  |		
      /-----+-------/	 +------+------+   +------+------+		 /------+--------/	 +------+------+   +------+------+	
     /USER_LOG_FILE/	 |	 TMP_DIR   |   |   BAN_DIR	 |		/SPIDER_LOG_FILE/	 |	 TMP_DIR   |   |   BAN_DIR	 |	
    /-------------/		 +------+------+   +------+------+	   /---------------/	 +------+------+   +------+------+	
     
Chargement...
Similar Threads - protection spider [rules] Forum Date
Protection de site web : quel code ajouter dans htaccess ? URL Rewriting et .htaccess 5 Mars 2021
Loi sur la protection du consommateur (California Consumer Privacy Act) Droit du web (juridique, fiscalité...) 18 Novembre 2019
Google Adwords - Protection de marque AdWords 12 Novembre 2019
Texte utilisation cookies et protection des données : pb de duplicate ? Débuter en référencement 8 Janvier 2019
Règlement européen sur la protection des données (RGPD) Droit du web (juridique, fiscalité...) 20 Avril 2018
Suite Réception mail Google protection de données Google Analytics 12 Avril 2018
Protection de mon site, de son contenu et de mes rédactions Droit du web (juridique, fiscalité...) 13 Février 2017
mentions legales formulaire web protection donnees Droit du web (juridique, fiscalité...) 9 Octobre 2016
Protection htaccess par IP+mot passe Administration d'un site Web 8 Juin 2016
Protection de fichiers via un .htaccess URL Rewriting et .htaccess 28 Avril 2016
Protection variable php contre les injections ? Développement d'un site Web ou d'une appli mobile 5 Avril 2016
Sécuriser son formulaire de recherche (protection anti-robot) Développement d'un site Web ou d'une appli mobile 24 Février 2015
INPI Protection marque. Droit du web (juridique, fiscalité...) 4 Octobre 2014
Merci de tester ma protection fail2ban ipv6 ? Administration d'un site Web 17 Août 2014
AE et protection sociale Droit du web (juridique, fiscalité...) 1 Décembre 2013
Protection contre la récupération de mot de passe Droit du web (juridique, fiscalité...) 25 Novembre 2013
Quelle protection pour le marchand avec Paypal et contrat VAD ? e-commerce 23 Novembre 2012
Protection juridique d'un site comparatif ou d'avis consommateur Droit du web (juridique, fiscalité...) 1 Novembre 2012
Protection d'un site auprès d'organisme copyright en ligne Droit du web (juridique, fiscalité...) 15 Octobre 2012
Protection de mon code / design sur site web et société. Droit du web (juridique, fiscalité...) 5 Août 2012