1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Bloquer l'accès à certains robots et parseurs

Discussion dans 'URL Rewriting et .htaccess' créé par enams90, 12 Juin 2012.

  1. enams90
    enams90 Nouveau WRInaute
    Inscrit:
    2 Mars 2012
    Messages:
    25
    J'aime reçus:
    0
    Bonsoir, j'ai un petit problème sur mon site. Quelques robots malveillants ainsi que des sites en Wordpress qui utlisent mon flux rss pour l'afficher sur leurs sites. Je voudrais bloquer l'accès à ces sites via htaccess ou autres moyens. Pour les robots, il s'agit de Ezooms et de Sistrix Crawler. Pour les parseurs, il s'agit d'un site Wordpress qui utilise un agrégateur rss. Pouvez vous m'aider svp car ils consomment beacoup de ressources avec un crawl toutes les heures. Merci d'avance.
     
  2. Liste-riad
    Liste-riad WRInaute discret
    Inscrit:
    17 Décembre 2010
    Messages:
    64
    J'aime reçus:
    0
    bonjour

    utilisé ce code ( en ajoutent les ip des sites à bloquer ) :

    exemple : bloquer le site 60.169.78.177

    Code:
    RewriteEngine On
    
    Order Allow,Deny
    
    Allow from all
    
    Deny from 60.169.78.177

    et ce code en générale contre les hackers, les spammeurs..

    Code:
    
    RewriteEngine On
    
    Order Allow,Deny
    
    Allow from all
    
    Deny from 60.169.78.177
    
    RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
    RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
    RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
    
    ###FILTRE CONTRE CERTAINS ROBOTS DES PIRATES
    
    ## EXCEPTION: TOUS LES ROBOTS MEMES ANONYMES OU BANNIS PEUVENT ACCEDER A CES FICHIERS
    RewriteCond %{REQUEST_URI} !^/robots.txt
    RewriteCond %{REQUEST_URI} !^/sitemap.xml
    
    RewriteCond %{HTTP_USER_AGENT} .*Atomic\_Email\_Hunter* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} .*HTTrack* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} .*Filangy* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*BackWeb* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*BackStreet* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Bandit* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*BatchFTP* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Bullseye* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*bumblebee* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*capture* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*CherryPicker* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*CherryPickrElite* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*CherryPickerSE* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*ChinaClaw* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*clipping* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*collage* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Collector* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Copier* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} .*Crescent* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} .*Download* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*eCatch* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*EirGrabber* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*email* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*EmeraldShield* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} .*FlashGet* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} .*FlickBot* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*FrontPage* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} .*GetRight* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} .*GetSmart* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*GetWeb* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*GetWebPage* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*gigabaz* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Go!Zilla* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*GornKer* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*gotit* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Grabber* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} .*GrabNet* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*hloader* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*httpdown* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*InterGET* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*JustView* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*kapere* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*larbin* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*LeechFTP* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*LexiBot* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Missigua* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*MSIECrawler* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Vampire* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*NetAnts* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*NetMechanic* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Openfind* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*PageGrabber* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*pavuk* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*pcBrowser* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*PersonaPilot* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*PingALink* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Python-urllib* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*PycURL* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*RealDownload* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Reaper* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Recorder* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*ReGet* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*replacer* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*SearchExpress* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*SlySearch* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*SmartDownload* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*snagger* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Snake* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Stripper* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Sucker* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*SuperBot* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*SuperHTTP* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Surfbot* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Syntryx* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Teleport* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Telesoft* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*NetSpider* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebAuto* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebBandit* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebCapture* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Webclipping* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*webcollage* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebCopier* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebEMailExtrac* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebFetch* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebIndexer* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebLeacher* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebMiner* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebMirror* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebReaper* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebSauger* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Website* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Webster* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebStripper* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebWhacker* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*WebZIP* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Wget* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Whacker* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*whizbang* [OR]
    RewriteCond %{HTTP_USER_AGENT} .*Xenu*
    RewriteRule .* - [F]
    
    

    ajouter les autres ..
     
Chargement...
Similar Threads - Bloquer accès robots Forum Date
Bloquer l'accés à des "sous-liens" en utilisant robots.txt Problèmes de référencement spécifiques à vos sites 5 Mars 2009
Bloquer accès admin Google Analytics par adresse IP Google Analytics 19 Septembre 2019
Réseau de site backlinks : comment bloquer par htaccess ? Tests et études de cas 6 Juin 2019
bloquer l'accès au site à certains "mauvais'bots Administration d'un site Web 26 Mars 2018
Bloquer robot explorateurs .htaccess Crawl et indexation Google, sitemaps 17 Novembre 2014
Bloquer accès Admin Analytics si IP externe Google Analytics 2 Décembre 2013
2 adresses à bloquer dans le .htaccess URL Rewriting et .htaccess 17 Juillet 2013
Bloquer l'accès à sous.domaine.com mais pas à sous.domaine.com/pages URL Rewriting et .htaccess 8 Mars 2013
Bloquer accès à un répertoire : ne fonctionne pas ! URL Rewriting et .htaccess 9 Août 2012
bloquer un acces wifi parasite. Le café de WebRankInfo 26 Janvier 2011
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice