1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Bloquer robot explorateurs .htaccess

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Océane_beaute, 17 Novembre 2014.

Tags:
  1. Océane_beaute
    Océane_beaute Nouveau WRInaute
    Inscrit:
    16 Novembre 2014
    Messages:
    3
    J'aime reçus:
    0
    Bonjour,

    Je souhaite bloquer l'exploration de mon site à certains robots via .htaccess

    j'ai trouvé des listes par ex
    RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
    ........
    Mais ou trouver une liste actualisée?
    Enfin, sur google analytics, j'ai deux URL qui me visite que je souhaite bloquer.

    http://buttons-for-website.com/

    Comment faire?
    Merci pour votre aide
     
  2. ybet
    ybet WRInaute accro
    Inscrit:
    22 Novembre 2003
    Messages:
    7 516
    J'aime reçus:
    1
    Je suis assez à la page sur le blocage (même un peu trop peut-être).

    Je commence par ta liste: pas la peine d'en trouver une actualisée, la majorité des robots se cachent derrière de faux users_agents (y compris des plages brésiliennes qui se cachent derrière Googleboot :mrgreen: ).

    Chez moi, il y a trois niveaux de vérification:
    1. une programmation en php qui bloque les adresses IP visiteurs qui analysent trop de pages dans un temps déterminés.
    2. htaccess sur des plages d'adresses (généralement des plages de serveurs)
    3. pour les plus forts (russes, Ukraine, chinois, ...) carrément par iptables de plages sur le serveur (avec l'avantage que ca bloque tous les types d'accès mais plus dangereux).
     
Chargement...
Similar Threads - Bloquer robot explorateurs Forum Date
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
WordPress Bloquer ou non WP include dans le robots.txt ? Référencement Google 5 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Robots.txt comment bloquer une URL précise (pas tout ce qui y ressemble) Problèmes de référencement spécifiques à vos sites 14 Octobre 2014
Robot.txt bloquer le point en fin d'url Référencement Google 23 Février 2014
Comment bloquer certaines pages uniquement à Google, Bing et Yahoo, via le robot Référencement Google 15 Février 2014
Robots.txt : bloquer un seul répertoire Problèmes de référencement spécifiques à vos sites 15 Février 2014
Comment bloquer des url avec robots.txt ? Crawl et indexation Google, sitemaps 8 Novembre 2012
Bloquer l'accès à certains robots et parseurs URL Rewriting et .htaccess 12 Juin 2012
Comment bloquer les pdfs dans le robots.txt Crawl et indexation Google, sitemaps 17 Janvier 2011
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice