[INFO] fail2ban vs crawler: attention ban

Discussion dans 'Administration d'un site Web' créé par pouloupoupo, 3 Janvier 2011.

  1. pouloupoupo
    pouloupoupo WRInaute discret
    Inscrit:
    13 Avril 2008
    Messages:
    143
    J'aime reçus:
    0
    Salut à tous
    Je poste ici à titre info.
    J'ai repris un vieux site internet qui avait été modifié
    Les précédents dev n'ont pas fait de réécriture d'url et donc quand les crawler viennent revisiter les liens connus ils se font bannir par le script [apache-noscript] de fail2ban.
    Googlebot peut aussi se voir bannir quand il teste les 404.Je ne sais pas si les autres bots le font?
    Seule solution que je vois: rajouter les ip des robots
    Code:
    ignoreip = 127.0.0.1 66.249.66.169
    
    Ou désactiver ce script momentanément

    C'est un cas particulier mais ça peut éviter des sacrés ennuis à certains

    ++
     
  2. Julia41
    Julia41 WRInaute passionné
    Inscrit:
    31 Août 2007
    Messages:
    1 774
    J'aime reçus:
    0
    La meilleure solution reste d'avoir un site mieux codé ou alors de désactiver ce script.
    Si tu as une page qui fait 10 erreurs 404 (par exemple) d'un coup, tu bannies du coup tous tes utilisateurs.
     
  3. ZelkiN
    ZelkiN WRInaute occasionnel
    Inscrit:
    27 Juillet 2007
    Messages:
    458
    J'aime reçus:
    0
    Un bon vieux site maison avec une bonne programmation rien de mieux pour éviter ce genre de mésaventure, c'est vrai que repasser derniere quelqu'un qui plus ai tu as a l'air de dire que c'est un vieux site c'est pas le top, merci quand meme ;)
     
Chargement...
Similar Threads - [INFO] fail2ban crawler Forum Date
[Info] Blog sur Google Google : l'entreprise, les sites web, les services 29 Avril 2005
[Info] Google Afrique du Sud et Google Desktop Search Google : l'entreprise, les sites web, les services 30 Mars 2005
[Info] - Très gros Crawl aujourd'hui Crawl et indexation Google, sitemaps 21 Août 2004
fail2ban / iptables contre le scan de failles Administration d'un site Web 8 Juin 2015
Merci de tester ma protection fail2ban ipv6 ? Administration d'un site Web 17 Août 2014