Liste d'IP et user agent d'indésirables ? (bot)

Discussion dans 'Administration d'un site Web' créé par milkiway, 24 Octobre 2010.

  1. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Bonjour,

    Connaissez vous une liste des User Agent et ou adresses IP connues comme néfastes ou inutiles ?
    Il y a des centaines et des centaines de bot de centaines de projets de moteurs, aspirateurs & co qui sortent chaque jours et qui crawlent nos sites (et consomment des ressources) sans raison valable.
    Je souhaiterais les bloquer de mon trafic. Je parle d'interdiction apache et non un simple robots.txt.
    Exemple à une époque, un bot nommé Slurp s'acharnait sur deux de mes URL mais le moteur ne m'apportait pas plus de deux ou trois visiteurs par mois.

    Merci
     
  2. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    A mon avis, pour avoir un peu creusé la chose, l'approche Ip / user agent n'ets pas la bonne :

    - les ip : avec les proxy c'est indémerdable
    - les user agents : n'importe quel crawler permet de mettre n'importe quel user agent

    Perso j'ai mis en place une succession de dispositifs avec comme logique :

    - analyser un comportement (nb de pages vues sur des periodes définies plus ou moins longues),
    - acceptation des cookies ou pas
    - mise en place de pieges a bots (le prealable étant que tu aies mis en place un module fiable d'identification des bon bots que tu autorises pour ne pas leur présenter à eux les pieges à bots).

    etc etc

    Et ca aboutit a des ban automatiques (pas au niveau htaccess mais simplement ban soft qui redirige ensuite toute visite via header vers une page d'alerte ... et seulement si un bot insiste trop a butter sur la page d'alerte des centaines de fois, j'interviens manuellement pour le coller en deny dans htaccess.

    C'est yahoo ... :roll:
     
  3. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Oui mais certains utilisent toujours le même UA. Ceux dont je suis sur, je voudrais pouvoir les bloquer. Ils ne sont pas faits pour énerver, c'est juste que je me fous de leur moteur.
     
  4. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    ben alors à toi de te faire TA liste parce que le notion de utiles / nefastes va varier selon le point de vue de chacun. Par exemple moi j'ai dcidé sur un site d'autoriser une quinzaine de gros bots et tous les autres : à la trappe. C'est mon choix pour ce site et je doute qu'il soit pertinent pour d'autres.
     
Chargement...
Similar Threads - Liste user agent Forum Date
Diffuser ses communiqués de presse aux journalistes...? Le café de WebRankInfo 15 Octobre 2008
Trouver le trafic d'une liste d'URL ? Débuter en référencement 30 Septembre 2022
Liste des requètes fréquentes en bas de pages Référencement Google 24 Août 2022
Comment voir la liste des ces abonnés Facebook Facebook 11 Août 2022
Site non listé sur Google Débuter en référencement 19 Juin 2022
Outil de test de code HTTP en masse (sitemap ou liste d'URL) Référencement Google 19 Mai 2022
Occurrence des mots clés dans les pages listes de produits e-commerce 23 Février 2022
Suggestions de mots clés sur un liste de 15 000 mots Rédaction web et référencement 7 Décembre 2021
Récupérer URL destination liste redirection Netlinking, backlinks, liens et redirections 22 Novembre 2021
Erreur dans diagnostic Lighthouse : Registers an unload listener Débuter en référencement 29 Mai 2021
Mon projet est-il réaliste Débuter en référencement 11 Mars 2021
version universelle de addEventListener () ? Développement d'un site Web ou d'une appli mobile 12 Décembre 2020
Impact des noms de domaine blacklistés à cause d'emailing Référencement Google 18 Septembre 2020
Blackliste publicité Facebook pourquoi? Facebook 11 Mai 2020
Désindexer liste d'URL en générant un sitemap Crawl et indexation Google, sitemaps 2 Mai 2020
Liste de villes et référencement Débuter en référencement 24 Avril 2020
Equivalent boite liste indexable ? Développement d'un site Web ou d'une appli mobile 18 Avril 2020
Avis sur le liste lodge-coco.com Rédaction web et référencement 28 Mars 2020
Astuce Comment repérer les mots-clés inversés/similaires dans une liste Débuter en référencement 21 Janvier 2020
WordPress Quelle liste de Ping Wordpress pour 2019-2020 Crawl et indexation Google, sitemaps 21 Décembre 2019