Des crawlers un peu trop gourmand

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par ACR Ing, 21 Juillet 2009.

  1. ACR Ing
    ACR Ing WRInaute discret
    Inscrit:
    10 Juillet 2007
    Messages:
    61
    J'aime reçus:
    0
    Salut,

    J'ai mon site qui est out depuis hier. Bon c'est vrai que j'ai une augmentation de trafic mais il a déjà tenu 13000 visiteurs unique / j et là j'en suis à 5000. Pour info, ce site avait subit une pénalité de la part de Google et il commence maintenant à redécoller suite à de nombreuses modifications. Bref, ce n'est pas le sujet du message. C'est la base de données qui est mal menée alors qu'il y a un système de cache. Je suis allé voir les logs et à priori, ce serait le bots de voila qui crawl comme un cinglé mon site (et les autres bots sont bien présents aussi). Avez-vous des astuces pour réguler le trafic des bots sur vos sites ?

    D'avance merci

    Bertrand
     
  2. ACR Ing
    ACR Ing WRInaute discret
    Inscrit:
    10 Juillet 2007
    Messages:
    61
    J'aime reçus:
    0
    C'est effectivement VoilaBot BETA 1.2 qui perd un peu les pédales, il semblerait
     
  3. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 875
    J'aime reçus:
    72
    Tu peux le bloquer le temps qu'il se calme (vu l'apport de visite de Voilà, ça devrait pas changer grand chose) :

    Code:
    RewriteCond %{HTTP_USER_AGENT} VoilaBot
    RewriteRule .* - [F,L]
    
     
  4. ACR Ing
    ACR Ing WRInaute discret
    Inscrit:
    10 Juillet 2007
    Messages:
    61
    J'aime reçus:
    0
    Merci pour le code, j'étais justement en train de regarder comment le bloquer.
     
  5. ACR Ing
    ACR Ing WRInaute discret
    Inscrit:
    10 Juillet 2007
    Messages:
    61
    J'aime reçus:
    0
    D'une manière générale, vous avez une politique de gestion des bots ou pas ? Blocage de certains bots qui ne servent à rien, etc ...
     
  6. petitchevalroux
    petitchevalroux WRInaute discret
    Inscrit:
    31 Mai 2006
    Messages:
    164
    J'aime reçus:
    0
    De manière générale j'utilise un script qui bloque le visiteur/bot au bout d'un certain nombre de requêtes par seconde http://sourceforge.net/projects/apcanticrawler/ bon c'est basé sur APC donc il faut auparavant l'installer :D
     
  7. ACR Ing
    ACR Ing WRInaute discret
    Inscrit:
    10 Juillet 2007
    Messages:
    61
    J'aime reçus:
    0
    Je suis sur un mutualisé chez OVH donc ça va être difficile d'installer APC :(
     
  8. petitchevalroux
    petitchevalroux WRInaute discret
    Inscrit:
    31 Mai 2006
    Messages:
    164
    J'aime reçus:
    0
    Arf tu peux faire un peux le même truc en utilisant des fichiers pour stocker le nombre de requetes par seconde par IP C'est GPL donc si tu veux t'en inspirer y a pas de problème ;)
     
Chargement...
Similar Threads - crawlers gourmand Forum Date
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Hide from backlink crawlers? Administration d'un site Web 27 Décembre 2016
Analyser les visites des crawlers ? Débuter en référencement 16 Mars 2013
Crawlers et pages CGU / informations légales Débuter en référencement 14 Septembre 2012
Session php et crawlers Développement d'un site Web ou d'une appli mobile 12 Mars 2012
Incrémentation avec exclusion des crawlers Développement d'un site Web ou d'une appli mobile 21 Novembre 2011
Detection des bots et crawlers avec google analytics ? Google Analytics 23 Juin 2010
[Google analytics]Le script pour suivre google bot et autres crawlers Google Analytics 23 Août 2009
Mon site http://www.recettes-gourmandes-de-joce.com/ Demandes d'avis et de conseils sur vos sites 4 Septembre 2012
Referencement de gourmandizzfimo-shop.com Débuter en référencement 15 Juin 2012
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice