bloquer les robots et ne recevoir que les vrais utilisateurs

WRInaute discret
Bonjour,

J'ai un petit souci avec un site que j'administre.
J'ai des stats via Xiti et Webalizer (fournie par mon hébergeur).
D'après Xiti, je tourne à environ 1200 visites uniques par jour, mais d'après Webalizer, c'est plutôt 7500 !
Après réflexion, la différence provient du fait qu'il y a énormément de robots qui viennent crawler mon site.

Depuis peu, mon hébergeur m'a contacté pour me dire que mon site consomme trop de ressources mysql.
J'ai donc optimisé les accès mysql. J'ai aussi installé un .htaccess pour bloquer toute une série de robots de la façon suivante :

Code:
RewriteEngine On 

RewriteCond %{HTTP_USER_AGENT} robot1 [OR]
...
RewriteCond %{HTTP_USER_AGENT} robotN
RewriteRule ^(.*)$ http://www.ailleurs.com/

mais ça n'a pas réglé le problème d'après mon hébergeur.

comment faire ?

merci :)
 
WRInaute accro
bloquer certains robots avec robots.txt, parce que de vouloir bloquer tous les robots, cela va, à terme, bloquer a venue des visiteurs. Sauf s'ils ont le site dans leurs bookmarks ou que le site a beaucoup de BL bien positionnés
 
Discussions similaires
Haut