Salut,
Je me suis aperçu qu'environ 1000 "internautes" par jour 8O passaient par ma page d'erreur (personnalisée) 404... totalisant plus de 2000 hits. J'en ai donc déduit qu'il devait y avoir un problème sur certaines de mes pages, ce qui devait provoquer cette erreur 404.
J'ai mis en place un script sur ma page d'erreur 404 qui met en base de données certaines infos des internautes qui arrivent sur ma page d'erreur 404, infos du type : date, IP, agent, host, referrer, système d'exploitation, navigateur, langue, proxy, nb visite.
Et là je m'aperçois que certains "internautes" sont venus plus de 50 fois sur cette page d'erreur 404 en une seule journée... quel être humain pourrait accepter cela sans partir immédiatement de ce site ? J'en déduit donc qu'il s'agit de crawler, de robot mais le problème c'est que ce n'est jamais la même IP, host, etc... comment les bloquer dans ces conditions ?
Est-ce quelqu'un a une idée ?
Merci pour votre aide.
Je me suis aperçu qu'environ 1000 "internautes" par jour 8O passaient par ma page d'erreur (personnalisée) 404... totalisant plus de 2000 hits. J'en ai donc déduit qu'il devait y avoir un problème sur certaines de mes pages, ce qui devait provoquer cette erreur 404.
J'ai mis en place un script sur ma page d'erreur 404 qui met en base de données certaines infos des internautes qui arrivent sur ma page d'erreur 404, infos du type : date, IP, agent, host, referrer, système d'exploitation, navigateur, langue, proxy, nb visite.
Et là je m'aperçois que certains "internautes" sont venus plus de 50 fois sur cette page d'erreur 404 en une seule journée... quel être humain pourrait accepter cela sans partir immédiatement de ce site ? J'en déduit donc qu'il s'agit de crawler, de robot mais le problème c'est que ce n'est jamais la même IP, host, etc... comment les bloquer dans ces conditions ?
Est-ce quelqu'un a une idée ?
Merci pour votre aide.