Bloquer les requêtes suspectes ou pas ?

[kartyr]

Bonsoir,

J'ai tendance à bloquer toutes les requêtes qui me semblent suspectes. J'ai un script PHP qui s'exécute avant l'affichage de chaque page et qui décide de bloquer la requête ou non.

Par "bloquer", j'entends que j'affiche un captcha maison. Si la requête provient d'un humain, il peut passer.

De cette manière, je pense bloquer tous les crawlers et aspirateurs de sites. J'autorise Googlebot, Bingbot, etc., en vérifiant l'IP. Je logue les requêtes bloquées qui s'identifient comme des robots (User-Agent) pour autoriser manuellement ou non ces robots.

Est-ce une bonne ou une mauvaise idée ? Je me demande si cela ne fait pas plus de mal que de bien à mon site.

Un avis ?

 

[spout]

Pas génial parce que tu dois maintenir à jour une liste d'adresse IP et de plus le User-Agent ça se change.
Il y a des Web Application Firewall (WAF) qui font ça très bien et facile à mettre en place (Cloudflare par exemple).

 

[kartyr]

Ça, ce n'est pas un souci, c'est automatisé.

Pour les UAs, ce que je voulais dire, c'est que si un UA s'identifie comme un robot (ID et URL pour plus d'infos), je regarde moi-même la page d'information pour voir si c'est légitime et s'il existe un moyen d'authentifier ce robot (IP).

Concernant les WAFs, je préfère m'en occuper moi-même, comme ça, je sais exactement ce que je fais et pourquoi, et cela me permet d'ajuster comme je le souhaite.

De plus, une solution gratuite (ou payante) un jour peut ne plus l'être le lendemain, donc j'évite toute dépense pour garder la maîtrise.

J'avais fait un test, et passer par Cloudflare augmente significativement la latence de mon site. Sans compter que lorsque Cloudflare est en panne (cela n'arrive pas souvent, mais ça arrive quand même), on perd la maîtrise de ce qui se passe.

La technique, ce n'est pas un problème ; je me demandais juste s'il pouvait y avoir un intérêt ou un avantage à laisser ce genre de requêtes non humaines et en dehors des robots "classiques".