Bloquer des Milliers de visiteurs factices

J
Just Aware
WRInaute discret
Bonjour,

J'ai de plus en plus de crawl, qui ne sont pas des visiteurs réel mais pas non plus identifiés comme crawlers.
User agent chrome normal, toutes ip différentes,de partout dans le monde.
Le souci, c'est que ça m'écrase le serveur ( j'ai pourtant un des plus gros ovh )

J'ai essayé le blocage par pays mais même avec geoip, il y a beaucoup de faux positifs et je perds pas mal de traffic.

J'ai essayé de bloquer par bloc d'ip mais ils en ont des millions.

Cela représente plus de 10.000 générations de page par heure.

Je n'ai plus trop d'idée, avez-vous une piste ?
 
anemone-clown
anemone-clown
WRInaute passionné
Bonjour,
j'ai eu le problème depuis le début du mois : idem, des milliers de pages lues du monde entier, souvent par rafales de 30 x la même page. Cela provient surtout avec les paramètres suivants:
  • langue vaut strictement 'en-US,en;q=0.9'
  • user_agent quasiment 100% avec 'Linux x86'
  • user_agent surtout avec Chrome/149 (et je surveille Chrome/146 et Chrome/133 sous Mac, et il y a eu Chrome/142, mais ça semble fini pour 142...)
  • le referer est le plus souvent google (90%) mais le referer vide est assez courant aussi (10%)

Si tu sais programmer, il y a moyen de faire une fonction PHP à appeler à un endroit stratégique dans le code pour enregistrer une ligne complète.

Après, moi, j'affiche de la pub, je ne peux pas filtrer tout... mais j'ai décidé de bloquer Chorme/149 sous certaines conditions. Je donne un bout de htaccess (à manipuler avec la plus grande prudence):

Code: 
RewriteCond %{ENV:ROBOT_OUI} ^ouioui$ [OR]
RewriteCond %{ENV:GEOIP_COUNTRY_CODE} ^(FR|BE|CH)$
RewriteRule .*    -    [S=1]
RewriteCond %{HTTP_USER_AGENT} x86(.*)Chrome/149
RewriteCond %{HTTP:Accept-Language} ^en-US,en;q=0\.9$
RewriteCond %{HTTP_REFERER} (www\.google\.com/|^-?)$
RewriteCond %{REQUEST_URI} /(dictionnaire/definition|especies/ficha|especes/taxonomie)/
RewriteRule ^ - [F]
Je teste d'abord une variable d'environnement que je fixe moi-même dans le htaccess pour éviter de bloquer des robots légitimes. Ensuite, je ne teste pas les visiteurs de France, Belgique et Suisse (un petit passe-droit... mais pas pour le Canada! -fortement spammeur aussi-)

Bref, tu peux supprimer les 3 premières lignes, y compris le Skip (S=1) si tu n'as ni la Geoip, ni un préalable de conditionnement pour les robots.

Vers la fin, une condition teste l'URL appelée, tout n'est pas spammé : il faut adapter le request_uri...

Bref, si tu veux tester de la façon 'bourrin', ça peut se limiter à:
Code: 
RewriteCond %{HTTP_USER_AGENT} x86(.*)Chrome/149
RewriteCond %{HTTP:Accept-Language} ^en-US,en;q=0\.9$
RewriteCond %{HTTP_REFERER} (www\.google\.com/|^-?)$
RewriteRule ^ - [F]

Je mets les réponses à ce thread en suivi... si besoin.
 
J
Just Aware
WRInaute discret
Merci pour ta réponse, j'ai aussi trouvé une corrélation avec certaines versions de chrome, pratiquement toute avec les version xxx.0.0.0
J'ai bloqué une quinzaine d'anciennes versions en les ajoutant à mes user agent déjà bloqué pour les robots, du type:

RewriteCond %{HTTP_USER_AGENT} .103.0.0.0 [OR]

J'ai pour le moment bloqué les une bonne parie des 103 à 133.
J'ai un peu de 149 mais elle est assez rescente, j'hésite à la bloquer, même avec la restriction de langue, j'ai des sites en anglais.
 
anemone-clown
anemone-clown
WRInaute passionné
Je bloque aussi plein d'anciennes versions de divers navigateurs ou systèmes d'exploitations:
Code: 
RewriteCond %{HTTP_USER_AGENT} Firefox/(([0-9])|([0-7][0-9]))\.|Chrome/(([2-9])|([1-8][0-9])|9([0-4]))\.|MSIE([\x20](10|([2-9]))|8|\+6)|Windows[\x20](95|98|NT[\x20](5\.|6\.([0-1]))) [NC]
FireFox jusqu'à 79, Chrome jusqu'à 94, InternetExplorer... :p et de vieilles versions de Windows jusqu'à NT6.1 (Win 7 si je me souviens bien).

Pour le spam, et vu le nombre d'IP (jamais 2 fois la même), il y a forcément du IP spam ou des virus qui traînent sur Linux et Mac avec Chrome... Je n'ai rien constaté comme spam avec Windows, ni sur mobile (iPhone ou Android).

En enregistrant proprement les données, j'avais ce genre de résultat:
Code: 
199.45.138.130  | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:21:16
24.42.20.82     | lg = en-US,en;q=0.9 (P=PR, C=NA) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:21:27
83.135.191.87   | lg = en-US,en;q=0.9 (P=DE, C=EU) | bot=non | Chrome/149+Google |URI = /especies/taxonomia/genero/901/tubastraea | 2026/07/06 10:21:30
164.153.56.203  | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /especies/taxonomia/genero/799/goliathus | 2026/07/06 10:21:32
68.13.83.23     | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:21:44
74.141.161.76   | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /especies/taxonomia/genero/901/tubastraea | 2026/07/06 10:22:17
82.33.190.179   | lg = en-US,en;q=0.9 (P=GB, C=EU) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:22:31
73.123.64.49    | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:22:32
86.8.229.118    | lg = en-US,en;q=0.9 (P=GB, C=EU) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:22:51
94.1.151.63     | lg = en-US,en;q=0.9 (P=GB, C=EU) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:23:03
158.120.245.80  | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:23:23
100.19.11.190   | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:23:36
97.170.238.115  | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:24:05
73.161.101.247  | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:24:11
45.49.55.193    | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:24:34
62.31.207.217   | lg = en-US,en;q=0.9 (P=GB, C=EU) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:25:39
72.51.113.67    | lg = en-US,en;q=0.9 (P=BB, C=NA) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:25:53
216.249.234.58  | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /especies/ficha/terrario/2620/hyla-cinerea | 2026/07/06 10:25:57
71.121.170.44   | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:25:59
153.67.179.195  | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:26:12
76.145.244.31   | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:26:46
147.93.215.121  | lg = en-US,en;q=0.9 (P=DE, C=EU) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:27:04
72.195.254.174  | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:28:11
74.89.61.86     | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:28:31
24.129.91.234   | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:28:38
24.1.235.19     | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:28:47
68.33.144.126   | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:29:02
112.203.215.9   | lg = en-US,en;q=0.9 (P=PH, C=AS) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:29:10
69.127.152.228  | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:29:24
144.249.214.59  | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:29:56
141.156.48.21   | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:30:25
73.122.152.230  | lg = en-US,en;q=0.9 (P=US, C=NA) | bot=non | Chrome/149+Google |URI = /dictionnaire/definition/11291/apterygote | 2026/07/06 10:30:37
 
Vous devez vous connecter ou vous inscrire pour répondre ici.

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici

coaching SEO
Discussions similaires
K
Bloquer les requêtes suspectes ou pas ?
Réponses
4
Affichages
2K
kartyr
K
WebzineMusik
Bad bots : faut-il bloquer les mauvais robots sur son site ?
Réponses
20
Affichages
2K
WebzineMusik
WebzineMusik
O
Bloquer ou non les sessions dans matomo.
Réponses
8
Affichages
2K
ortolojf
O
K
AdSense : faut-il bloquer les réseaux publicitaires tiers ?
Réponses
0
Affichages
2K
kartyr
K
E
fichier ai.txt : autoriser ou bloquer les robots d'IA générative
Réponses
26
Affichages
8K
eldk
E
N
Bloquer les backlinks toxiques ?
Réponses
1
Affichages
2K
news8
N
Fax
Bloquer un VPN grace a son ASN (iptables)
Réponses
3
Affichages
1K
Fax
Fax
teralgo
Astuce Bloquer ip utilisateur actions étranges sur mon site
Réponses
5
Affichages
2K
colonies
colonies
I
Bots scrapers et impact SEO : comment les bloquer ?
Réponses
5
Affichages
2K
Isa
I
colonies
Bloquer les IP d'un pays
Réponses
12
Affichages
7K
mjaM
M
Newki
Comment bloquer à coup sûr l'indexation par les moteurs de recherche
Réponses
13
Affichages
3K
spout
spout
WebRankInfo
Chrome va bloquer les ressources HTTP sur pages HTTPS
Réponses
7
Affichages
4K
mountain
M
indigene
Comment bloquer les vidéos automatiques ?
Réponses
5
Affichages
3K
MerlinBenoit
MerlinBenoit
P
Bloquer une section dans mon fichier robots.txt
Réponses
14
Affichages
3K
indigene
indigene
yule
Chrome 70 va bloquer de nombreux sites web
Réponses
5
Affichages
3K
ABCWEB
ABCWEB
DomTo
WordPress Bloquer ou non WP include dans le robots.txt ?
Réponses
13
Affichages
4K
Sezar
S
S
fichier robots.txt bloquer paramètre p=
Réponses
4
Affichages
3K
dossp
D
N
Adsense - Impossible de bloquer des annonceurs !
Réponses
17
Affichages
4K
extrawebdinaire
E
nile
bloquer l'accès au site à certains "mauvais'bots
Réponses
10
Affichages
3K
Drew
D
C
Comment bloquer des URLs externes
Réponses
4
Affichages
6K
cvbperso
C
Haut