1&1 et Erreurs 500 à répétition

Même situation, mêmes chiffres même constat. ça a commencé au dernier trimestre 2013 ... :mrgreen:
Perso je bouge pas j'ai codé un truc pour alléger la conso image ça aide beaucoup (je chargeais beaucoup a ce niveau). J'ai aussi viré pas mal de bots qui consommaient pour rien. Il semble que leurs serveurs soit devenu moins permissifs depuis les changements de version php qui ont induit une grosse refonte de leur architecture en début d'année 2013.

ça me gonfle j'ai pas envie de passer sur un dédié pour ça car c'est même pas certains que j'aurais mieux.

 

Ces problèmes sont derrière moi depuis que j'ai quitté 1and1 et leur service client de l'enfer.
Voilà un début de solution.. Mais si tu n'envisages pas d'aller ailleurs, alors bon courage.

 

oui c'est une cata le web niveau respect des règles ... j'utilise même pas. Je les vire via htaccess. j'ai un script qui me donne tous les jours le nombre de pages consultées par IP avec : le nombre donc, l'IP et le User Agent. En dessous de 50 pages consultés c'est disons normal (gros visiteurs, ça arrive car j'ai pas mal de contenu même si c'est pas un profil forum comme site) mais au dessus de 100 je fait bien attention au user agent ET a l'ip (il y a des petits malins qui s'annoncent comme un bot bing ou google sur une plage ip qui n'appartiens pas a ces moteurs).

Quand je repère un gros consommateur je fait appel a un autre script qui me donne son id de session par ip. Les bots ne gérant pas les cookies n'ont jamais le même numéro de session a chaque page (l'internaute normal oui). a contrario ils suivent souvent une logique de navigation mécanique (toutes les pages liés sur la home a la suite par exemple et un temps précis entre chaque page). Si c'est un bot après un rapide regard sur le quoi et le comment (agrégateur, site "SEO pourri", compteur de liens, serveur OVH ou autre qui n'a rien a voir avec un internaute, etc ...) Je ban via htaccess.

Je me fait au passage les caches web que j'arrive a identifier car j'aime pas qu'on profite de mon contenu.

Code:

	order allow,deny
	deny from 46.119.117.28
	deny from 62.75.216.96
	deny from 117.199.135.138
	deny from 37.187.73.205
	deny from 188.165.252.60
	deny from 110.210.22.80
	deny from 50.97.55.7
	deny from 67.214.230.119
	deny from 92.154.97.64
	deny from 81.249.72.86
	deny from 50.87.146.133
	deny from 5.9.41.215
	deny from 110.89.12.237
	deny from 84.19.190.55
	deny from 27.159.252.21
	deny from 84.14.214.213
	deny from 208.43.225.85
	deny from 208.43.225.84
	deny from 69.197
	deny from 142.54
	deny from 80.203.25.72
	deny from 123.151.39.43
	deny from 59.92.84.246
	deny from 190.149.96.101
	deny from 190.56.102.138
	deny from 220.225.218.66
	deny from 201.55.32.83
	deny from 187.60.36.137
	deny from 187.60.38.70
	deny from 187.74.150.114
	deny from 123.238.84.94
	deny from 177.182.220.229
	deny from 164.100.96.254
	deny from 180.215.116
	deny from 95.142.162.100
	deny from 75.98.9.254
	deny from 177.32.95.183
	deny from 115.242
	deny from 115.241
	deny from 190.115.12.130
	deny from 101.63.252.161
	deny from 101.63.253.214
	deny from 94.153.64.11
	deny from 91.207.6.34
	deny from 46.118.119.252
	deny from 1.22.137.238
	deny from 188.92.76.167
	deny from 46.118.117.249
	deny from 82.225.157.16
	deny from 198.211.124.200
	deny from 192.31.21.179
	deny from 92.139.122.51
	deny from 79.51.155.71
	deny from 81.144.138.34
	deny from 178.63.13.147
	deny from 90.35.109.151
	deny from 195.42.102.21
	deny from 38.107.179
	deny from 88.163.71.238
	deny from 41.201.220.95
	deny from 69.13.39.43
	deny from 92.134.17.103
	deny from 46.109.197.17
	deny from 195.221.21
	deny from 92.249.127.111
	deny from 193.106.136
	deny from 110.85.115
	deny from 178.137
	deny from 78.8
	deny from 78.9
	deny from 213.186.127
	deny from 213.186.119
	deny from 212.113.37
	deny from 212.113.35
	deny from 196.217.239.177
	deny from 173.208.23.154
	deny from 173.208.44.30
	deny from 85.17.29.107
	deny from 109.120.156.118
	deny from 213.110.133.221
	deny from 46.4.95
	deny from 62.219.8
	deny from 217.128.139.44
	deny from 195.42.102.25
	deny from 208.115.113.83
	deny from 208.115.111.67
	deny from 208.115.111.66
	deny from 107.22.11.75
	deny from 77.75.77.11
	deny from 184.73.88.78
	deny from 50.16.28.100
	deny from 23.20.61.69
	deny from 50.16.10.205
	deny from 50.16.168.181
	deny from 50.17.79.158
	deny from 67.202.63.50
	deny from 107.20.71.0
	deny from 107.21.141.193
	deny from 107.21.162.140
	deny from 107.21.172.94
	deny from 107.22.5.130
	deny from 107.22.44.202
	deny from 107.22.89.170
	deny from 107.22.148.96
	deny from 107.22.150.199
	deny from 174.129.54.230
	deny from 184.72.128.94
	deny from 184.73.34.125
	deny from 84.198.69.225
	deny from 92.39.50.53
	deny from 107.20.69.233
	deny from 195.132.109.17
	deny from 94.228.34.208
	deny from 61.111.15.90
	deny from 66.219.58.38
	deny from 61.111.15.80
	deny from 77.75.77.17
	deny from 38.111.147.83
	deny from 46.236.95.190
	deny from 108.59.8.70
	deny from 89.145.95.2
	deny from 78.116.61.24
	deny from 192.100.120.41
	deny from 111.13.8.92
	deny from 176.9.51.133
	deny from 91.207.4.186
	deny from 178.137.5.24
	deny from 178.137.5.8
	deny from 46.119.118.178
	deny from 91.207.9.226
	allow from all

#
#	banissement via user agent
#

	RewriteCond %{HTTP_USER_AGENT} .*msnbot-media.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*trendiction.de.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*admantx.com.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*exabot.com.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*majestic12.co.uk.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*metadatalabs.com.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*proximic.com.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*picsearch.com.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*AhrefsBot.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*sistrix.net.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "EC2LinkFinder"
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "EasouSpider"
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "Java/1.4.1_04"
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "Java/1.6.0_29"
	RewriteRule .* - [F,L]
	
	RewriteCond %{HTTP_USER_AGENT} "Java/1.7.0_15"
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "GSLFbot"
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "TurnitinBot/2.1"
	RewriteRule .* - [F,L]
	
	RewriteCond %{HTTP_USER_AGENT} .*AppEngine.Google.*
	RewriteRule (.*) http://search.yahoo.com/search?p=trou+du+cul [L]

Avec ça j'arrive a gagner quelques milliers de pages chaque jour car il y en a qui ont aucun scrupules et qui sont totalement inconscients de leur impact carbone sur mon écosystème.

Mais bon c'est pas la dessus que le gain est important. Je gère surtout du cache d'output ça aide énormément donc comme toi je fait une ou deux requête max par page et je n'ai pas de temps de calcul. Ces derniers j'ai travaillé sur ce système de gestion d'image pour virer mon script qui les générais systématiquement a la volée. Je dois dire que depuis que j'ai mis ça en place les 500 on grandement chuté j'en ai plu qu'entre 3/4 tous les 2/3 jours vue de chez GG a la place d'environ 30/40 vue par GG en fin d'année (nota le script d'image n'est pas la version en prod le sujet est juste une piste a suivre pour faire un truc adapté).

Bref ça n'arrange pas le souci 1&1 qui semble être de leur fait (un top en SSH me dit que j'ai pas de souci mémoire) mais ça m'a permis de passer sous la barre critique

 

Quand je pense qu'on râle avec les gens qui laissent la lumière allumée en sortant d'un pièce, t'imagine là le nombre d'équipements qui sont sollicités pour choper une pauvre page web ... Bref la dépense d'énergie que ça représente ... Sur ce je vais arrêter de blablater lol

Lui c'est un grave ahrefs, ça fait un moment que je lui ai taillé une veste sur mesure :lol: