1&1 et Erreurs 500 à répétition

Discussion dans 'Administration d'un site Web' créé par dubsharry31, 8 Janvier 2014.

  1. dubsharry31
    dubsharry31 Nouveau WRInaute
    Inscrit:
    10 Août 2008
    Messages:
    26
    J'aime reçus:
    0
    Bonjour à tous,

    Je dispose d'un hébergement mutualité "1&1 Unlimited plus" sur lequel j'ai une poignée de sites et je rencontre des soucis récurrents d'erreur 500 provoquant l'indisponibilité simultanée de tous les sites hébergés sur ce compte.
    J'avais déjà eu ce problème en Septembre (il y a 3 mois) et un appel à la hotline avait abouti à un upgrade pour passer de "Unlimited" à "Unlimited plus". La raison évoquée était une trop grosse consommation mémoire et cette mise à niveau allait régler le problème. Ce fût le cas pendant 2 mois. Depuis quelques semaines j'ai de nouveau de plus en plus d'erreurs 500 qui rendent tous mes sites inaccessibles aléatoirement ou pendant quelques minutes.

    Pour information, ces sites ont au total au maximum 15000 visites/jour pour 35000 pages vues. Avec à peu près la moitié de ce traffic sur un site en particulier. A savoir que tous les sites sont en PHP, optimisés au mieux avec un système de cache et peu de requêtes SQL (2/3 tout au plus par page) sur des bases de 3 Mo maximum.

    Les différents contacts avec le support technique à propos de ces erreurs 500 concluent tous que mes sites sont trop gourmands, consomment trop de ressources, et surtout ont trop de visites simultanées (sans me dire combien). Google Analytics me donne des pics de 15 visiteurs pas plus!!!
    Bien entendu, ils me proposent la solution qui résoudra tous ces problèmes: upgrader pour un hébergement dédié L4 à 84 €/mois !!!

    Une seule question: qu'en pensez vous ???

    Merci de votre aide,

    Harold
     
  2. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Même situation, mêmes chiffres même constat. ça a commencé au dernier trimestre 2013 ... :mrgreen:
    Perso je bouge pas j'ai codé un truc pour alléger la conso image ça aide beaucoup (je chargeais beaucoup a ce niveau). J'ai aussi viré pas mal de bots qui consommaient pour rien. Il semble que leurs serveurs soit devenu moins permissifs depuis les changements de version php qui ont induit une grosse refonte de leur architecture en début d'année 2013.

    ça me gonfle j'ai pas envie de passer sur un dédié pour ça car c'est même pas certains que j'aurais mieux.
     
  3. FortTrafic
    FortTrafic WRInaute passionné
    Inscrit:
    11 Décembre 2012
    Messages:
    1 210
    J'aime reçus:
    18
    Ces problèmes sont derrière moi depuis que j'ai quitté 1and1 et leur service client de l'enfer.
    Voilà un début de solution.. Mais si tu n'envisages pas d'aller ailleurs, alors bon courage.
     
  4. dubsharry31
    dubsharry31 Nouveau WRInaute
    Inscrit:
    10 Août 2008
    Messages:
    26
    J'aime reçus:
    0
    Tu peux développer ? As tu simplement utilisé robots.txt pour limiter leurs accès? J'ai lu par ci par là que certains se moquent royalement de ce fichier...
     
  5. dubsharry31
    dubsharry31 Nouveau WRInaute
    Inscrit:
    10 Août 2008
    Messages:
    26
    J'aime reçus:
    0
    Bien entendu, j'étudie toutes les solutions et je ne vais pas m'obstiner avec une société aussi peu regardante avec ses clients les plus fidèles (je suis chez eux avec plusieurs contrats depuis 2008).
    Pour le moment, j'attends d'eux qu'ils me disent ce qui ne va pas et pas simplement:

    Visiblement, pour eux 11000 (ou 15000 peu importe...) visites quotidiennes sont des visites simultanées !!!
    En plus, pour moi les visites sont reparties tout au long de la journée et même de la nuit pour certains sites qui ont des visiteurs outre-atlantique...
     
  6. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    oui c'est une cata le web niveau respect des règles ... j'utilise même pas. Je les vire via htaccess. j'ai un script qui me donne tous les jours le nombre de pages consultées par IP avec : le nombre donc, l'IP et le User Agent. En dessous de 50 pages consultés c'est disons normal (gros visiteurs, ça arrive car j'ai pas mal de contenu même si c'est pas un profil forum comme site) mais au dessus de 100 je fait bien attention au user agent ET a l'ip (il y a des petits malins qui s'annoncent comme un bot bing ou google sur une plage ip qui n'appartiens pas a ces moteurs).

    Quand je repère un gros consommateur je fait appel a un autre script qui me donne son id de session par ip. Les bots ne gérant pas les cookies n'ont jamais le même numéro de session a chaque page (l'internaute normal oui). a contrario ils suivent souvent une logique de navigation mécanique (toutes les pages liés sur la home a la suite par exemple et un temps précis entre chaque page). Si c'est un bot après un rapide regard sur le quoi et le comment (agrégateur, site "SEO pourri", compteur de liens, serveur OVH ou autre qui n'a rien a voir avec un internaute, etc ...) Je ban via htaccess.

    Je me fait au passage les caches web que j'arrive a identifier car j'aime pas qu'on profite de mon contenu.

    Code:
    	order allow,deny
    	deny from 46.119.117.28
    	deny from 62.75.216.96
    	deny from 117.199.135.138
    	deny from 37.187.73.205
    	deny from 188.165.252.60
    	deny from 110.210.22.80
    	deny from 50.97.55.7
    	deny from 67.214.230.119
    	deny from 92.154.97.64
    	deny from 81.249.72.86
    	deny from 50.87.146.133
    	deny from 5.9.41.215
    	deny from 110.89.12.237
    	deny from 84.19.190.55
    	deny from 27.159.252.21
    	deny from 84.14.214.213
    	deny from 208.43.225.85
    	deny from 208.43.225.84
    	deny from 69.197
    	deny from 142.54
    	deny from 80.203.25.72
    	deny from 123.151.39.43
    	deny from 59.92.84.246
    	deny from 190.149.96.101
    	deny from 190.56.102.138
    	deny from 220.225.218.66
    	deny from 201.55.32.83
    	deny from 187.60.36.137
    	deny from 187.60.38.70
    	deny from 187.74.150.114
    	deny from 123.238.84.94
    	deny from 177.182.220.229
    	deny from 164.100.96.254
    	deny from 180.215.116
    	deny from 95.142.162.100
    	deny from 75.98.9.254
    	deny from 177.32.95.183
    	deny from 115.242
    	deny from 115.241
    	deny from 190.115.12.130
    	deny from 101.63.252.161
    	deny from 101.63.253.214
    	deny from 94.153.64.11
    	deny from 91.207.6.34
    	deny from 46.118.119.252
    	deny from 1.22.137.238
    	deny from 188.92.76.167
    	deny from 46.118.117.249
    	deny from 82.225.157.16
    	deny from 198.211.124.200
    	deny from 192.31.21.179
    	deny from 92.139.122.51
    	deny from 79.51.155.71
    	deny from 81.144.138.34
    	deny from 178.63.13.147
    	deny from 90.35.109.151
    	deny from 195.42.102.21
    	deny from 38.107.179
    	deny from 88.163.71.238
    	deny from 41.201.220.95
    	deny from 69.13.39.43
    	deny from 92.134.17.103
    	deny from 46.109.197.17
    	deny from 195.221.21
    	deny from 92.249.127.111
    	deny from 193.106.136
    	deny from 110.85.115
    	deny from 178.137
    	deny from 78.8
    	deny from 78.9
    	deny from 213.186.127
    	deny from 213.186.119
    	deny from 212.113.37
    	deny from 212.113.35
    	deny from 196.217.239.177
    	deny from 173.208.23.154
    	deny from 173.208.44.30
    	deny from 85.17.29.107
    	deny from 109.120.156.118
    	deny from 213.110.133.221
    	deny from 46.4.95
    	deny from 62.219.8
    	deny from 217.128.139.44
    	deny from 195.42.102.25
    	deny from 208.115.113.83
    	deny from 208.115.111.67
    	deny from 208.115.111.66
    	deny from 107.22.11.75
    	deny from 77.75.77.11
    	deny from 184.73.88.78
    	deny from 50.16.28.100
    	deny from 23.20.61.69
    	deny from 50.16.10.205
    	deny from 50.16.168.181
    	deny from 50.17.79.158
    	deny from 67.202.63.50
    	deny from 107.20.71.0
    	deny from 107.21.141.193
    	deny from 107.21.162.140
    	deny from 107.21.172.94
    	deny from 107.22.5.130
    	deny from 107.22.44.202
    	deny from 107.22.89.170
    	deny from 107.22.148.96
    	deny from 107.22.150.199
    	deny from 174.129.54.230
    	deny from 184.72.128.94
    	deny from 184.73.34.125
    	deny from 84.198.69.225
    	deny from 92.39.50.53
    	deny from 107.20.69.233
    	deny from 195.132.109.17
    	deny from 94.228.34.208
    	deny from 61.111.15.90
    	deny from 66.219.58.38
    	deny from 61.111.15.80
    	deny from 77.75.77.17
    	deny from 38.111.147.83
    	deny from 46.236.95.190
    	deny from 108.59.8.70
    	deny from 89.145.95.2
    	deny from 78.116.61.24
    	deny from 192.100.120.41
    	deny from 111.13.8.92
    	deny from 176.9.51.133
    	deny from 91.207.4.186
    	deny from 178.137.5.24
    	deny from 178.137.5.8
    	deny from 46.119.118.178
    	deny from 91.207.9.226
    	allow from all
    
    #
    #	banissement via user agent
    #
    
    	RewriteCond %{HTTP_USER_AGENT} .*msnbot-media.*
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} .*trendiction.de.*
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} .*admantx.com.*
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} .*exabot.com.*
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} .*majestic12.co.uk.*
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} .*metadatalabs.com.*
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} .*proximic.com.*
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} .*picsearch.com.*
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} .*AhrefsBot.*
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} .*sistrix.net.*
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} "EC2LinkFinder"
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} "EasouSpider"
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} "Java/1.4.1_04"
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} "Java/1.6.0_29"
    	RewriteRule .* - [F,L]
    	
    	RewriteCond %{HTTP_USER_AGENT} "Java/1.7.0_15"
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} "GSLFbot"
    	RewriteRule .* - [F,L]
    
    	RewriteCond %{HTTP_USER_AGENT} "TurnitinBot/2.1"
    	RewriteRule .* - [F,L]
    	
    	RewriteCond %{HTTP_USER_AGENT} .*AppEngine.Google.*
    	RewriteRule (.*) http://search.yahoo.com/search?p=trou+du+cul [L]
    Avec ça j'arrive a gagner quelques milliers de pages chaque jour car il y en a qui ont aucun scrupules et qui sont totalement inconscients de leur impact carbone sur mon écosystème.

    Mais bon c'est pas la dessus que le gain est important. Je gère surtout du cache d'output ça aide énormément donc comme toi je fait une ou deux requête max par page et je n'ai pas de temps de calcul. Ces derniers j'ai travaillé sur ce système de gestion d'image pour virer mon script qui les générais systématiquement a la volée. Je dois dire que depuis que j'ai mis ça en place les 500 on grandement chuté j'en ai plu qu'entre 3/4 tous les 2/3 jours vue de chez GG a la place d'environ 30/40 vue par GG en fin d'année (nota le script d'image n'est pas la version en prod le sujet est juste une piste a suivre pour faire un truc adapté).

    Bref ça n'arrange pas le souci 1&1 qui semble être de leur fait (un top en SSH me dit que j'ai pas de souci mémoire) mais ça m'a permis de passer sous la barre critique
     
  7. dubsharry31
    dubsharry31 Nouveau WRInaute
    Inscrit:
    10 Août 2008
    Messages:
    26
    J'aime reçus:
    0
    Merci Zeb pour tes précieux conseils. Je vais déjà essayer de limiter le traffic de ces vilains bots (rien que 3000 pages par jour pour AhrefsBot :( ).
     
  8. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Quand je pense qu'on râle avec les gens qui laissent la lumière allumée en sortant d'un pièce, t'imagine là le nombre d'équipements qui sont sollicités pour choper une pauvre page web ... Bref la dépense d'énergie que ça représente ... Sur ce je vais arrêter de blablater lol :D

    Lui c'est un grave ahrefs, ça fait un moment que je lui ai taillé une veste sur mesure :lol:
     
Chargement...
Similar Threads - 1&1 Erreurs 500 Forum Date
Quelle plateforme ecommerce choisir Prestashop ou 1&1 Demandes d'avis et de conseils sur vos sites 20 Août 2019
Référencement des sites 1&1, Wix, Jimdo Référencement Google 27 Janvier 2017
1&1 mutualisé : erreur 500 et problème DSA host key Administration d'un site Web 10 Juin 2016
Evolutions chez 1&1 Administration d'un site Web 31 Mars 2015
Compression GZIP dans le .htaccess chez 1&1 Débuter en référencement 10 Mars 2015
Où sont les logs d’erreur sur 1&1 ? Administration d'un site Web 28 Janvier 2015
1&1 facture une prestation non‑demandée : est‑ce légal ou pas ? Administration d'un site Web 8 Décembre 2014
1&1 Mywebsite ou CMS Wordpresse pour référencement optimal ? Débuter en référencement 18 Avril 2014
Nom de domaine acheté chez 1&1 : /defaultsite Débuter en référencement 20 Mars 2014
Migration de mon site 1&1 vers un hebergeur américain et positionnement Débuter en référencement 13 Février 2014
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice