Quel hébergement pour un site à 800.000 pages vues par jours

kwiky · 31 Mai 2010

Bonjour,

La fréquentation de mon site explose depuis quelques jours, ce n'est pas pour me déplaire mais les performances sont désastreuses

Je suis chez 1and1, j'avais un hébergement Pack Perso tout bête mais avec le trafic qui explose, je suis passé sur un serveur Dédié : le Dual-Core S
* Athlon 3800+
* 2 x 2,0 GHz
* 1 Go de RAM
* 2 x 160 Go HDD
A voir ici : http://commander.1and1.fr/xml/order/ServerPremium

Visiblement ce n'est pas assez ou alors j'ai un problème quelque part...

Voici quelques chiffres pour m'aider à dimensionner mon hébergement :
26 Mai : 147.000 visiteurs uniques, 814.000 pages vues
27 Mai : 136.000 visiteurs uniques, 740.000 pages vues
28 Mai : 127.000 visiteurs uniques, 655.000 pages vues
29 Mai : 128.000 visiteurs uniques, 607.000 pages vues
30 Mai : 129.000 visiteurs uniques, 562.000 pages vues

1-sponsor · 31 Mai 2010

Il serait judicieux de prendre *au moins* le Quad-Core XXL non ?

Qu'en pense les pros qui ont des sites à très forte forte fréquentation ?

kwiky · 31 Mai 2010

Le problème est que j'ai changé très récemment et que mon nouveau pack date de ce matin et qu'il faut attendre 1 mois avant de changer à nouveau de pack !!!
Il y a t'il des périodes d'engagement chez 1and1, n'y a t'il pas mieux chez les concurrents ???

1-sponsor · 31 Mai 2010

Peut-être il y a t-il moyen d'optimiser le site afin qu'il soit moins gourmands. Il faut voir comme c'est codé. La "mise en cache" peut-être une bonne solution.

Je n'ai jamais testé 1and1 donc je ne peux pas répondre aux questions précédentes.

À mon sens, l'hébergeur doit être à l'écoute de tes besoins si tu souhaites une solution mieux adaptée pour ton trafic... Je pense que des sujets comme celui-ci ne devrait pas exister sur les forums dans un monde où l'hébergeur est clairement là pour conseiller et s'occuper de poser les appli. de ses clients sur des machines adaptées.

Donc, est-ce que 1&1 est du genre à apporter son aide dans ce genre de cas de figure ? Je pose réellement la question ça m'interresse.

kwiky · 31 Mai 2010

Le site est extrêmement simple, peu de requêtes en base de données, quelques fichiers php js et css rien de plus.
Un seul mysql_connect au démarrage de la requête, 2 ou 3 requètes qui ramènent une dizaine de lignes et c'est terminé, rien de lourd

kwiky · 31 Mai 2010

Un top en ssh sur le serveur me donne ca :

Cpu(s): 28.4%us, 6.3%sy, 0.0%ni, 64.0%id, 0.0%wa, 0.2%hi, 1.2%si, 0.0%st
Mem: 1000484k total, 907600k used, 92884k free, 43036k buffers
Swap: 497992k total, 27440k used, 470552k free, 591488k cached

Vous trouvez qu'il a l'air de saturé ???

agenceinternet · 31 Mai 2010

Si jamais il y a Nuxit qui a de bon dédié. :wink:

C'est ou que ça bloque ?? Bande passante, CPU, Ram ?

Tu as un système de cache pour alléger tout ca ?

1-sponsor · 31 Mai 2010

La première ligne stp ?

ressemble à :
top - nn:nn:n up n days, nn:n, 1 user, load average: 0.00, 0.00, 0.00

voici celui d'un de mes serveurs qui est pas spécialement énorme pour mon trafic, si ça peut t'aider :

Code:

top - 20:36:16 up 4 days,  2:50,  1 user,  load average: 0.07, 0.06, 0.01
Tasks: 138 total,   1 running, 137 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:    524464k total,   386048k used,   138416k free,    36672k buffers
Swap:   204792k total,    70072k used,   134720k free,   133620k cached

kwiky · 31 Mai 2010

Pas de système de cache non, vous me conseillez quoi comme système de cache ?
J'ai mis la réponse d'un top dans les heures de pointes (20h-minuit), je ne sais pas où est le goulot qui ralentit tout

kwiky · 31 Mai 2010

Code:

top - 21:37:14 up 200 days, 28 min,  0 users,  load average: 1.60, 1.92, 1.88
Tasks: 104 total,   2 running, 102 sleeping,   0 stopped,   0 zombie
Cpu(s): 25.5%us,  5.1%sy,  0.0%ni, 68.6%id,  0.0%wa,  0.2%hi,  0.7%si,  0.0%st
Mem:   1000484k total,   897136k used,   103348k free,    44072k buffers
Swap:   497992k total,    27440k used,   470552k free,   574756k cached

1-sponsor · 31 Mai 2010

pour la mise en cache regarde ceci :

https://www.webrankinfo.com/forum/t/script-mise-en-cache-des-pages-php.28614/

edit 1 : à voir ton dernier top à mon avis et de mes faibles connaissances, ça a l'air de bien traffer mais niveau CPU déjà, ça passe, même s'il est temps de penser à upgrader;

edit 2 : une autre bonne lecture pour toi à mon avis http://aide.sivit.fr/index.php?2007/01/10/149-combien-de-sites-webs-mo ... acceuillir

kwiky · 31 Mai 2010

1-sponsor a dit:
pour la mise en cache regarde ceci :

https://www.webrankinfo.com/forum/t/script-mise-en-cache-des-pages-php.28614/

edit 1 : à voir ton dernier top à mon avis et de mes faibles connaissances, ça a l'air de bien traffer mais niveau CPU déjà, ça passe, même s'il est temps de penser à upgrader;

edit 2 : une autre bonne lecture pour toi à mon avis http://aide.sivit.fr/index.php?2007/01/10/149-combien-de-sites-webs-mo ... acceuillir

Je ne sais pas si je peux gérer du cache vu que mes pages affichent des données dynamique qui évoluent régulièrement (notes de visiteurs)

1-sponsor · 31 Mai 2010

Tu peux toujours, mais alors, tu peux réduire le temps de cache... par exemple, mettre 1 heure. C'est sûr que tu gagnerais plus de ressource en cachant 2 jours, mais tu gagneras quand même sur tous les refresh etc.

kwiky · 31 Mai 2010

J'ai mis en place le système de cache dont tu m'a donné l'url, je l'ai placé à 3600 qui correspond donc à 1h si je ne me trompe pas, ca devrait allégé j'espère, le site semble mieux répondre même si c'est pas encore le top...

Code:

top - 22:02:30 up 200 days, 53 min,  0 users,  load average: 1.08, 1.29, 1.34
Tasks: 104 total,   2 running, 102 sleeping,   0 stopped,   0 zombie
Cpu(s): 21.8%us,  4.6%sy,  0.0%ni, 72.9%id,  0.0%wa,  0.2%hi,  0.5%si,  0.0%st
Mem:   1000484k total,   928460k used,    72024k free,    47824k buffers
Swap:   497992k total,    27440k used,   470552k free,   603024k cached

1-sponsor · 31 Mai 2010

Waouh ! c'est du rapide ça

Record le temps de la prise en mains du code ^^

obligatoirement, ça va alléger, j'espere un maximum pour toi

3600 c'est bien pour une heure je te le confirme

kwiky · 31 Mai 2010

Mon site est très simple donc facile à maintenir ;-)
le cache se rempli déjà à vu d'oeil mais le site répond toujours très mal même si c'est un peu mieux...
Merci beaucoup pour cette astuce !!!
Mais il va falloir que je change d'hébergement quand même
Des idées sur le prestataire et les dimensions suivant les premiers éléments que je vous ai donné ?

1-sponsor · 31 Mai 2010

moi je test l'hébergeur de webrankinfo pour l'instant, qui est sivit... on peut imaginer que si leur matériel convient à ce forum à très fort trafic, il conviendra à ton site...

d'ailleurs me demande quel solution sivit à choisi webrankinfo... je c pas si c'est secret... ?!

t'es sur que t'es pas spammé ?

tu devrais pas augmenter le MaxClients de ton httpd.conf ? il est à combien ?

Zecat · 31 Mai 2010

Je ne sais pas dans quel secteur d'activité est ton site mais si c'est connexe à l'activité d'hebergeur, ca m'étonnerai fort que ton herbergeur ne se fass epas un plaisir de mettre a ta disposition ce qu'il faut (cluster si besoin) en echnage de la traditionnelle mention "xxxx.com a choisi joliheberge.com" etc etc etc ... tu pourrais creuser cette piste.

Acerouk · 31 Mai 2010

kwiky a dit:
le cache se rempli déjà à vu d'oeil mais le site répond toujours très mal même si c'est un peu mieux...

Généralement, la mise en cache nécessite plus de ressource qu'un simple affichage.
Si la page n'est affichée qu'une fois par heure, ce n'est pas intéressant.
Si ce n'est pas le cas attends un peu parce qu'au début toute la charge est pour la première mise en cache.

jcaron · 1 Juin 2010

D'après les extraits de top que tu donnes, ta machine elle ne fait rien ou presque au niveau CPU (60% de idle minimum) et elle ne swappe pas. Comment ça se manifeste exactement ton problème de charge? Les seuls problèmes possibles c'est que tu satures ton disque en accès, ou que ton httpd soit mal configuré et que tu n'aies pas assez de slots disponibles (à cause d'un keepalive trop long)?

Que dit server-status (qu'il te faudra probablement activer dans ta config Apache)? Quelles valeurs tu as pour MaxClients, MaxKeepAliveRequests et KeepAliveTimeout dans ton httpd.conf?

Jacques.

kwiky · 1 Juin 2010

jcaron a dit:
D'après les extraits de top que tu donnes, ta machine elle ne fait rien ou presque au niveau CPU (60% de idle minimum) et elle ne swappe pas. Comment ça se manifeste exactement ton problème de charge? Les seuls problèmes possibles c'est que tu satures ton disque en accès, ou que ton httpd soit mal configuré et que tu n'aies pas assez de slots disponibles (à cause d'un keepalive trop long)?

Que dit server-status (qu'il te faudra probablement activer dans ta config Apache)? Quelles valeurs tu as pour MaxClients, MaxKeepAliveRequests et KeepAliveTimeout dans ton httpd.conf?

Jacques.

Mon problème de charge se manifeste par le fait qu'aux heures de pointes (20h-minuit), le site est très lent à répondre voir ne répond pas du tout avec un message du type "le serveur n'a pas répondu, il est peut-être surchargé etc..."
J'ai beau cherché le httpd.conf sur ma machine je ne le trouve pas... grrrrr

Edit :
Je ne sais même pas si j'ai le droit d'y toucher vu cette explciation : http://faq.1and1.com/scripting_languages_supported/configuring_apache_ ... ess/4.html

Edit 2 :
Je crois que ne peux pas toucher grand chose en fait :-( : http://faq.1and1.fr/serveurs/cle_en_main/performance_serveur/5.html

anemone-clown · 1 Juin 2010

Est-ce que ce ne serait pas la BP allouée par l'hébergeur qui serait un peu juste?

ps: j'ai lu le thread en diagonale : est-ce le nombre VU et de pages inclut les robots, ou c'est juste les stats de visiteurs physiques? Sinon, tu peux réduire la charge aux heures de pointe en signalant aux robots (une redir 503) de ne pas scanner tes pages à certaines heures : tu dégages de la BP et des ressources (quoiqu'elles ne semblent pas en cause, sauf accès disque) pour les "vrais" visiteurs.

jcaron · 1 Juin 2010

Je pense que les limitations s'appliquent aux mutualisés et à certains types d'autres services, mais si c'est un dédié, tu dois pouvoir faire ce que tu veux. Tu as bien un accès root à la machine? Dans ce cas, ils vont avoir du mal à t'empêcher de faire quoi que ce soit.

Pour trouver le httpd.conf tu peux utiliser "locate httpd.conf" ou au pire "find / -name httpd.conf -print".

Les extraits de top, c'est aux heures de pointe quand ça rame, ou quand c'est tout calme? Ce qu'il faut c'est évidemment les données quand ça rame. Tu as des graphes d'utilisation du CPU (et éventuellement d'autres paramètres) sur la journée?

Jacques.

kwiky · 1 Juin 2010

anemone-clown a dit:
Est-ce que ce ne serait pas la BP allouée par l'hébergeur qui serait un peu juste?

ps: j'ai lu le thread en diagonale : est-ce le nombre VU et de pages inclut les robots, ou c'est juste les stats de visiteurs physiques? Sinon, tu peux réduire la charge aux heures de pointe en signalant aux robots (une redir 503) de ne pas scanner tes pages à certaines heures : tu dégages de la BP et des ressources (quoiqu'elles ne semblent pas en cause, sauf accès disque) pour les "vrais" visiteurs.

Ces stats sont donnés par Google Analytics, je pense qu'il n'inclu pas les robots mais je ne suis pas un expert Analytics non plus...

jcaron a dit:
Je pense que les limitations s'appliquent aux mutualisés et à certains types d'autres services, mais si c'est un dédié, tu dois pouvoir faire ce que tu veux. Tu as bien un accès root à la machine? Dans ce cas, ils vont avoir du mal à t'empêcher de faire quoi que ce soit.

Pour trouver le httpd.conf tu peux utiliser "locate httpd.conf" ou au pire "find / -name httpd.conf -print".

Les extraits de top, c'est aux heures de pointe quand ça rame, ou quand c'est tout calme? Ce qu'il faut c'est évidemment les données quand ça rame. Tu as des graphes d'utilisation du CPU (et éventuellement d'autres paramètres) sur la journée?

Jacques.

C'est un serveur "clé en main", c'est les admins 1and1 qui gère donc le serveur, pas d'accès root, juste un accès ssh en tant qu'utilisateur...
J'ai déjà chercher le httpd.conf mais pas mal de "permission denied" sur les répertoire ou il pourrait se trouver...
Les extraits top date d'hier soir, donc oui heure de pointe, ceux de ce matin son bien plus calme mais je sais que ca décolle vers 19-20h avec une pointe à 21h-22h ca retombe vers 1h du matin

kwiky · 1 Juin 2010

Ca serait pas plus simple de changer pour un "bon" hébergeur, avec de la bonne bande passante ?

Les caracteristiques de mon serveur actuel : http://commander.1and1.fr/xml/order/ServerPremiumDualCoreS;jsessionid= ... verPremium

Les quelques réglages que je peu effectué :
WebDAV activé
FastCGI inactivé
Support SSL inactivé
Perl en tant que
module Apache inactivé
Module PHP activé
Utilisation de la mémoire 200000 Ko
Durée maximum du processus 60 secondes
Nombre maximum de processus simultanés 500

agenceinternet · 1 Juin 2010

oui car la c'est claire que pas avoir accès comme admin à son serveur dédié c'est pas top........

kwiky · 1 Juin 2010

Je viens aussi de voir ça !!!!!!

Code:

31.5.2010	1,00pièce	1,00pièce	-21,80  EUR
Total 	1,00	1,00	-21,80  EUR

21€80 de surplus pour le trafic alors qu'il est indiqué comme illimité par l'offre !!!!!!
C'est quoi ce bordel ? Ca va être comme ça tout les jours ?

1-sponsor · 1 Juin 2010

à tu contacter ton support technique ? comme je le disais plus haut, pour moi c'est la 1ere chose à faire. après à eux de voir s'il sont bon... mais sans avoir connaissance de ton problème, impossible de t'aider.

aladdin · 1 Juin 2010

puisque t'as un dédié tu peux utiliser directement les modules de cache d'apache, c'est plus efficace que du code php pour le cache, la méthode utilisant du code php est utile pour un mutu ou t'as pas la main sur ton serveur.

regarde le module mod_mem_cache très efficace, et tu peux le combiner avec la méthode que tu utilise déjà ou sans. plus d'info : http://httpd.apache.org/docs/2.1/caching.html

kwiky · 1 Juin 2010

aladdin a dit:
puisque t'as un dédié tu peux utiliser directement les modules de cache d'apache, c'est plus efficace que du code php pour le cache, la méthode utilisant du code php est utile pour un mutu ou t'as pas la main sur ton serveur.

regarde le module mod_mem_cache très efficace, et tu peux le combiner avec la méthode que tu utilise déjà ou sans. plus d'info : http://httpd.apache.org/docs/2.1/caching.html

Je n'ai pas beaucoup la main sur le serveur même en dédié, c'est une offre clé en main, je peux pas trop bidouillé les paramètres serveurs malheureusement...

kwiky · 1 Juin 2010

J'ai appelé le service technique
Il m'a donné l'endroit ou je pouvais trouver des infos intéressante sur mon serveur :
Voici donc les données de la dernière journée, on peux voir l'augmentation en soirée assez nettement

Leonick · 1 Juin 2010

il faudrait comparer avec la période où tu n'avais pas mis le cache en action

jcaron · 1 Juin 2010

Elle est super tranquille la machine, donc ce n'est a priori pas un problème de saturation de ressources (CPU, mémoire, disque...).

Ce qui pourrait poser problème, ce sont les keep-alives qui feraient que des processus Apache resteraient bloqués pour certains utilisateurs et en empêcheraient d'autres d'accéder au site (dans ce cas la solution c'est de baisser KeepAliveTimeOut ou d'augmenter MaxClients). Mais pour vérifier ça, il faut un accès à server-status (il est peut-être déjà activé, il faut juste savoir comment y accéder), et évidemment après il faudra trouver un moyen de faire la modif (probablement via le support). On suppose évidemment que tu n'as pas des "sleep(1)" dans ton code php

Le httpd.conf tu ne peux même pas y accéder en lecture?

Quand ça sature, c'est juste les accès web? ping, ssh, etc fonctionnent correctement?

Jacques.

kwiky · 1 Juin 2010

il faudrait comparer avec la période où tu n'avais pas mis le cache en action

C'était hier soir, je pense que c'est la première pointe des accès disques

kwiky · 1 Juin 2010

jcaron a dit:
Elle est super tranquille la machine, donc ce n'est a priori pas un problème de saturation de ressources (CPU, mémoire, disque...).

Ce qui pourrait poser problème, ce sont les keep-alives qui feraient que des processus Apache resteraient bloqués pour certains utilisateurs et en empêcheraient d'autres d'accéder au site (dans ce cas la solution c'est de baisser KeepAliveTimeOut ou d'augmenter MaxClients). Mais pour vérifier ça, il faut un accès à server-status (il est peut-être déjà activé, il faut juste savoir comment y accéder), et évidemment après il faudra trouver un moyen de faire la modif (probablement via le support).

Je ne connais pas l'ordre de valeur à mettre...
Je peux peut être le faire moi même si ça correspond à ces valeurs que je peux modifier :

Code:

Utilisation de la mémoire : 200000 Ko (c'était à 130000 par défaut, je l'ai augmenté moi même)
Durée maximum du processus : 60 secondes
Nombre maximum de processus simultanés : 500 (c'était à 100 par défaut, je l'ai augmenté moi même)

jcaron a dit:
On suppose évidemment que tu n'as pas des "sleep(1)" dans ton code php

Non, pas de pause dans mes scripts

jcaron a dit:
Le httpd.conf tu ne peux même pas y accéder en lecture?

Je ne sais pas, je ne le trouve pas...

jcaron a dit:
Quand ça sature, c'est juste les accès web? ping, ssh, etc fonctionnent correctement?

Jacques.

Bonne question mais il me semble que j'avais pas de problème hier soir avec ssh, le ping était à 45ms il me semble de chez moi

kwiky · 1 Juin 2010

J'ai eu le malheur de vider le répertoire cache, et là c'est la misère, le top affichait un load de 61, plus de ssh, plus de réponse du site, on va attendre que ça se calme... je vais éviter de refaire cette erreur...

1-sponsor · 1 Juin 2010

au moins ça te confirme que c'était bien utile...

bon à voir ta situation... à mon avis, t'as une formule 1 réglé comme une 2 ch., voire comme tricycle... faut mettre les mains dans ton httpd.conf... augmenter les maxclients. par defaut, ça doit tourner autour des 150 (si c'est le cas c'est trop peu pour toi), le monter à 200, voir ce que ça donne, puis 250 et ainsi de suite en évitant de trop monter...

à toi de jouer ! *

*ou plutot à ton hébergeur.

aladdin · 1 Juin 2010

tu peux pas demander au support de t'installer/t'activer le module ?

kwiky · 1 Juin 2010

Il est 17h le load est déjà autour de 4/5... la soirée va encore être difficile

1-sponsor · 1 Juin 2010

Si tu mets ton cache sur 60*60*6 = 6 heures, tes votes (ajax?), seront comptés quand même ? essaye cette solution pour éviter la catastrophe et l'angoisse des autres jours

jcaron · 1 Juin 2010

Le load average c'est une approximation pas forcément facile à manipuler. Ce qui compte c'est le % idle (qui doit rester >0), et d'après les chiffres et les graphes que tu nous as donnés jusqu'ici, il y avait largement de la marge.

Que donne top (y compris les processus les plus consommateurs) à l'heure actuelle? Ou à un moment en pleine charge si ce n'est pas maintenant...

Que dit ps axl?

Si tu satures effectivement le CPU (ce qui serait contradictoire avec les infos données jusqu'ici) et que top/ps indiquent que c'est mysql qui consomme (plutôt que Apache/php), show full processlist et/ou le log des slow queries pointent-ils sur des requêtes particulières? Si c'est le cas, que donne un explain de ces requêtes?

Si c'est Apache/php, pas 36 solutions, il faut soit ajouter du cache, soit optimiser (ou les deux). Et dans le pire des cas, ben il faut un plus gros serveur.

Au fait, c'est quoi le site?

Jacques.

jcaron · 1 Juin 2010

Ah tiens en re-regardant le graphe d'I/O, la charge n'est pas forcément négligeable en fait, surtout en écriture (les deux pointes faussent un peu l'interprétation du graphe)... Le premier coupable qui vienne à l'esprit dans ce cas ce serait mysql (soit parce que tu fais beaucoup d'inserts/updates/deletes, soit parce qu'il utiliser beaucoup de fichiers temporaires sur disque), mais il peut y avoir d'autres possibilités (fichiers temporaires, logs...).

Jacques.

agenceinternet · 1 Juin 2010

Si ca vient de Mysql, il ne faudrait pas avoir un 2ème serveur uniquement pour MySql afin de tenir la charge ??

jcaron · 1 Juin 2010

Des fois il suffit d'ajouter un index ou de modifier légèrement une requête et hop, ce qui bouffait 100% ne bouffe plus que 10%

Mais avant de trouver des solutions, trouvons le problème, parce que pour le moment ce n'est pas top clair...

Jacques.

kwiky · 1 Juin 2010

Bon là par exemple le site rame à mooooort

Code:

top - 19:13:30 up  3:50,  0 users,  load average: 3.26, 2.92, 2.54
Mem:    991524k total,   936060k used,    55464k free,    15728k buffers
Swap:   497992k total,     7584k used,   490408k free,   700440k cached

Un show processlist ne montre rien de grave sur mysql, une requète de temps à autres (select simple)

1-sponsor · 1 Juin 2010

Ton serveur n'est pas saturé... Moi je penche toujours pour un httpd.conf super bridé par rapport à la puissance du serveur. Vous en pensez quoi Jacques et agenceinternet ?

kwiky · 1 Juin 2010

Voici les graphiques de la dernière heure :

kwiky · 1 Juin 2010

Le fichier de log access.log pèse 770M et il grossis vite, apparemment il est compresser chaque semaine puis on redemarre sur un nouveau fichier... on est que Lundi ... et impossible de le supprimer

jcaron · 1 Juin 2010

Il faudrait le top complet (avec les % d'utilisation CPU, les processus qui consomment le plus...) déjà, plus un "ps axl" complet. (ceci dit il me semble que sans accès root sous Linux tu ne vois pas grand chose, si?).

Idéalement le server-status (tu as demandé au support 1&1 si tu y avais accès quelque part?).

Là quand ça rame, c'est juste le site (http), ou aussi ssh, ping...?

Un "vmstat 5 5" ça peut aider aussi. Je pense qu'il doit y avoir d'autres commandes plus bavardes sous Linux pour voir l'I/O mais je ne les connais pas (moi je ne parle que FreeBSD).

Tu utilises des fichiers temporaires? Tu loggues tout l'univers à chaque requête?

Au vu des graphes, la machine est très très tranquille au niveau CPU. Le seul truc qui peut être louche ce sont les 200+ blocs écrits par seconde. Si c'est du séquentiel c'est pas bien grave, si c'est du random ça suffit pour noyer une paire de disques SATA. Si ce n'est pas ça, on en revient encore à la config Apache et server-status.

Jacques.

kwiky · 1 Juin 2010

jcaron a dit:
Il faudrait le top complet (avec les % d'utilisation CPU, les processus qui consomment le plus...) déjà, plus un "ps axl" complet. (ceci dit il me semble que sans accès root sous Linux tu ne vois pas grand chose, si?).

Idéalement le server-status (tu as demandé au support 1&1 si tu y avais accès quelque part?).

Là quand ça rame, c'est juste le site (http), ou aussi ssh, ping...?

Un "vmstat 5 5" ça peut aider aussi. Je pense qu'il doit y avoir d'autres commandes plus bavardes sous Linux pour voir l'I/O mais je ne les connais pas (moi je ne parle que FreeBSD).

Tu utilises des fichiers temporaires? Tu loggues tout l'univers à chaque requête?

Au vu des graphes, la machine est très très tranquille au niveau CPU. Le seul truc qui peut être louche ce sont les 200+ blocs écrits par seconde. Si c'est du séquentiel c'est pas bien grave, si c'est du random ça suffit pour noyer une paire de disques SATA. Si ce n'est pas ça, on en revient encore à la config Apache et server-status.

Jacques.

Code:

top - 19:35:19 up  4:12,  0 users,  load average: 4.37, 2.46, 2.22
Tasks: 126 total,   2 running, 124 sleeping,   0 stopped,   0 zombie
Cpu(s): 30.7%us,  5.3%sy,  0.0%ni, 63.5%id,  0.0%wa,  0.0%hi,  0.5%si,  0.0%st
Mem:    991524k total,   942532k used,    48992k free,    20756k buffers
Swap:   497992k total,     7584k used,   490408k free,   706916k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
20978 u3986578  20   0 20048 6348 3264 R    1  0.6   0:00.04 php5
24047 u3986578  20   0 22388 5228 1340 S    1  0.5   0:01.05 apache-perf
 6784 u3986578  20   0 22388 5220 1340 S    1  0.5   0:00.74 apache-perf
11588 u3986578  20   0 22388 5216 1340 S    1  0.5   0:00.55 apache-perf
15834 u3986578  20   0 22388 5220 1340 S    1  0.5   0:00.28 apache-perf
18000 u3986578  20   0 22388 5220 1340 S    1  0.5   0:00.17 apache-perf
 1122 u3986578  20   0 22388 5228 1340 S    0  0.5   0:00.72 apache-perf
 1534 u3986578  20   0 22388 5220 1340 S    0  0.5   0:00.36 apache-perf
 1658 u3986578  20   0 22388 5232 1340 S    0  0.5   0:00.52 apache-perf
 2071 u3986578  20   0 22388 5228 1340 S    0  0.5   0:00.59 apache-perf
 2206 u3986578  20   0 22388 5220 1340 S    0  0.5   0:00.96 apache-perf
 2633 u3986578  20   0 22388 5228 1348 S    0  0.5   0:00.38 apache-perf
 6656 u3986578  20   0 22388 5220 1340 S    0  0.5   0:00.48 apache-perf
10446 u3986578  20   0 22388 5220 1340 S    0  0.5   0:00.41 apache-perf
11811 u3986578  20   0 22388 5220 1340 S    0  0.5   0:00.37 apache-perf
13185 u3986578  20   0 22388 5212 1340 S    0  0.5   0:00.27 apache-perf
16309 u3986578  20   0 22388 5256 1368 S    0  0.5   0:01.40 apache-perf
16729 u3986578  20   0 22388 5204 1340 S    0  0.5   0:00.21 apache-perf
17347 u3986578  20   0 22388 5212 1340 S    0  0.5   0:00.16 apache-perf
23453 u3986578  20   0 22388 5228 1340 S    0  0.5   0:01.22 apache-perf
24002 u3986578  20   0 22388 5228 1340 S    0  0.5   0:01.29 apache-perf
25245 u3986578  20   0 22388 5228 1340 S    0  0.5   0:01.20 apache-perf
25761 u3986578  20   0 22388 5260 1368 S    0  0.5   0:01.24 apache-perf
27413 u3986578  20   0 22388 5232 1340 S    0  0.5   0:00.92 apache-perf
  841 u3986578  20   0 22388 5220 1340 S    0  0.5   0:00.94 apache-perf
  912 u3986578  20   0 22492 5944 2016 S    0  0.6   0:00.86 apache-perf
  925 u3986578  20   0 22388 5220 1340 S    0  0.5   0:00.62 apache-perf
 1169 u3986578  20   0 22388 5228 1340 S    0  0.5   0:00.83 apache-perf
 1706 u3986578  20   0 22388 5252 1356 S    0  0.5   0:00.56 apache-perf
 2199 u3986578  20   0 22412 5244 1356 S    0  0.5   0:00.87 apache-perf
 2253 u3986578  20   0 22388 5228 1340 S    0  0.5   0:00.76 apache-perf
 2304 u3986578  20   0 22388 5220 1340 S    0  0.5   0:00.66 apache-perf
 2660 u3986578  20   0 22388 5220 1340 S    0  0.5   0:00.69 apache-perf
 3106 u3986578  20   0 22388 5248 1368 S    0  0.5   0:00.86 apache-perf

Code:

ps axl
F   UID   PID  PPID PRI  NI    VSZ   RSS WCHAN  STAT TTY        TIME COMMAND
5 4681411 841  6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 912  6122  20   0  22492  5944 -      S    ?          0:00 /usr/sbin/a
5 4681411 925  6122  20   0  22428  5260 -      S    ?          0:00 /usr/sbin/a
5 4681411 1122 6122  20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 1169 6122  20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 1534 6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 1658 6122  20   0  22388  5232 -      S    ?          0:00 /usr/sbin/a
5 4681411 1706 6122  20   0  22388  5252 -      S    ?          0:00 /usr/sbin/a
5 4681411 2071 6122  20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 2199 6122  20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 2206 6122  20   0  22388  5224 -      S    ?          0:00 /usr/sbin/a
5 4681411 2253 6122  20   0  22416  5244 -      S    ?          0:00 /usr/sbin/a
5 4681411 2304 6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 2633 6122  20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 2660 6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 3106 6122  20   0  22388  5248 -      S    ?          0:00 /usr/sbin/a
5 4681411 3195 6122  20   0  22388  5224 -      S    ?          0:00 /usr/sbin/a
5 4681411 3881 6122  20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 4134 6122  20   0  22388  5220 -      S    ?          0:01 /usr/sbin/a
5 4681411 4646 6122  20   0  22388  5248 -      S    ?          0:00 /usr/sbin/a
5 4681411 4701 6122  20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 4986 6122  20   0  22388  5224 -      S    ?          0:00 /usr/sbin/a
5 4681411 5537 6122  20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 6312 6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 6504 6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 6527 6122  20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 6572 6122  20   0  22388  5236 -      S    ?          0:01 /usr/sbin/a
5 4681411 6656 6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 6784 6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 6835 6122  20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 6888 6122  20   0  22388  5212 -      S    ?          0:00 /usr/sbin/a
5 4681411 7086 6122  20   0  22388  5232 -      S    ?          0:00 /usr/sbin/a
5 4681411 7145 6122  20   0  22388  5236 -      S    ?          0:00 /usr/sbin/a
5 4681411 7824 6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 8040 6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 8087 6122  20   0  22388  5236 -      S    ?          0:00 /usr/sbin/a
5 4681411 8447 6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 8488 6122  20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 9069 6122  20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 10224 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 10288 6122 20   0  22388  5216 -      S    ?          0:00 /usr/sbin/a
5 4681411 10309 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 10446 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 11142 6122 20   0  22388  5204 -      S    ?          0:00 /usr/sbin/a
5 4681411 11342 6122 20   0  22388  5212 -      S    ?          0:00 /usr/sbin/a
5 4681411 11567 6122 20   0  22388  5244 -      S    ?          0:01 /usr/sbin/a
5 4681411 11588 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 11811 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 11836 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 11977 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 12177 6122 20   0  22388  5224 -      S    ?          0:01 /usr/sbin/a
5 4681411 12349 6122 20   0  22388  5212 -      S    ?          0:00 /usr/sbin/a
5 4681411 12380 6122 20   0  22388  5232 -      S    ?          0:01 /usr/sbin/a
5 4681411 13185 6122 20   0  22388  5212 -      S    ?          0:00 /usr/sbin/a
5 4681411 13410 6122 20   0  22388  5224 -      S    ?          0:00 /usr/sbin/a
5 4681411 13528 6122 20   0  22388  5212 -      S    ?          0:00 /usr/sbin/a
5 4681411 13535 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 13656 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 13659 6122 20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 14792 6122 20   0  22388  5220 -      S    ?          0:01 /usr/sbin/a
5 4681411 15197 6122 20   0  22388  5280 -      S    ?          0:01 /usr/sbin/a
5 4681411 15269 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 15369 6122 20   0  22388  5240 -      S    ?          0:01 /usr/sbin/a
5 4681411 15752 6122 20   0  22456  5272 -      S    ?          0:00 /usr/sbin/a
5 4681411 15834 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 16177 6122 20   0  22500  5996 -      S    ?          0:01 /usr/sbin/a
5 4681411 16309 6122 20   0  22388  5256 -      S    ?          0:01 /usr/sbin/a
5 4681411 16551 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 16644 6122 20   0  22388  5216 -      S    ?          0:00 /usr/sbin/a
5 4681411 16729 6122 20   0  22388  5204 -      S    ?          0:00 /usr/sbin/a
5 4681411 16952 6122 20   0  22388  5240 -      S    ?          0:01 /usr/sbin/a
5 4681411 17340 6122 20   0  22388  5264 -      S    ?          0:01 /usr/sbin/a
5 4681411 17347 6122 20   0  22388  5216 -      S    ?          0:00 /usr/sbin/a
5 4681411 17416 6122 20   0  22388  5212 -      S    ?          0:00 /usr/sbin/a
5 4681411 17615 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 18000 6122 20   0  22388  5220 -      S    ?          0:00 /usr/sbin/a
5 4681411 18362 6122 20   0  22388  5212 -      S    ?          0:00 /usr/sbin/a
0 4681411 19221 11342 20  0  20748  7980 -      S    ?          0:00 php5
5 4681411 19536 6122 20   0  22388  5236 -      S    ?          0:01 /usr/sbin/a
5 4681411 20275 6122 20   0  22456  5188 -      S    ?          0:00 /usr/sbin/a
5 4681411 20328 6122 20   0  22388  5220 -      S    ?          0:01 /usr/sbin/a
0 4681411 20395 1706 20   0  20748  7980 -      S    ?          0:00 php5
5 4681411 20776 20668 22  2   7708  1504 -      SN   ?          0:00 sshd: u3986
0 4681411 20784 20776 22  2   5496  1928 -      SNs  pts/1      0:00 -bash
5 4681411 20864 6122 20   0  22388  5168 -      S    ?          0:00 /usr/sbin/a
5 4681411 20928 6122 20   0  22388  5212 -      S    ?          0:00 /usr/sbin/a
5 4681411 21186 6122 20   0  22388  5248 -      S    ?          0:01 /usr/sbin/a
5 4681411 21774 6122 20   0  22388  5148 -      S    ?          0:00 /usr/sbin/a
0 4681411 21788 20784 22  2   4296   756 -      RN+  pts/1      0:00 ps axl
5 4681411 21996 6122 20   0  22484  5940 -      S    ?          0:01 /usr/sbin/a
5 4681411 22359 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 22662 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 22987 6122 20   0  22388  5220 -      S    ?          0:01 /usr/sbin/a
5 4681411 23453 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 23508 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 23569 6122 20   0  22388  5256 -      S    ?          0:01 /usr/sbin/a
5 4681411 23757 6122 20   0  22388  5248 -      S    ?          0:00 /usr/sbin/a
5 4681411 23965 6122 20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 24002 6122 20   0  22388  5232 -      S    ?          0:01 /usr/sbin/a
5 4681411 24047 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 24323 6122 20   0  22388  5232 -      S    ?          0:00 /usr/sbin/a
5 4681411 24390 6122 20   0  22388  5232 -      S    ?          0:01 /usr/sbin/a
5 4681411 24445 6122 20   0  22388  5240 -      S    ?          0:00 /usr/sbin/a
5 4681411 24454 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 25245 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 25761 6122 20   0  22388  5260 -      S    ?          0:01 /usr/sbin/a
5 4681411 26127 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 26312 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 26514 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 27107 6122 20   0  22388  5224 -      S    ?          0:00 /usr/sbin/a
5 4681411 27413 6122 20   0  22388  5232 -      S    ?          0:00 /usr/sbin/a
5 4681411 27452 6122 20   0  22388  5232 -      S    ?          0:00 /usr/sbin/a
5 4681411 27899 6122 20   0  22388  5236 -      S    ?          0:01 /usr/sbin/a
5 4681411 28046 6122 20   0  22388  5220 -      S    ?          0:01 /usr/sbin/a
5 4681411 28192 6122 20   0  22388  5228 -      S    ?          0:01 /usr/sbin/a
5 4681411 28209 6122 20   0  22388  5236 -      S    ?          0:00 /usr/sbin/a
5 4681411 28364 6122 20   0  22388  5236 -      S    ?          0:00 /usr/sbin/a
5 4681411 28797 6122 20   0  22388  5236 -      S    ?          0:01 /usr/sbin/a
5 4681411 29037 6122 20   0  22388  5220 -      S    ?          0:01 /usr/sbin/a
5 4681411 30015 6122 20   0  22388  5236 -      S    ?          0:01 /usr/sbin/a
5 4681411 30034 6122 20   0  22388  5228 -      S    ?          0:00 /usr/sbin/a
5 4681411 30393 6122 20   0  22388  5240 -      S    ?          0:00 /usr/sbin/a
5 4681411 30990 6122 20   0  22388  5212 -      S    ?          0:00 /usr/sbin/a
5 4681411 31978 6122 20   0  22388  5212 -      S    ?          0:00 /usr/sbin/a
5 4681411 32497 6122 20   0  22388  5236 -      S    ?          0:00 /usr/sbin/a

Code:

vmstat 5 5
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 8  0   7584  36732  21096 709176    0    0    96   105  998 1207 31  9 60  1

Pas de server-status...

Mais ca vous choque pas le log de 790M ?

kwiky · 1 Juin 2010

Voici les graphiques de la dernière heure :

jcaron · 1 Juin 2010

Donc là c'est sûr et certain, pas de souci de CPU (ou de RAM). Sans server-status (et sans l'adresse du site) difficile d'en dire beaucoup plus, mais l'hypothèse MaxClients/KeepAliveTimeOut ne me semble pas impossible, mais là encore, il n'y a que 1&1 qui pourra changer ça a priori.

Pour le log, non, ça ne me choque pas en soi, c'est plutôt le rythme auquel il grossit qui pourrait être gênant, et qui pourrait expliquer le nombre d'écritures disque, mais dans ce cas, ce serait essentiellement du séquentiel, ça ne devrait pas saturer le disque plus que ça.

Quand ça rame, ça fait quel effet? C'est long, puis tout se charge presque d'un coup (et si tu passes à une autre page rapidement ça reste rapide), ou chaque chargement de fichier est long? Evidemment on part du principe que tu utilises un seul nom de domaine et que les keepalives sont activés.

(encore une fois, ça aiderait avec l'adresse du site).

Jacques.

kwiky · 1 Juin 2010

jcaron a dit:
Quand ça rame, ça fait quel effet? C'est long, puis tout se charge presque d'un coup (et si tu passes à une autre page rapidement ça reste rapide), ou chaque chargement de fichier est long? Evidemment on part du principe que tu utilises un seul nom de domaine et que les keepalives sont activés.

Non c'est long et parfois ca charge doucement et parfois ca ne répond pas du tout

jcaron a dit:
Donc là c'est sûr et certain, pas de souci de CPU (ou de RAM). Sans server-status (et sans l'adresse du site) difficile d'en dire beaucoup plus, mais l'hypothèse MaxClients/KeepAliveTimeOut ne me semble pas impossible, mais là encore, il n'y a que 1&1 qui pourra changer ça a priori.

Je peux modifier ces paramètres dans l'interface d'administration de 1and1, est ce que cela pourrai correspondre aux paramètres MaxClients/KeepAliveTimeOut ?

Code:

Utilisation de la mémoire 	150000 Ko
Durée maximum du processus 	10 secondes
Nombre maximum de processus simultanés 	120

Les accès disques ne choquent personne alors sur le dernier graphe ??

Julia41 · 1 Juin 2010

Moi je dis change de dédié, vu la taille de tes logs, ça doit taper pas mal, j'ignore ton "budget", mais perso je prendrais dans les 8Go de RAM mini et en méthode de cache, j'utiliserais Memcache (les accès ram sont nettement plus rapide que les accès disques).

Pour voir si ça vient pas de ton mysql et de sa config (j'ai lu en speed, peut être que tu l'as déjà fait), lance un "tuning-primer.sh" ainsi qu'un "mysql_tuner" (dispo sur le net).

Ca te dira déjà si t'as des grosses "merdes" bloquantes.

A tout hasard, si jamais tu as des requêtes sans INDEX (ou/et sans LIMIT), ça peut faire des gros coup de lock et être dévastateur niveau perf.

Enfin perso, vu ton dédié, ça ne m'étonnes pas trop que ça ramme.
Petit trooll : 1&1 c'est mal !

1-sponsor · 1 Juin 2010

Ho oui, à mon avis c'est ça :

- Nombre maximum de processus simultanés 120

pousse le un peu progressivement jusqu'à 200 ou 250 par pas de 20

j'attends ton retour

1-sponsor · 2 Juin 2010

Tu as trouvé la solution à ton problème ? Si oui, merci d'avance de la partager c'est instructif pour tout le monde

kwiky · 2 Juin 2010

1-sponsor a dit:
Tu as trouvé la solution à ton problème ? Si oui, merci d'avance de la partager c'est instructif pour tout le monde

Non toujours pas, le site était très très perturbé hier soir. j'ai essayer de voir la configuration d'Apache avec 1and1 mais difficile à joindre ce matin...

agenceinternet · 2 Juin 2010

Il y a tout qui laisse quand même à croire que le problème vient d'une limitation dans le httpd.conf

Il y a moyen de connaitre l'adresse de ton site par message privé ?

Et si jamais tu as Julia41 qui s'occupe de gérer des serveurs pour ces clients, celon ton budget tu peux peu etre passer par elle :wink: Ou autrement tu peux aller voir les offre de serveur dédié du coté de Nuxit, c'est plus chère que OVH mais l'avantage c'est qu'il y a un vrai service client a ton service pour t'aider pour ton serveur.

Bonne chance en tout cas ! :wink:

kwiky · 2 Juin 2010

agenceinternet a dit:
Il y a tout qui laisse quand même à croire que le problème vient d'une limitation dans le httpd.conf

Il y a moyen de connaitre l'adresse de ton site par message privé ?

Et si jamais tu as Julia41 qui s'occupe de gérer des serveurs pour ces clients, celon ton budget tu peux peu etre passer par elle :wink: Ou autrement tu peux aller voir les offre de serveur dédié du coté de Nuxit, c'est plus chère que OVH mais l'avantage c'est qu'il y a un vrai service client a ton service pour t'aider pour ton serveur.

Bonne chance en tout cas ! :wink:

Oui je vais essayer de voir ca avec le technicien de 1and1 (quand j'arriverai à l'avoir).
De toute façon, si je ne trouve pas de solutions avec eux, j'irai voir chez un autre hébergeur

kwiky · 2 Juin 2010

Je suis tombé sur une technicienne 1and1 bien moins aimable que le technicien d'hier.
Ils vont analyser la charge machine sur les périodes 20h-23h du 31 Mai et 1 Juin et me faire un retour par mail...
Je lui ai pourtant expliquer que c'était peut être la configuration Apache qui était trop juste et que la machine pouvait peut-être supporté plus...
Retour par mail dans la journée m'a t-elle dit

Julia41 · 2 Juin 2010

Ce que je trouve bizarre, c'est que tu es sur un dédié et que tu gères ta configuration apache par un pannel chez 1&1 (peut-être ais-je mal compris).
Si c'est le cas, je pense que ce genre de pannel est prévu pour des trucs standards donc dès que tu veux faire un peu de tunning tu arrives en dehors du pannel.

Le server-status d'Apache te permettrait de bien voir ce qui est bloquant.
Je crois que ça a été suggéré, mais désactiver le keep alive permet des fois de faire gagner pas mal.

Enfin bon, je dirais bien que ça vient surtout du dédié qui est tout de même "léger" comparé à tes visites.

Bon courage pour le support, généralement les supports (même chez les autres) sont très mauvais quand il s'agit d'aider à la configuration d'un serveur, ce n'est pas leur boulot et ça leur prends du temps.

kwiky · 2 Juin 2010

Julia41 a dit:
Ce que je trouve bizarre, c'est que tu es sur un dédié et que tu gères ta configuration apache par un pannel chez 1&1 (peut-être ais-je mal compris).
Si c'est le cas, je pense que ce genre de pannel est prévu pour des trucs standards donc dès que tu veux faire un peu de tunning tu arrives en dehors du pannel.

Le server-status d'Apache te permettrait de bien voir ce qui est bloquant.
Je crois que ça a été suggéré, mais désactiver le keep alive permet des fois de faire gagner pas mal.

Enfin bon, je dirais bien que ça vient surtout du dédié qui est tout de même "léger" comparé à tes visites.

Bon courage pour le support, généralement les supports (même chez les autres) sont très mauvais quand il s'agit d'aider à la configuration d'un serveur, ce n'est pas leur boulot et ça leur prends du temps.

Il faudrait que je change pour un dédié où j'ai accès à ces paramètres alors ?

agenceinternet · 2 Juin 2010

oui change pour un véritable dédié, afin de ne pas être bridé par 1&1 comme tu l'es à présent... Si tu t'y connais un peu en serveur OVH va très bien. Autrement regarde du coté de Nuxit ou Gandi, ils sauront peut etre mieux t'aider que OVH.

Julia41 · 2 Juin 2010

Pour le rapport qualité/prix OVH reste le mieux. Au niveau de Gandi, ils ne louent pas de "vrais" serveurs.
En ce moment, mon offre "préféré" sont les offres "hybrid" d'OVH (je ne prends que des EG Hybrid) avec des disques dur SSD très très rapide pour ce qui est système et Swap et après des bons gros disques SATA.

Si jamais tu peux virer tes logs apache pour faire un test, ça pourrait être intéressant voir si ça vient pas de tes disques qui en chient un peu.

Question subsidiaire, t'as bien viré tes logs BIN MySQL ?

kwiky · 2 Juin 2010

Julia41 a dit:
Pour le rapport qualité/prix OVH reste le mieux. Au niveau de Gandi, ils ne louent pas de "vrais" serveurs.
En ce moment, mon offre "préféré" sont les offres "hybrid" d'OVH (je ne prends que des EG Hybrid) avec des disques dur SSD très très rapide pour ce qui est système et Swap et après des bons gros disques SATA.

Si jamais tu peux virer tes logs apache pour faire un test, ça pourrait être intéressant voir si ça vient pas de tes disques qui en chient un peu.

Question subsidiaire, t'as bien viré tes logs BIN MySQL ?

Je ne peux pas les droits pour virer les logs d'apache... et je ne trouve pas les logs bin de mysql...
Vous croyez que je peux résilier mon contrat comme çca chez 1and1, je vais pas perdre mes noms de domaines vu qu'ils sont inclus dans le pack ...
Est ce qu'il y a des restrictions/surcouts sur le trafic, la bande passante chez OVH ?

Mail de 1and1 recu à l'instant :

Code:

Nos admins n'ont trouvé qu'une haute charge sur le serveur hier soir .

Les 2 jours précédents ils n'ont rien constaté sur le serveur.

Le serveur arrive donc bien à suivre.

Vous pouvez consulter les statistiques de fréquentation de votre site
avec l'outil de statistique présent dans votre espace client.

Julia41 · 2 Juin 2010

haha pour la réponse de 1&1.

Je ne connais pas les "contrats" 1&1 (je les fuis).
Tout dépends pour combien de temps tu as prit ton "serveur" mais si tu le payes "au mois", tu peux peut-être l'annuler/ne pas le renouveler.
J'ignore combien tu payes actuellement par mois pour ton serveur.
Au niveau de tes noms de domaines, tu dois pouvoir les laisser chez eux je pense ce n'est pas gênant, sinon il faut les transférer, chez quelqu'un d'autre (Gandi/OVH sont très bien).

kwiky · 2 Juin 2010

Julia41 a dit:
haha pour la réponse de 1&1.

Je ne connais pas les "contrats" 1&1 (je les fuis).
Tout dépends pour combien de temps tu as prit ton "serveur" mais si tu le payes "au mois", tu peux peut-être l'annuler/ne pas le renouveler.
J'ignore combien tu payes actuellement par mois pour ton serveur.
Au niveau de tes noms de domaines, tu dois pouvoir les laisser chez eux je pense ce n'est pas gênant, sinon il faut les transférer, chez quelqu'un d'autre (Gandi/OVH sont très bien).

Et tu prends quoi comme OS sur ce serveur, j'ai le choix entre Gentoo, Red Hat, Linux Plesk... sachant que je connais mieux le monde debian que les autres...
Pour info j'ai prix celui en full SSD à 70€ par mois, ca fait 20€ de moins que l'hybrid mais je n'ai pas besoin d'une grande capacité...

Julia41 · 2 Juin 2010

Tu prends du Debian

Distrib nu (ou expert)
Debian 5 Lenny.
Avec une ptite préférence pour la version anglaise

jcaron · 2 Juin 2010

Et ton serveur chez 1&1, tu ne peux pas le passer du mode "clefs en main" où tu ne peux rien faire au mode "je fais ce que je veux et j'assume"?

Jacques.

kwiky · 2 Juin 2010

jcaron a dit:
Et ton serveur chez 1&1, tu ne peux pas le passer du mode "clefs en main" où tu ne peux rien faire au mode "je fais ce que je veux et j'assume"?

Jacques.

Peut être que si mais là 1and1 j'en ai marre et de toute façon il fallait attendre 30 jours.
Le mode "clé en main" était censé facilité l'administration du serveur par les techniciens eux même mais on va dire qu'il ne sont pas très impliqué...
J'ai fait ma commande d'un SP-09 SSD chez OVH à 83€TTC/Mois et je ferai mes transferts de nom de domaine dès qu'il sera prèt

1-sponsor · 2 Juin 2010

kwiky a dit:

Code:

Nos admins n'ont trouvé qu'une haute charge sur le serveur hier soir .

Les 2 jours précédents ils n'ont rien constaté sur le serveur.

Le serveur arrive donc bien à suivre.

Vous pouvez consulter les statistiques de fréquentation de votre site
avec l'outil de statistique présent dans votre espace client.

Quand je lis ça je constate que le support de 1&1 ne vaut pas mieux que celui d'OVH*

* que je ne t'aurais pas conseillé... je ne connait pas nuxit, mais ça avait l'air mieux... sinon moi je suis chez Sivit.. le "Panel" bug un peu mais les serveurs sont robustes et le support est efficace, il ne te prennent pas pour de la merde et une fois que ça tourne, ça tourne bien (webrankinfo est chez sivit d'ailleurs)

kwiky · 2 Juin 2010

1-sponsor a dit:
Quand je lis ça je constate que le support de 1&1 ne vaut pas mieux que celui d'OVH*

* que je ne t'aurais pas conseillé... je ne connait pas nuxit, mais ça avait l'air mieux... sinon moi je suis chez Sivit.. le "Panel" bug un peu mais les serveurs sont robustes et le support est efficace, il ne te prennent pas pour de la merde et une fois que ça tourne, ça tourne bien (webrankinfo est chez sivit d'ailleurs)

Chez Sivit, c'est une autre fourchette de prix pour des serveurs qui semblent bien moins performant.
Avec un accès root sur la machine de chez OVH, je ne devrait plus avoir à faire aux techniciens normalement je pourrai monitorer ma machine complètement et installer ce que je souhaite, je pense que c'est une bonne solution

Julia41 · 2 Juin 2010

1-sponsor a dit:
kwiky a dit:

Code:

Nos admins n'ont trouvé qu'une haute charge sur le serveur hier soir . Les 2 jours précédents ils n'ont rien constaté sur le serveur. Le serveur arrive donc bien à suivre. Vous pouvez consulter les statistiques de fréquentation de votre site avec l'outil de statistique présent dans votre espace client.

Cliquez pour agrandir...

Quand je lis ça je constate que le support de 1&1 ne vaut pas mieux que celui d'OVH*

* que je ne t'aurais pas conseillé... je ne connait pas nuxit, mais ça avait l'air mieux... sinon moi je suis chez Sivit.. le "Panel" bug un peu mais les serveurs sont robustes et le support est efficace, il ne te prennent pas pour de la merde et une fois que ça tourne, ça tourne bien (webrankinfo est chez sivit d'ailleurs)

Le support est Hardware pas software, sinon c'est facile de faire un rm -rf /h<a pas faire>me et d'aller voir le support en disant "ça marche pas"

kwiky · 2 Juin 2010

Julia41 a dit:
1-sponsor a dit:

kwiky a dit:

Code:

Nos admins n'ont trouvé qu'une haute charge sur le serveur hier soir . Les 2 jours précédents ils n'ont rien constaté sur le serveur. Le serveur arrive donc bien à suivre. Vous pouvez consulter les statistiques de fréquentation de votre site avec l'outil de statistique présent dans votre espace client.

Cliquez pour agrandir...

Quand je lis ça je constate que le support de 1&1 ne vaut pas mieux que celui d'OVH*

* que je ne t'aurais pas conseillé... je ne connait pas nuxit, mais ça avait l'air mieux... sinon moi je suis chez Sivit.. le "Panel" bug un peu mais les serveurs sont robustes et le support est efficace, il ne te prennent pas pour de la merde et une fois que ça tourne, ça tourne bien (webrankinfo est chez sivit d'ailleurs)

Cliquez pour agrandir...

Le support est Hardware pas software, sinon c'est facile de faire un rm -rf /h<a pas faire>me et d'aller voir le support en disant "ça marche pas"

Pour les serveurs "clé en main", il n'y a pas d'accès root et donc pas la main sur le software, le pack est vendu comme ceci :

Code:

Un serveur Clé en Main est un serveur dédié entièrement géré par 1&1 Internet.

Vous n’avez ainsi besoin d’aucune compétence en administration Linux pour commander un serveur Clé en Main.

Vous bénéficiez de tous les avantages d’un serveur dédié sans en avoir les inconvenants de l’administration et des mises à jour.

Ce qui sous entend pour moi qu'ils doivent aussi gérer le software... Si ni moi ni eux ne peuvent alors rien ne bougera !!

1-sponsor · 2 Juin 2010

mmmh ouai t'as p-e pas tord c vrai qu'il sont cher en dédié... Je pense à ça mais ça risque d'être trop peu et ce serait bête de prendre le risque.

Par contre je zieute chez nuxit : http://www.nuxit.com/serveur-dedie-pro/

Pour 82.52 €TTC t'as un "Intel® Xeon® Quad-Core 64 bits (8 Coeurs Xeon®)" avec 2Mo RAM, ça en met moins la vue niveau RAM... mais à en croire le témoignage plus haut, là, t'as un support, ce qui n'est pas inutile pour un serveur.

Je me demande si ce serait assez pour 800.000 pages vues/jours..

Sinon, les pros, il y a quoi comme offres dédiés par trop cher avec bon support ?

kwiky · 2 Juin 2010

1-sponsor a dit:
mmmh ouai t'as p-e pas tord c vrai qu'il sont cher en dédié... Je pense à ça mais ça risque d'être trop peu et ce serait bête de prendre le risque.

Par contre je zieute chez nuxit : http://www.nuxit.com/serveur-dedie-pro/

Pour 82.52 €TTC t'as un "Intel® Xeon® Quad-Core 64 bits (8 Coeurs Xeon®)" avec 2Mo RAM, ça en met moins la vue niveau RAM... mais à en croire le témoignage plus haut, là, t'as un support, ce qui n'est pas inutile pour un serveur.

Je me demande si ce serait assez pour 800.000 pages vues/jours..

Sinon, les pros, il y a quoi comme offres dédiés par trop cher avec bon support ?

Le disque SSD me plait bien chez OVH...
Je suis descendu à 350.000 pages vues par jour depuis le passage au dédié 1and1, c'est vraiment en soirée que je perds mes visiteur, ils arrivent rarement à atteindre une page... je faisais plus avec le mutualisé même si 1 fois sur 4 j'avais une erreur 500 !!!

1-sponsor · 2 Juin 2010

ouai un erreur c mieux qu'une latence, je suis d'accord

suffit de refresh... que là ! :s

kwiky · 2 Juin 2010

Voilà mon serveur est presque près, je fais les dernières vérifications, la demande de transfert de nom de domaine a été effectué...

agenceinternet · 2 Juin 2010

Et bien dit donc ca a été rapide tout ca ! Tu as déjà transféré tout ton site et tout se qu'il faut sur ton nouveau serveur ??

Si tu as par exemple un forum sur ton site, oublie pas de bloquer l'écriture sur l'ancien serveur, afin de ne pas perde des message qui serait écrit sur ton ancien serveur et du coup par récupéré sur ton nouveau serveur :wink:

kwiky · 2 Juin 2010

agenceinternet a dit:
Et bien dit donc ca a été rapide tout ca ! Tu as déjà transféré tout ton site et tout se qu'il faut sur ton nouveau serveur ??

Si tu as par exemple un forum sur ton site, oublie pas de bloquer l'écriture sur l'ancien serveur, afin de ne pas perde des message qui serait écrit sur ton ancien serveur et du coup par récupéré sur ton nouveau serveur :wink:

Oui c'est du rapide
J'ai installé apache (et le module server-status ;-) ), php5, mysql, phpmyadmin, subversion
J'ai créer un utilisateur unix (parce qu'en root hein, attention...)
J'ai rapatrié mon site et ma base, créer un utilisateur mysql avec juste insert update delete et select sur cette base

Je pense qu'il va falloir que je m'intéresse de plus près au module cache d'apache 2...

Julia41 · 3 Juin 2010

1-sponsor a dit:
Sinon, les pros, il y a quoi comme offres dédiés par trop cher avec bon support ?

Pour les "pros" : ça fait chier de payer un support dont tu n'as pas besoin

Bon, en tout cas kwiky, si tu as un vrai dédié avec un peu de RAM en rab et vu que tu as l'air de bien touché niveau codage, interesse toit à Memcache. Tu verras très vite la différence

Edit: Tiens nous au courant si ça venait vraiment de la puissance du serveur. Mais déjà avec les trucs style server-status tu devrais pouvoir débuguer ça proprement

xx

Edit 2 : si tu n'utilises pas de rewriting "spécial" passe sous lighttpd, tu verras vite que les indiens ne sont pas toujours les mieux !

kwiky · 3 Juin 2010

Julia41 a dit:
1-sponsor a dit:

Sinon, les pros, il y a quoi comme offres dédiés par trop cher avec bon support ?

Cliquez pour agrandir...

Pour les "pros" : ça fait chier de payer un support dont tu n'as pas besoin

Bon, en tout cas kwiky, si tu as un vrai dédié avec un peu de RAM en rab et vu que tu as l'air de bien touché niveau codage, interesse toit à Memcache. Tu verras très vite la différence

Edit: Tiens nous au courant si ça venait vraiment de la puissance du serveur. Mais déjà avec les trucs style server-status tu devrais pouvoir débuguer ça proprement
xx

Edit 2 : si tu n'utilises pas de rewriting "spécial" passe sous lighttpd, tu verras vite que les indiens ne sont pas toujours les mieux !

Oui c'est bien plus agréable d'avoir totalement la main sur son serveur.
Pour le moment je garde apache car je suis assez à l'aise avec, il existe cherokee aussi mais je ne sais pas ce que ca vaut...
J'attend que le domaine sois transférer pour voir comment se comporte la machine face aux premières visites et je garde MemCache sous le coude en cas de coup dur ;-)
J'ai installé munin aussi qui permet de bien suivre les performances de sa machine avec des graphiques pour ceux qui connaissent pas encore :

Code:

    * Disk
          o Disk usage (in percent)
          o Inode usage (in percent)
          o IOstat
    * Exim
          o Exim Mailqueue
          o Exim mail throughput
    * Mysql
          o MySQL throughput
          o MySQL queries
          o MySQL slow queries
          o MySQL threads
    * Network
          o eth0 traffic
          o eth1 traffic
    * Processes
          o Fork rate
          o Number of Processes
          o VMstat
    * System
          o CPU usage
          o Available entropy
          o Interrupts & context switches
          o Individual interrupts
          o Load average
          o Memory usage
          o File table usage
          o Inode table usage
          o Swap in/out

Julia41 · 3 Juin 2010

Le problème de "munin" c'est que c'est "à un instant T toutes les 5 minutes". Perso je l'utilise de moins en moins. Dès que tu centralises tout sur un dédié, munin lui même fait pas mal rammer

Vu que c'est Apache ton "soucis" monitore le avec munin.
Tu actives ton server status

Code:

cd /etc/munin/plugins/
ln -s /usr/share/munin/plugins/apache_processes
ln -s /usr/share/munin/plugins/apache_accesses
ln -s /usr/share/munin/plugins/apache_volume

(pour tester un plugin

Code:

munin-run apache_volume

Tu verras vite si t'as pas zappé un truc.

Je ne connais pas du tout cherokee, je sais juste que Lighttpd est utilisé par des infras de dingue (mininova/piratebay) et que les devs sont plutôt actif. Surtout il commence à bien être intégré à Debian (quand tu installes phpmyadmin, il est proposé par défaut).

Tu peux faire des benchmark de ton nouveau dédié avec la commande "ab" (apache benchmark) je détaillerais pas ici souvent c'est utilisé par des <pirates en herbe> pour faire des ptites attaques

Pour ton monitoring "en instantané", installe "htop" qui remplacera très vite le "top" habituel tellement c'est jolie, ça te permettra aussi de voir ce qui "lock".

Si tu as prit ton dédié chez OVH, tu dois avoir un noyau grsec, je te conseille de le changer pour un std, et tant qu'à faire tu peux prendre un std ipv6 pour mettre ton site en IPv6

Code:

uname -a
Linux angy.aserv.eu 2.6.31.5-xxxx-std-ipv6-64 #2 SMP Thu Nov 5 09:56:26 UTC 2009 x86_64 GNU/Linux

kwiky · 3 Juin 2010

Julia41 a dit:
Le problème de "munin" c'est que c'est "à un instant T toutes les 5 minutes". Perso je l'utilise de moins en moins. Dès que tu centralises tout sur un dédié, munin lui même fait pas mal rammer

Je le laisse pour le moment, je le désactiverai en temps voulu

Julia41 a dit:
Vu que c'est Apache ton "soucis" monitore le avec munin.
Tu actives ton server status

Code:

cd /etc/munin/plugins/ ln -s /usr/share/munin/plugins/apache_processes ln -s /usr/share/munin/plugins/apache_accesses ln -s /usr/share/munin/plugins/apache_volume

(pour tester un plugin

Code:

munin-run apache_volume

Tu verras vite si t'as pas zappé un truc.

J'ai une erreur sur le "munin-run apache_volume"

Code:

munin-run apache_volume
Can't locate object method "new" via package "LWP::UserAgent" at /etc/munin/plugins/apache_volume line 130.

:-(

Julia41 a dit:
Je ne connais pas du tout cherokee, je sais juste que Lighttpd est utilisé par des infras de dingue (mininova/piratebay) et que les devs sont plutôt actif. Surtout il commence à bien être intégré à Debian (quand tu installes phpmyadmin, il est proposé par défaut).

Tu peux faire des benchmark de ton nouveau dédié avec la commande "ab" (apache benchmark) je détaillerais pas ici souvent c'est utilisé par des <pirates en herbe> pour faire des ptites attaques

Pour ton monitoring "en instantané", installe "htop" qui remplacera très vite le "top" habituel tellement c'est jolie, ça te permettra aussi de voir ce qui "lock".

J'entend aussi parler de nginx mais pareil, je ne connais pas du tout...
Benchmarks apache, lighttpd, nginx
htop déjà installé dès le début, je pense que c'est un must have moi aussi ;-)

Julia41 a dit:
Si tu as prit ton dédié chez OVH, tu dois avoir un noyau grsec, je te conseille de le changer pour un std, et tant qu'à faire tu peux prendre un std ipv6 pour mettre ton site en IPv6

Code:

uname -a Linux angy.aserv.eu 2.6.31.5-xxxx-std-ipv6-64 #2 SMP Thu Nov 5 09:56:26 UTC 2009 x86_64 GNU/Linux

Code:

Linux nsXXXXX.ovh.net 2.6.32.2-xxxx-grs-ipv4-64 #1 SMP Tue Dec 29 14:41:12 UTC 2009 x86_64 GNU/Linux

8O Change le noyau, je suis pas très chaud, il y a un grand intérêt ??

kwiky · 3 Juin 2010

Bon, j'ai migrer vers LightTPD, encore quelques alias et filtre sur ip à configurer et ca sera bon...
Pour le moment j'aime LightTPD

Julia41 · 4 Juin 2010

pour ton "munin" il te faut "libwww" ça doit être de mémoire :
apt-get install libwww-perl

Pour le changement de noyau, le grsec "bloque" pas mal de trucs. Tu peux t'en rendre contre en utilisant "autre chose que root" et faire un :

Code:

ps aux

Ca n'affiche que les process de l'user en question.
Donc des fois des softs ne tournant pas en root (lighttpd par exemple), ça peut avoir des soucis à récupérer cerrtaines infos.

Si tu as besoin d'aide pour des rewrites lighty, t'hésites pas à poster ce que tu n'arrives pas, ou sinon, leur IRC sur Freenode est très réactif.

Bon, après au niveau des benchs, j'ai jamais été très friand, ça dépends vraiment de "comment est fait ton site" si c'est du PHP bien codé pour les pages et des images/css/javascripts, je prends tout le temps lighttpd.
Pour NGinx, il ne faut pas de rewrite car ils sont bien galère à écrire.

Le seul "défaut" de lighttpd selon moi est vraiment la "non gestion" des .htaccess qui sont quand même bien pratique, mais c'est aussi ce qui rends apache moins performant.

kwiky · 4 Juin 2010

Julia41 a dit:
pour ton "munin" il te faut "libwww" ça doit être de mémoire :
apt-get install libwww-perl

Pour le changement de noyau, le grsec "bloque" pas mal de trucs. Tu peux t'en rendre contre en utilisant "autre chose que root" et faire un :

Code:

ps aux

Ca n'affiche que les process de l'user en question.
Donc des fois des softs ne tournant pas en root (lighttpd par exemple), ça peut avoir des soucis à récupérer cerrtaines infos.

Si tu as besoin d'aide pour des rewrites lighty, t'hésites pas à poster ce que tu n'arrives pas, ou sinon, leur IRC sur Freenode est très réactif.

Bon, après au niveau des benchs, j'ai jamais été très friand, ça dépends vraiment de "comment est fait ton site" si c'est du PHP bien codé pour les pages et des images/css/javascripts, je prends tout le temps lighttpd.
Pour NGinx, il ne faut pas de rewrite car ils sont bien galère à écrire.

Le seul "défaut" de lighttpd selon moi est vraiment la "non gestion" des .htaccess qui sont quand même bien pratique, mais c'est aussi ce qui rends apache moins performant.

Oui la non-implementation des htaccess semble volontaire justement pour ces problèmes de perf
Pour munin, j'ai trouver un petit plugin pour lighttpd, que fait libwww de particulier ?
Je pense que je vais garder ce noyaux tant que je n'y trouve pas de problème majeur.
J'ai modifier mes script sur mon serveur 1and1 pour qu'il aille chercher les fichiers statiques sur le serveur OVH.
La monter en charge du ovh devrait être progressive au fur et à mesure que mes fichiers cache 1and1 seront renouveler...
Pour l'instant, le OVH tiens largement la charge et commence à bien soulager le 1and1 : un process apache pour chaque requête pour la moindre petite image, il va sentir la différence d'ici une heure (temps de mon cache) il n'aura plus qu'a renouveler les fichiers de cache de temps à autre jusqu'a ce que le transfert de domaine sois effectif

Julia41 · 4 Juin 2010

libwww est juste une lib perl (langage utilisé par munin) qui permet de parcourir les trucs web (un "curl" par exemple) qui permet de tout faire (très utilisé par les hackeurs car il permet d'injecter des headers ou autres).

Sinon, Lighttpd se "tuning" plutôt pas mal mais très simplement.

Code:

fastcgi.server    = ( ".php" =>
        ((
                "bin-path" => "/usr/bin/php-cgi",
                "socket" => "/tmp/php.socket",
                "max-procs" => 2,
                "idle-timeout" => 20,
                "bin-environment" => (
                        "PHP_FCGI_CHILDREN" => "4",
                        "PHP_FCGI_MAX_REQUESTS" => "10000"
                ),
                "bin-copy-environment" => (
                        "PATH", "SHELL", "USER"
                ),
                "broken-scriptfilename" => "enable"
        ))
)

Voilà ce que j'ai pour ma conf de fast CGI sur un tout petit serveur.
En module que tu pourrais peut-être avoir envi d'activer, tu as le "evasive" qui est tout simple, si tu veux jouer avec tes headers tu peux aussi rajouter le "mod_setenv".

Si tu veux te lancer dans une compil perso tu pourras aussi avoir envi d'activer ce module :
"mod_memcache"
ça te permet de mettre tes images dans la RAM et là par contre, c'est servi à une vitesse...
Pour le mod "compress", j'ai ça :

Code:

compress.cache-dir          = "/var/cache/lighttpd/compress/"
compress.filetype           = (
        "text/plain",
        "text/html",
        "application/x-javascript",
        "text/css",
        "text/xml",
        "application/xml",
        "text/javascript",
        "application/javascript",
        "image/x-icon",
        "image/png",
        "image/jpeg",
)

Mais sur mon www (https) ça ne sert à rien, il faudrait que je joue avec le set_env...

Si tu veux aussi un petit gain de perf au niveau des utilisateurs utilisant Internet Explorer, tu peux rajouter :

Code:

$HTTP["useragent"] =~ "(MSIE)" {
        server.max-keep-alive-requests = 0
}

Car IE ne dit jamais "j'ai fini au serveur" et ça peut vite saturer ton socket.

Voilà pour un petit retour mais attention à toi, car partir sur du Lighttpd veut généralement dire "divorce" avec Apache

Je ne l'ai pas réinstaller depuis plus de 2 ans pour mes sites

kwiky · 4 Juin 2010

Julia41 a dit:
libwww est juste une lib perl (langage utilisé par munin) qui permet de parcourir les trucs web (un "curl" par exemple) qui permet de tout faire (très utilisé par les hackeurs car il permet d'injecter des headers ou autres).

Sinon, Lighttpd se "tuning" plutôt pas mal mais très simplement.

Code:

fastcgi.server = ( ".php" => (( "bin-path" => "/usr/bin/php-cgi", "socket" => "/tmp/php.socket", "max-procs" => 2, "idle-timeout" => 20, "bin-environment" => ( "PHP_FCGI_CHILDREN" => "4", "PHP_FCGI_MAX_REQUESTS" => "10000" ), "bin-copy-environment" => ( "PATH", "SHELL", "USER" ), "broken-scriptfilename" => "enable" )) )

Voilà ce que j'ai pour ma conf de fast CGI sur un tout petit serveur.
En module que tu pourrais peut-être avoir envi d'activer, tu as le "evasive" qui est tout simple, si tu veux jouer avec tes headers tu peux aussi rajouter le "mod_setenv".

Si tu veux te lancer dans une compil perso tu pourras aussi avoir envi d'activer ce module :
"mod_memcache"
ça te permet de mettre tes images dans la RAM et là par contre, c'est servi à une vitesse...
Pour le mod "compress", j'ai ça :

Code:

compress.cache-dir = "/var/cache/lighttpd/compress/" compress.filetype = ( "text/plain", "text/html", "application/x-javascript", "text/css", "text/xml", "application/xml", "text/javascript", "application/javascript", "image/x-icon", "image/png", "image/jpeg", )

Mais sur mon www (https) ça ne sert à rien, il faudrait que je joue avec le set_env...

Si tu veux aussi un petit gain de perf au niveau des utilisateurs utilisant Internet Explorer, tu peux rajouter :

Code:

$HTTP["useragent"] =~ "(MSIE)" { server.max-keep-alive-requests = 0 }

Car IE ne dit jamais "j'ai fini au serveur" et ça peut vite saturer ton socket.

Voilà pour un petit retour mais attention à toi, car partir sur du Lighttpd veut généralement dire "divorce" avec Apache
Je ne l'ai pas réinstaller depuis plus de 2 ans pour mes sites

Je vais essayer de comprendre le "tuning" que tu as bien voulu partagé avant de l'implémenté
Je ne vois pas mod_memcache dans le lighttpd.conf, je regarderai ça aussi quand j'aurai un peu de temps
Sinon j'ai une question à propos des logs, le access.log est renouvelé automatiquement (rotate) ? Tu l'as réglé comment ça ?
Parce que le miens fait plus de 100M en à peine une heure et grossi à vu d'œil...

Julia41 · 4 Juin 2010

Le access.log doit être configuré par logrotate :
cd /etc/logrorate.d/
et le fichier est "lighttpd" et doit être par défaut à 7 jours.
ça "grossi" c'est normal car ça écrit dedans

Donc soit tu logs "rien" (pas trop légal mais bon

) soit tu logs et tu compresses tous les jours.

Voici le mien pour un "tous les jours" avec conservation de "une année".

Code:

cat /etc/logrotate.d/lighttpd
/var/log/lighttpd/*.log {
        daily
        missingok
        copytruncate
        rotate 365
        compress
        notifempty
        sharedscripts
        postrotate
           if [ -f /var/run/lighttpd.pid ]; then \
             if [ -x /usr/sbin/invoke-rc.d ]; then \
                invoke-rc.d lighttpd reload > /dev/null 2>&1; \
             else \
                /etc/init.d/lighttpd reload > /dev/null 2>&1; \
             fi; \
           fi;
        endscript
}

kwiky · 5 Juin 2010

Julia41 a dit:
Le access.log doit être configuré par logrotate :
cd /etc/logrorate.d/
et le fichier est "lighttpd" et doit être par défaut à 7 jours.
ça "grossi" c'est normal car ça écrit dedans
Donc soit tu logs "rien" (pas trop légal mais bon ) soit tu logs et tu compresses tous les jours.

Voici le mien pour un "tous les jours" avec conservation de "une année".

Code:

cat /etc/logrotate.d/lighttpd /var/log/lighttpd/*.log { daily missingok copytruncate rotate 365 compress notifempty sharedscripts postrotate if [ -f /var/run/lighttpd.pid ]; then \ if [ -x /usr/sbin/invoke-rc.d ]; then \ invoke-rc.d lighttpd reload > /dev/null 2>&1; \ else \ /etc/init.d/lighttpd reload > /dev/null 2>&1; \ fi; \ fi; endscript }

Voilà pour logrotate, je l'ai configuré pareil, 1 par jour pendant 1an, en effet, par defaut il a "weekly" pendant 12 semaines
Pour fastcgi, la config que j'ai (celle par défaut) est la suivante

Code:

fastcgi.server    = ( ".php" =>
        ((
                "bin-path" => "/usr/bin/php-cgi",
                "socket" => "/tmp/php.socket",
                "max-procs" => 2,
                "idle-timeout" => 20,
                "bin-environment" => (
                        "PHP_FCGI_CHILDREN" => "4",
                        "PHP_FCGI_MAX_REQUESTS" => "10000"
                ),
                "bin-copy-environment" => (
                        "PATH", "SHELL", "USER"
                ),
                "broken-scriptfilename" => "enable"
        ))
)

Est ce que j'ai quelque chose à toucher sachant que j'ai un quad core (je dis ça pour le "max-procs" => 2) ?

J'ai aussi fait la modif pour cette s***perie d'IE et ajouter les mêmes types de fichiers que toi pour la compression...

Je ne pense pas me relancer dans une compilation pour memcache...

Julia41 · 5 Juin 2010

Pour le "max-procs" tu peux avoir l'utilisation faites et "comment ça marche" avec un :

Code:

ps auxf | grep php

Code:

www-data 25466  0.0  0.0 165464  8084 ?        Ss   May27   0:00 /usr/bin/php-cgi
www-data 25471  0.0  0.3 201552 41836 ?        S    May27   0:20  \_ /usr/bin/php-cgi
www-data 25472  0.0  0.3 199396 40140 ?        S    May27   0:23  \_ /usr/bin/php-cgi
www-data 25473  0.0  0.3 200120 40964 ?        S    May27   0:21  \_ /usr/bin/php-cgi
www-data 25474  0.0  0.3 206032 46256 ?        S    May27   0:26  \_ /usr/bin/php-cgi
www-data 25475  0.0  0.0 165464  8080 ?        Ss   May27   0:00 /usr/bin/php-cgi
www-data 27041  0.0  0.3 196680 37168 ?        S    Jun04   0:25  \_ /usr/bin/php-cgi
www-data 27079  0.0  0.2 196580 36544 ?        S    Jun04   0:24  \_ /usr/bin/php-cgi
www-data 27091  0.0  0.3 197356 38624 ?        S    Jun04   0:23  \_ /usr/bin/php-cgi
www-data 27112  0.0  0.3 196532 37552 ?        S    Jun04   0:31  \_ /usr/bin/php-cgi

Moi il est à 2. Tu vois aussi les children.
Si jamais ça leur arrive de "crasher" au niveau de tes "procs" (celui à 2 par défault) n'hésites pas à les augmenter.
Pour la compression, ça dépends vraiment comment est codé ton site, perso c'est un peu en freestyle (beaucoup de "petits sites").

Le "max requests" de 10000 est un peu élevé je trouve, ça dépends vraiment de ce que tu en fais... Enfin bon, généralement ça bouffe rien du tout quand même, tu as ma commande pour voir ce que les process et sous process PHP bouffent.

kwiky · 5 Juin 2010

Julia41 a dit:
Pour le "max-procs" tu peux avoir l'utilisation faites et "comment ça marche" avec un :

Code:

ps auxf | grep php

Code:

www-data 25466 0.0 0.0 165464 8084 ? Ss May27 0:00 /usr/bin/php-cgi www-data 25471 0.0 0.3 201552 41836 ? S May27 0:20 \_ /usr/bin/php-cgi www-data 25472 0.0 0.3 199396 40140 ? S May27 0:23 \_ /usr/bin/php-cgi www-data 25473 0.0 0.3 200120 40964 ? S May27 0:21 \_ /usr/bin/php-cgi www-data 25474 0.0 0.3 206032 46256 ? S May27 0:26 \_ /usr/bin/php-cgi www-data 25475 0.0 0.0 165464 8080 ? Ss May27 0:00 /usr/bin/php-cgi www-data 27041 0.0 0.3 196680 37168 ? S Jun04 0:25 \_ /usr/bin/php-cgi www-data 27079 0.0 0.2 196580 36544 ? S Jun04 0:24 \_ /usr/bin/php-cgi www-data 27091 0.0 0.3 197356 38624 ? S Jun04 0:23 \_ /usr/bin/php-cgi www-data 27112 0.0 0.3 196532 37552 ? S Jun04 0:31 \_ /usr/bin/php-cgi

Moi il est à 2. Tu vois aussi les children.
Si jamais ça leur arrive de "crasher" au niveau de tes "procs" (celui à 2 par défault) n'hésites pas à les augmenter.
Pour la compression, ça dépends vraiment comment est codé ton site, perso c'est un peu en freestyle (beaucoup de "petits sites").

Le "max requests" de 10000 est un peu élevé je trouve, ça dépends vraiment de ce que tu en fais... Enfin bon, généralement ça bouffe rien du tout quand même, tu as ma commande pour voir ce que les process et sous process PHP bouffent.

Bon pour le moment le serveur délivre que du statique, le dynamique étant toujours traiter par le serveur 1and1 qui s'en est bien sorti hier soir maintenant qu'il a moins de travail ;-)
Le basculement de domaine n'est toujours pas actif mais lorsqu'il le sera, c'est mon serveur ovh qui traitera aussi le dynamique, je verrai à ce moment là comment il se comporte vis a vis des traitements php.
Pour l'instant il bronche vraiment pas malgré la centaine de requêtes par secondes et le Giga d'images, js autres css livré chaque heure (lighttpd à 2% de CPU, load variant entre 0.0 et 0.10, 400M de RAM sur les 8G)
Le load du 1and1 varie entre 1 et 4 suivant les horaires et monte à 20 lorsque le cache de la page d'accueil de mon site est renouvelé.
J'ai parfois un problème avec ce cache qui me créer des fichiers vides, ca craint :-( donc je vire de temps à autres les fichiers à 0 bytes dans le répertoire cache.
J'ai bon espoir de repasser au dessus des 500.000 pages vues aujourd'hui et atteindre le million par jour une fois le domaine basculé

Julia41 · 5 Juin 2010

Je te dirais bien de tout bouger sur ce serveur

Je me demande si tu n'as pas une fonction PHP "bloquante" quelque part pour que ça "ramme" autant.
Pour les fichiers de 0 bytes, suffirait de les tester juste après la création mais bon...
Pour ton système de cache, sur tes disques SSD si tu restes en méthode "fichier" ça devrait aller mieux.

Perso, le SSD est tellement rapide que je m'en sers presque comme RAM (je mets 2 fois la RAM mini voir "tout")

kwiky · 5 Juin 2010

Julia41 a dit:
Je te dirais bien de tout bouger sur ce serveur

Si ça pouvait être plus rapide, j'en serai ravi... mais il faut attendre... il parle d'un délai légal de 5 jours et j'en suis à 3...

Julia41 a dit:
Je me demande si tu n'as pas une fonction PHP "bloquante" quelque part pour que ça "ramme" autant.

Ouais mais alors comment trouver d'où ca viens... j'en ai aucune idée...

Julia41 a dit:
Pour les fichiers de 0 bytes, suffirait de les tester juste après la création mais bon...
Pour ton système de cache, sur tes disques SSD si tu restes en méthode "fichier" ça devrait aller mieux.

Perso, le SSD est tellement rapide que je m'en sers presque comme RAM (je mets 2 fois la RAM mini voir "tout")

Pour l'instant le fameux système de cache n'est pas activé sur le serveur ovh, les pages seront systématiquement interprété par PHP... et si il n'arrive pas à s'en sortir et bien je le réactiverai, réponse dans 2 jours normalement...

Julia41 · 7 Juin 2010

Bon alors les news !?

T'as enfin tout passé sous lighttpd ?

kwiky · 10 Juin 2010

Julia41 a dit:
Bon alors les news !?
T'as enfin tout passé sous lighttpd ?

Le transfert de domaine est en train de se propager et je me rend compte qu'il ne répond plus !!!!!
J'ai bien configuré mon serveur dédié comme DNS du domaine dans l'interface Manager de OVH !!!!
J'ai ouvert un ticket incident chez OVH....
HEEEEEEEEELLLLLLLLPPPPPPPPPPP

Julia41 · 10 Juin 2010

Sans le domaine ça va être compliqué de pouvoir t'aider. File nous au moins les résultats des tests zonecheck

kwiky · 10 Juin 2010

Julia41 a dit:
Sans le domaine ça va être compliqué de pouvoir t'aider. File nous au moins les résultats des tests zonecheck

ZoneCheck
Impossible de trouver le serveur de nom primaire (SOA)
Statistics: 0 tests in 0.00 sec accross 0 nameservers
Release: ZoneCheck-2.0.3
Last generated: 2010/06/10 11:57 UTC

kwiky · 10 Juin 2010

kwiky a dit:
Julia41 a dit:

Sans le domaine ça va être compliqué de pouvoir t'aider. File nous au moins les résultats des tests zonecheck

Cliquez pour agrandir...

ZoneCheck
Impossible de trouver le serveur de nom primaire (SOA)
Statistics: 0 tests in 0.00 sec accross 0 nameservers
Release: ZoneCheck-2.0.3
Last generated: 2010/06/10 11:57 UTC

Je n'ai pas configurer le serveur DNS sur mon serveur dédié, je sais pas si j'ai quelque chose à faire avec bind...