Faire accélérer qmail

[ricotrutt]

Bonjour à tous,

J'ai besoin de vos best practices sur des problématiques d'emailing.

Pour certains de nos clients nous expédions des newsletters. Mais au total on a beaucoup d'email à envoyer (on en envoie environ 3 millions par semaine).

On a un serveur dédié à cela (un petit RPS de chez OVH) mais il a du mal à traiter tous les emails, malgré des envois sacadés (des petits paquets d'email toutes les 5 secondes). En effet, la file d'attente de Qmail (qui est le server email installé) s'allonge, et au fil du temps, il peut y avoir un décalage de plusieurs heures entre le moment d'envoi de l'email et sa réception.

Savez-vous ce que l'on peut faire contre cela ?

Merci pour votre aide

 

[Julia41]

Un RPS pour de l'emailing c'est très mauvais, les disques sont en réseau, et faire des emails génère beaucoup beaucoup d'écriture/lecture.
Passer la queue en ram pourrait faire gagner pas mal. J'avais fait un petit tuto pour postfix :
-https://admin-serv.net/blog/2010/03/07/508/postfix-stocker-sa-queue-en-ram/
Bon, c'est pour postfix mais la problématique est la même (attention, en fonction des options de compilation du kernel, ce filesystem est limité à 8Mo (ce qui est très suffisant pour des petites queues).

Ce que tu peux faire pour speeder un peu, est d'éviter d'envoyer sur les mails qui partent pas (qui seront donc stockés en queue un certain temps) ou vers les services d'emails qui utilisent des systèmes de greylist (yahoo par exemple). Il faut que tu envois en priorité vers ceux qui partent aussitôt. Après pour le reste, tu aurais dû attendre de toute manière, donc autant envoyer dès le départ.

Sinon, le RPS n'est pas du tout adapté à ce genre d'utilisation, un petit kimsufi pourrait t'aider (et sinon, mais c'est un troll, postfix c'est mieux )

 

[Julia41]

Tu es sous quel distribution ?
Si tu es sous Release 2, par défaut l'antispam/antivirus scanne aussi ce qui sort. En désactivant ça, ton RPS va s'amuser

Edit: il fallait que je le retrouve :
Tu as quel valeur dans ce fichier :
/var/qmail/control/concurrencyremote
(pas sûr qu'il soit à cet endroit, ça dépends de l'install/de la distrib).

Tu peux un peu l'augmenter en faisant attention à ne pas saturer ton socket.

 

[ricotrutt]

Ah oui tu as raison, je n'avais pas pensé au fait que la structure du RPS poserait ce problème ! Je vais changer ça.

Tu penses à une solution précise pour déterminer les emails qui ne partent pas ? Notre système d'envoi d'email est développé en php.

 

[Julia41]

Tu penses à une solution précise pour déterminer les emails qui ne partent pas ? Notre système d'envoi d'email est développé en php.

Il faut les connaitres et regarder les codes erreurs.
Yahoo renvoi très vite des 421 :

421 4.7.0 [TS01] Messages from 188.165.147.124 temporarily deferred due to user complaints - 4.16.55.1; see http://postmaster.yahoo.com/421-ts01.html" received from mx2.mail.eu.yahoo.com (77.238.184.241) while connected from hostname_out (188.XX.XX.XX) to mx2.mail.eu.yahoo.com (77.238.184.241)

Pareil pour hotmail (mais généralement ils sont quand même cool).
Il faut regarder un peu tes codes erreurs, voir "qui" bloque ou ralenti. Et ceux-là, tu les mets à la fin.

Tu regarderas aussi mon "edit" un peu plus haut, l'histoire du concurency (attention car si tu fais trop le porc en out, tu peux vite te faire blacklister)

 

[ricotrutt]

Ok, je vais regarder les erreurs effectivement, et les mettre à la fin ou les retirer totalement.

Pour le concurrency, ce n'est pas à l'adresse que tu donnes et je n'arrive pas à le trouver, même avec un locate donc je ne peux pas te dire.

Par contre c'est une release 2 effectivement, je vais essayer d'enlever cet antispam. Ca se fait à partir du panel ovh j'imagine ?

 

[Julia41]

Non, il faut commenter 2/3 params.
C'est des trucs de ce genre :

#bypass all AV/Spam scanning - but still do perlscan checks
my $SKIP_SCANNING=0;

A mettre à 1.
Là c'est dans :
/var/qmail/bin/qmail-scanner-queue.pl

Tu as aussi (même fichier):

my @scanners_installed=

Tu vides l'array, ça devrait aller assez vite.

Bon, par contre pas un pro de Qmail, donc ça reste à vérifier.

 

[ricotrutt]

Merci beaucoup pour cette aide, je vais déjà essayer ça, ça devrait pas mal aider !