[PHP/MySQL] Optimisation multiples requêtes

[RomsIW]

Bonjour,

voilà l'idée, je récupère de nombreuses infos dans de nombreuses tables et je fais pas mal de traitements qui impliquent PHP, puis je compile le tout dans une table à part que je dois vider puis re-remplir avec les informations mises à jour. Ce toutes les heures.

Le processus actuel :

1. Grosse requête
2. Traitements PHP
3. Vidage table
4. Boucle while avec inserts MySQL

Questions :
A. Vaut-il mieux faire 3. Préparer une unique requête étendue (INSERT INTO champs VALUES (ligne1),(ligne2),...) puis 4. vidage table puis 5. exécution requête unique OU faire comme actuellement + de 1000 requêtes dans une boucle ?
B. Voyez-vous un autre moyen de faire cela ? les traitements PHP ne peuvent être faits directement dans la requête..
C. Une unique requête étendue semble poser des problèmes visiblement puisque PMA propose d'office de la scinder en 14 plus petites requêtes, qu'en est-il vraiment ?

Merci de votre aide,

 

[Bool]

Hello,

A. une seule "grosse" requête est souvent plus rapide oui (un seul verrou, une seule mise à jour des indexes, etc).
Toutefois la requête est limitée en taille, à 1Mo ou 16Mo dans les configurations les plus courantes. Tu peux évidement ajuster cette valeur si tu as un serveur dédié, mais dans tout les cas ne pas oublier que le temps de construire la requête elle est en mémoire coté PHP... donc se contenter de 1Mo me semble déjà bien.
Pour cela regroupe par "paquets" de 10, 100, ou 1000 selon la taille de chaque "ligne".

Une autre solution serait sans doute d'utiliser les transactions.


B. T'es vraiment certain de ne pas pouvoir faire tout via MySQL ?

C. bah... voir réponse A.

 

[2dm]

Idem que bool

Sauf que là :
- on ne sait pas ce que fait ton programme (log/stat/monitoring, ... ?)
- on ne sait pas ce qui est bloquant
- on ne sait pas ce que tu veux optimiser (ton archi, ton temps de traitement, ...)

Si tu fais des opérations complexes sur les données, peut-être que tu dois envisager une étape supplémentaire. Par exemple tu pourrais compiler des sous-analyses sur une période réduite (tous les 5 minutes). Ainsi lorsque tu ferais ta maj toutes les heures, tu n'aurais qu'à agréger les résultats précédents.