Mise à jour flux produit trop long

[NikyBee]

Bonjour

Je dois mettre à jours les différents flux produits pour mon site tous les jours.

Mais cela prend trop de temps
J ai 300 000 produits est cela met +de 24 heures
Comment je accélérer la mise à jours
Avez vous une idée car je suis un peu perdu

voici les infos de mon serveur
Processeur AMD Quad-Core
Fréquence 4 cœurs x 2,1 Ghz
Mémoire vive 4 Go DDR2
Disques durs 750 Go (2 x 750 Go SATA)
RAID Software RAID 1

Merci de votre aide

 

[Bool]

Bonjour,

il faudrait déjà essayer de voir à quel endroit ça coince. Ton "flux produit", on parle de Prestashop ? Magento ? autre ?
La BDD, il s'agit de MySQL ? autre ?
As-tu activé les logs des requêtes lentes sur la BDD justement ?

De manière générale, as-tu du monitoring sur ton serveur (Nagios, Cacti, Munin, Zabbix, etc) ?

 

[longo600]

Bonjour,

Sur le principe, si chaque produit fait l'objet d'une requete réseau, c'est déjà mal parti, a moins d'avoir une batterie de machines ou d'être connecté de bout en bout avec toutes les sources en fibre optique.

Dans ce cas, il faut passer par des fichiers formatés que tu télécharge automatiquement et que ta base analyse pour traiter chaque ligne. Si tu as 100 fournisseurs, tu n'a que 100 fichiers dont l'extraction et le traitement des 300 000 lignes au total ne prendra que quelques minutes.