[Dédié] Importer une base de 4 Go ?

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par mowmow, 27 Juin 2007.

  1. mowmow
    mowmow WRInaute impliqué
    Inscrit:
    3 Novembre 2004
    Messages:
    865
    J'aime reçus:
    0
    Bonjour,

    J'ai actuellement un problème qui concerne mon serveur dédié. J'ai uploadé 46 fichiers de 100 Mo chacun sur mon serveur, et j'essaie de les réunir via un script. Le problème est qu'il semble y avoir une limite de 2 Go sur les fichiers. Est-il possible de créer un fichier de 4 Go sur un serveur Kimsufi ? Sinon j'avais pensé à faire un script sous SSH qui utiliserais mysqldump et une concaténation des deux fichiers de 2 Go en même temps, mais je n'ai pas assez de connaissances pour faire ca, si quelqu'un a une idée :)

    Merci d'avance pour votre aide.

    [EDIT] Apparament Apache ne peut pas gérer plus les fichiers de plus de 2 147 483 647 octets, quelqu'un a une solution ?
     
  2. Ohax
    Ohax WRInaute accro
    Inscrit:
    5 Juillet 2004
    Messages:
    4 900
    J'aime reçus:
    0
    Personnellement j'utilise le Webmin pour importer ou exporter des bases sans limite de quota.

    Mais le webmin n'étant plus supporté par la dernière version de debian (4.0 - Etch) j'ai du fouiller pour trouver le paquet .deb (que je conserve précieusement sur 2 HD :D).

    En gros je serais également intéressé par une alternative à Webmin pour importer et exporter mes bases de donnée en tout quiétude.

    Webmin le fait mais peut-être plus pour très longtemps...
     
  3. mowmow
    mowmow WRInaute impliqué
    Inscrit:
    3 Novembre 2004
    Messages:
    865
    J'aime reçus:
    0
    Bah en fait j'en suis même pas au niveau de l'exportation dans la base, parce qu'il semble y avoir une limite sur le disque même au niveau de la taille (limite de 2 Go !) donc je sais pas trop comment m'y prendre. Mon script arrête de réunir les fichiers une fois qu'il a atteint cette limite.
     
  4. keitboor
    keitboor WRInaute occasionnel
    Inscrit:
    19 Juillet 2004
    Messages:
    268
    J'aime reçus:
    0
    Moi ce que j'ai fais, j'ai pris directement les fichiers sources. Je ne sais pas si ca marchera avec vous mais je vous explique comment je procède.
    en ssh :
    Code:
    cd /var/lib/mysql (Dossier des fichiers sources des bdd (.MYI, .MYD, .frm, db.opt))
    tar cvf mysql.tar * (Vous avez toutes vos bdd taré)
    
    Vous reste plus qu'a up ca sur le nouveau serv dédié puis
    Code:
    cd /var/lib/mysql
    tar xvf mysql.tar
    Voilà, j'espère que ca fonctionnera pour vos grosses BDD ;)

    EDIT
    J'oubliais aussi, si vous bossez en root faut remettre mysql en owner et groupe :
    Code:
    cd /var/lib/mysql
    chown -R mysql *
    chgrp -R mysql *
    EDIT 2
    Je connais un pote bien calé en serveur dédié je vais lui demandé pour la limite ;)
     
  5. FloBaoti
    FloBaoti WRInaute impliqué
    Inscrit:
    30 Avril 2006
    Messages:
    640
    J'aime reçus:
    0
    Pourquoi Apache est mélé à ce traffic ? :lol:

    Le mieux est d'utiliser MySQL en ligne de commande pour sauvegarder/restaurer des grosses tables.
    Code:
    mysql -u USERNAME -p DATABASE < FILE.sql
     
  6. Morph1er
    Morph1er WRInaute occasionnel
    Inscrit:
    7 Juillet 2004
    Messages:
    280
    J'aime reçus:
    0
    Si tu as une limitation de 4Go, c'est que ton disque dur est en Fat32.
     
  7. ACth
    ACth WRInaute impliqué
    Inscrit:
    11 Novembre 2006
    Messages:
    686
    J'aime reçus:
    0
    Et en NTFS quelle est la limite ?
     
  8. keitboor
    keitboor WRInaute occasionnel
    Inscrit:
    19 Juillet 2004
    Messages:
    268
    J'aime reçus:
    0
    Tu as pas d'erreur quand ton script se stop mowmow ?
     
  9. FloBaoti
    FloBaoti WRInaute impliqué
    Inscrit:
    30 Avril 2006
    Messages:
    640
    J'aime reçus:
    0
    http://en.wikipedia.org/wiki/NTFS
     
  10. mowmow
    mowmow WRInaute impliqué
    Inscrit:
    3 Novembre 2004
    Messages:
    865
    J'aime reçus:
    0
    J'ai une limite de 2 giga, ma base en fait 4.6. Mon seul problème n'est pas l'upload, c'est la reconstruction du fichier à partir des fichiers découpés. Je cherche donc un truc du style en shell :
    Code:
    mysqldump < (concaténation de deux fichiers ou 3 fichiers de 1 Go)
    
    La solution de prendre directement les fichiers sql revient au même, ca revient toujours à prendre le fichier de 4 Go :)

    Pour ce qui est de mon script, oui j'ai une Internal Error 500 quand le fichier atteint 2 Go.
     
  11. FloBaoti
    FloBaoti WRInaute impliqué
    Inscrit:
    30 Avril 2006
    Messages:
    640
    J'aime reçus:
    0
    Ben comment sont découpés tes fichiers ?? Tu les restaure un par un, s'ils sont bien coupés.
     
  12. Morph1er
    Morph1er WRInaute occasionnel
    Inscrit:
    7 Juillet 2004
    Messages:
    280
    J'aime reçus:
    0
    Dans tous les cas, je ne vois même pas le rapport entre php et mysql sur une sauvegarde et une restauration de bdd...

    Il y a une commande simple qui est mysqldump.

    http://www.journaldunet.com/developpeur ... dump.shtml

    Et que tu es 1 ou 50 fichier c'est pareil, mysqldump ne bronchera pas.
     
  13. mowmow
    mowmow WRInaute impliqué
    Inscrit:
    3 Novembre 2004
    Messages:
    865
    J'aime reçus:
    0
    C'est ce que je fais ... Mais j'ai 46 fichiers de 100 Mo, une limite de 2 Go par fichier, et un seul fichier à faire. Fais le calcul, j'ai un problème :)

    J'ai donc besoin d'une commande shell pour donner à mysqldump un fichier qui est une concaténation de deux autres de 2 Go.
     
  14. julienr
    julienr WRInaute impliqué
    Inscrit:
    5 Août 2003
    Messages:
    939
    J'aime reçus:
    2
    un rapport avec un php mysql serait de faire un script qui ouvre tes fichiers un par un, qui lit bloc par bloc et qui execute via un mysql_query :)
     
  15. Topsitemaker
    Topsitemaker WRInaute impliqué
    Inscrit:
    19 Novembre 2006
    Messages:
    527
    J'aime reçus:
    0
    Bonjour,
    C'est bien sous linux / Unix ton OS ?

    pour la concaténation l'instruction cat te sera utile

    cat FICHIER1 FICHIER2 ... FICHIERn > gros_fichier

    tu as aussi tac pour inverser la lecture des fichiers ou zcat pour décompresser les fichiers à la volée
     
  16. chava2b
    chava2b WRInaute occasionnel
    Inscrit:
    5 Décembre 2003
    Messages:
    288
    J'aime reçus:
    1
    la commande shell pour concatener des fichiers sous linux c'est "cat" . donc :

    Code:
    cat fichier1 fichier2 > fichier3
    
    mais il y aura toujours le probleme des 2Go que tu ne pourras pas depasser...
     
  17. julienr
    julienr WRInaute impliqué
    Inscrit:
    5 Août 2003
    Messages:
    939
    J'aime reçus:
    2
    sinon, as tu essayé ceci ?
    Code:
    mysql -u USERNAME -p DATABASE < FILE4.sql < FILE3.sql < FILE2.sql < FILE1.sql
    
     
  18. Topsitemaker
    Topsitemaker WRInaute impliqué
    Inscrit:
    19 Novembre 2006
    Messages:
    527
    J'aime reçus:
    0
    Ca semble bizarre cette restriction sous linux, à moins qu'il a une vieille version de linux. De mémoire la dernière fois que j'ai vu cette restriction c'était sous redhat 9.

    C'est clair qu'il y a des solutions, par exemple alimenter la base avec un fichier compressé avec zcat. avec un peu de chance le fichier compressé sera < 2Go.

    ou encore utiliser dd avec cat et un pipe
    cat fichier1 fichier2 | dd ...
     
  19. NextGeneration
    NextGeneration WRInaute occasionnel
    Inscrit:
    27 Septembre 2006
    Messages:
    300
    J'aime reçus:
    0
    ou alors faire les coupures proprement dans le dump et importer par parties... jvois pas ou est le probleme
     
  20. blman
    blman WRInaute accro
    Inscrit:
    5 Septembre 2003
    Messages:
    2 719
    J'aime reçus:
    3
    Je dis peut-être une connerie, mais le ridicule ne tue pas (en tout cas, il n'a encore pas eu ma peau) : Un logiciel style MySQL-front ne vous suffirais pas ?
     
  21. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 274
    J'aime reçus:
    0
    une fois incorporé dans la bdd, si les fichiers de cette base de données dépassent les 2 Go, le problème sera le même
     
  22. julienr
    julienr WRInaute impliqué
    Inscrit:
    5 Août 2003
    Messages:
    939
    J'aime reçus:
    2
    ca serait 2Go par table et peut être que ses data sont partitionnées dans pleins de tables ?
     
  23. rog
    rog WRInaute passionné
    Inscrit:
    21 Septembre 2006
    Messages:
    1 346
    J'aime reçus:
    0
    je ne vois pas trop comment trouver une solution à un probleme dont on ne connait pas la cause exacte

    normalement un simple scp fait tranquilement l'affaire

    rog
     
  24. mowmow
    mowmow WRInaute impliqué
    Inscrit:
    3 Novembre 2004
    Messages:
    865
    J'aime reçus:
    0
    Je viens de lire toutes vos réponses, je vais essayer demain, mais c'est vrai que j'avais complètement oublié le problème du fichier myd mysql, parce que même si j'arrive à importer la base je suis pas sûr que je puisse avoir une base de 4 Go étant donné que tout est stocké dans le même fichier... Le problème des 2 Go vient dans tous les cas d'apache qui gère pas les fichiers > 2 Go.
     
  25. NextGeneration
    NextGeneration WRInaute occasionnel
    Inscrit:
    27 Septembre 2006
    Messages:
    300
    J'aime reçus:
    0
    mais quel rapport entre mysql et apache ?

    Ton dump mysql passe pas par apache ni dans un sens ni dans l'autre
     
  26. mowmow
    mowmow WRInaute impliqué
    Inscrit:
    3 Novembre 2004
    Messages:
    865
    J'aime reçus:
    0
    Avant même de pouvoir dumper il faut que je réunisse les fichiers en un seul, mais le fichier est trop gros pour apache.
     
  27. FloBaoti
    FloBaoti WRInaute impliqué
    Inscrit:
    30 Avril 2006
    Messages:
    640
    J'aime reçus:
    0
    Quel est le rapport avec Apache ?!?

    Tes fichiers sont coupés comment (est-ce qu'une requete peut-être coupée en 2 ou un fichier se termine bien avec une requete complète) ?

    Si les fichiers ne sont pas coupés n'importe comment, tu les restaure un par un et c'est bon.

    Mais je ne vois pas du tout ce que viens faire Apache là-dedans, tout se passe en ligne de commande. Et tu envoies tes fichiers par FTP ...
     
Chargement...
Similar Threads - [Dédié] Importer base Forum Date
[Dédié] Changer d'IP sans attendre la propagation des DNS Administration d'un site Web 13 Mars 2008
[dedie] Supprimer log de access.log et error.log apache Administration d'un site Web 11 Avril 2007
[Dédié] Taille des process apache Administration d'un site Web 10 Avril 2007
[Dédié] Lenteurs alors que tout paraît OK Administration d'un site Web 8 Avril 2007
[Dédié] Ralentissement réseau TCP/IP Administration d'un site Web 3 Novembre 2005
[dédié] serveur surchargé Administration d'un site Web 29 Septembre 2005
Importer les rapports Google Analytics sur une admin privée Google Analytics 19 Janvier 2020
Importer ses contacts Gmail dans Twitter (invitations) Twitter 21 Mars 2019
Comment importer ses stats sur une nouvelle vue ? Google Analytics 1 Décembre 2016
Plus possible d'importer contacts.csv sur facebook ? Facebook 23 Octobre 2015
Importer des contacts emails sur FB pour inciter à aimer la page ? Facebook 28 Septembre 2015
Importer Blogger sur Wordpress. Développement d'un site Web ou d'une appli mobile 9 Juillet 2015
Impossible d'importer une Bbd sql chez Ovh mutualisé Administration d'un site Web 17 Juin 2015
importer des photos depuis facebook sans wordpress Développement d'un site Web ou d'une appli mobile 22 Avril 2015
importer un fichier excel et enregistrer son contenu dans ma base de données mysql Développement d'un site Web ou d'une appli mobile 15 Mars 2015
roundcube importer des messages Administration d'un site Web 4 Décembre 2014
backup sql, importer un fichier dump pour recréer une table sql Administration d'un site Web 31 Mars 2014
Importer des emails : social auth Développement d'un site Web ou d'une appli mobile 5 Septembre 2013
différence entre importer une feuille de style et faire référence Développement d'un site Web ou d'une appli mobile 25 Août 2013
Comment importer une base MySQL pour Wordpress Débuter en référencement 18 Août 2013