[Dédié] Importer une base de 4 Go ?


mowmow
WRInaute impliqué
WRInaute impliqué
 
Messages: 975
Inscription: 3 Nov 2004

[Dédié] Importer une base de 4 Go ?

Message le Mer Juin 27, 2007 10:05

Bonjour,

J'ai actuellement un problème qui concerne mon serveur dédié. J'ai uploadé 46 fichiers de 100 Mo chacun sur mon serveur, et j'essaie de les réunir via un script. Le problème est qu'il semble y avoir une limite de 2 Go sur les fichiers. Est-il possible de créer un fichier de 4 Go sur un serveur Kimsufi ? Sinon j'avais pensé à faire un script sous SSH qui utiliserais mysqldump et une concaténation des deux fichiers de 2 Go en même temps, mais je n'ai pas assez de connaissances pour faire ca, si quelqu'un a une idée :)

Merci d'avance pour votre aide.

[EDIT] Apparament Apache ne peut pas gérer plus les fichiers de plus de 2 147 483 647 octets, quelqu'un a une solution ?
Dernière édition par mowmow le Mer Juin 27, 2007 10:42, édité 1 fois.


Ohax
WRInaute accro
WRInaute accro
 
Messages: 6406
Inscription: 5 Juil 2004

Message le Mer Juin 27, 2007 10:24

Personnellement j'utilise le Webmin pour importer ou exporter des bases sans limite de quota.

Mais le webmin n'étant plus supporté par la dernière version de debian (4.0 - Etch) j'ai du fouiller pour trouver le paquet .deb (que je conserve précieusement sur 2 HD :D).

En gros je serais également intéressé par une alternative à Webmin pour importer et exporter mes bases de donnée en tout quiétude.

Webmin le fait mais peut-être plus pour très longtemps...


mowmow
WRInaute impliqué
WRInaute impliqué
 
Messages: 975
Inscription: 3 Nov 2004

Message le Mer Juin 27, 2007 10:29

Bah en fait j'en suis même pas au niveau de l'exportation dans la base, parce qu'il semble y avoir une limite sur le disque même au niveau de la taille (limite de 2 Go !) donc je sais pas trop comment m'y prendre. Mon script arrête de réunir les fichiers une fois qu'il a atteint cette limite.

keitboor
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 328
Inscription: 19 Juil 2004

Message le Mer Juin 27, 2007 11:05

Moi ce que j'ai fais, j'ai pris directement les fichiers sources. Je ne sais pas si ca marchera avec vous mais je vous explique comment je procède.
en ssh :
Code: Tout sélectionner
cd /var/lib/mysql (Dossier des fichiers sources des bdd (.MYI, .MYD, .frm, db.opt))
tar cvf mysql.tar * (Vous avez toutes vos bdd taré)


Vous reste plus qu'a up ca sur le nouveau serv dédié puis
Code: Tout sélectionner
cd /var/lib/mysql
tar xvf mysql.tar


Voilà, j'espère que ca fonctionnera pour vos grosses BDD ;)

EDIT
J'oubliais aussi, si vous bossez en root faut remettre mysql en owner et groupe :
Code: Tout sélectionner
cd /var/lib/mysql
chown -R mysql *
chgrp -R mysql *


EDIT 2
Je connais un pote bien calé en serveur dédié je vais lui demandé pour la limite ;)
Dernière édition par keitboor le Mer Juin 27, 2007 11:11, édité 1 fois.

FloBaoti
WRInaute impliqué
WRInaute impliqué
 
Messages: 755
Inscription: 30 Avr 2006

Message le Mer Juin 27, 2007 11:08

Pourquoi Apache est mélé à ce traffic ? :lol:

Le mieux est d'utiliser MySQL en ligne de commande pour sauvegarder/restaurer des grosses tables.
Code: Tout sélectionner
mysql -u USERNAME -p DATABASE < FILE.sql

Morph1er
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 307
Inscription: 7 Juil 2004

Message le Mer Juin 27, 2007 11:09

Si tu as une limitation de 4Go, c'est que ton disque dur est en Fat32.

ACth
WRInaute impliqué
WRInaute impliqué
 
Messages: 795
Inscription: 11 Nov 2006

Message le Mer Juin 27, 2007 11:13

Morph1er a écrit:Si tu as une limitation de 4Go, c'est que ton disque dur est en Fat32.

Et en NTFS quelle est la limite ?

keitboor
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 328
Inscription: 19 Juil 2004

Message le Mer Juin 27, 2007 11:14

Tu as pas d'erreur quand ton script se stop mowmow ?

FloBaoti
WRInaute impliqué
WRInaute impliqué
 
Messages: 755
Inscription: 30 Avr 2006

Message le Mer Juin 27, 2007 11:16

ACth a écrit:
Morph1er a écrit:Si tu as une limitation de 4Go, c'est que ton disque dur est en Fat32.

Et en NTFS quelle est la limite ?

Max file size:
16 TiB with current implementation (16 EiB architecturally)

http://en.wikipedia.org/wiki/NTFS


mowmow
WRInaute impliqué
WRInaute impliqué
 
Messages: 975
Inscription: 3 Nov 2004

Message le Mer Juin 27, 2007 11:38

J'ai une limite de 2 giga, ma base en fait 4.6. Mon seul problème n'est pas l'upload, c'est la reconstruction du fichier à partir des fichiers découpés. Je cherche donc un truc du style en shell :
Code: Tout sélectionner
mysqldump < (concaténation de deux fichiers ou 3 fichiers de 1 Go)


La solution de prendre directement les fichiers sql revient au même, ca revient toujours à prendre le fichier de 4 Go :)

Pour ce qui est de mon script, oui j'ai une Internal Error 500 quand le fichier atteint 2 Go.

FloBaoti
WRInaute impliqué
WRInaute impliqué
 
Messages: 755
Inscription: 30 Avr 2006

Message le Mer Juin 27, 2007 11:46

Ben comment sont découpés tes fichiers ?? Tu les restaure un par un, s'ils sont bien coupés.

Morph1er
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 307
Inscription: 7 Juil 2004

Message le Mer Juin 27, 2007 11:46

Dans tous les cas, je ne vois même pas le rapport entre php et mysql sur une sauvegarde et une restauration de bdd...

Il y a une commande simple qui est mysqldump.

http://www.journaldunet.com/developpeur ... dump.shtml

Et que tu es 1 ou 50 fichier c'est pareil, mysqldump ne bronchera pas.


mowmow
WRInaute impliqué
WRInaute impliqué
 
Messages: 975
Inscription: 3 Nov 2004

Message le Mer Juin 27, 2007 11:48

C'est ce que je fais ... Mais j'ai 46 fichiers de 100 Mo, une limite de 2 Go par fichier, et un seul fichier à faire. Fais le calcul, j'ai un problème :)

J'ai donc besoin d'une commande shell pour donner à mysqldump un fichier qui est une concaténation de deux autres de 2 Go.


julienr
WRInaute impliqué
WRInaute impliqué
 
Messages: 911
Inscription: 5 Aoû 2003

Message le Mer Juin 27, 2007 12:37

un rapport avec un php mysql serait de faire un script qui ouvre tes fichiers un par un, qui lit bloc par bloc et qui execute via un mysql_query :)


Topsitemaker
WRInaute impliqué
WRInaute impliqué
 
Messages: 583
Inscription: 19 Nov 2006

Message le Mer Juin 27, 2007 12:46

Bonjour,
C'est bien sous linux / Unix ton OS ?

pour la concaténation l'instruction cat te sera utile

cat FICHIER1 FICHIER2 ... FICHIERn > gros_fichier

tu as aussi tac pour inverser la lecture des fichiers ou zcat pour décompresser les fichiers à la volée

[Dédié] Importer une base de 4 Go ?

Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 2 invités