Gérer la gestion des images uploadée

[Bema]

Bonjour à tous,

J'aimerais savoir comment gérer physiquement sur le serveur, une gestion de photos uploadée par l'ensemble des membres.

Si j'ai un répertoire UPLOADED sur mon serveur.
est-ce que vous mettriez toutes les photos des membres dans ce meme répertoire ou est-ce que vous créeriez un répertoire personnel pour chaque membre lors de l'inscription ???

C'est une question que je me demande quand je vois les site de blogs genre skyblog qui doivent gérer des millions de photos ... je me demande comment concrétement ils gèrent ca sur leur serveur

voila merci de m'avoir lu
bien à vous

Maurice

 

[Rod la Kox]

Les 2 solutions sont viables.

Soit un répertoire par membres.
Soit un unique répertoire avec un renommage de chaque photo uploadée en pseudo-xxx.ext

 

[Bema]

bonsoir Rod la Kox,

merci pour ta réponse,
mais imagine le cas ou le site aurait 1 millions de membres
dans un solution ca voudrait dire créer 1 millions de répertoire avec les photos de dans
et dans l'autre tout laisser a la racine, avec peut etre 10 à 100 photos par membres dans le cas d'un blog
un moment on va atteindre une limite physique au niveau des disques non ?
est-ce qu'une des 2 solutions est moins bien supportée par linux ?

bien à vous

Maurice

 

[Rod la Kox]

Sachant qu'à chaque fois que tu crées un répertoire, c'est quelques octets d'utilisé... 1 millions de membres...

Coté Linux, je passe la main. ;-)

 

[Marie-Aude]

Je pense que quand tu en es à des millions de membres, tu as de quoi te payer une architecture complexe, et tu parles plus de "serveurS" que de serveur.

Sinon, pour info, sur un truc qui est dans la même problématique... overblog stocke dans un unique répertoire toutes les pièces jointes de tous ses blogs, et fait ensuite des alias.

 

[slek]

Plusieurs membres par dossier

Tu peux enregistrer plusieurs membres dans un dossier et tous les 500 membres tu crées un nouveau dossier.

Cela évite de créer trop de dossier ou d'avoir un seul dossier énorme que tu ne pourra même plus ouvrir quand tu dépassera les 10.000 photos dans un même dossier.

Avec l'id du membre tu définis une règle pour savoir dans quel répertoire ses photos se trouvent.

 

[ltressens]

Sinon tu découpes l'id :

id 1234 : rep 00/12/34/
id 9654 : rep 00/96/54/
id 14654 : rep 01/46/54/
etc...

 

[Bema]

merci à tous pour vos idées.
j'aime assez bien l'idée de regrouper les membres dans un répertoires qui changerait tous les X mebmres
je me posais la question pour ca parceque je me dis que si je démarre dans une certaine voie ... a partir d'un moment je ne saurais plus faire marche arrière ...
ou difficillement en tout cas

 

[DadouDuck]

La problématique, c'est que cela ralenti le serveur d'avoir trop de fichiers dans un même dossier et que le système de fichiers EXT3 (souvent utilisé sur les serveurs web) a par construction une limite de 32000 entrées par répertoire.

Si Bool passe par la, il pourra le confirmer

Le mieux c'est une arbo type

/d/dadouduck/

 

[proceau]

Sinon, pour info, sur un truc qui est dans la même problématique... overblog stocke dans un unique répertoire toutes les pièces jointes de tous ses blogs, et fait ensuite des alias.

Certain que non.

 

[YoyoS]

La problématique, c'est que cela ralenti le serveur d'avoir trop de fichiers dans un même dossier et que le système de fichiers EXT3 (souvent utilisé sur les serveurs web) a par construction une limite de 32000 entrées par répertoire.

J'ai entendu dire que la limite était bien plus haute que ça sous unix. Si tu essayais de remplir un dossier de fichiers, tu remplirais ton disque dur avant même de l'atteindre :/ D'ou ça sort les 32000 entrées ? Meme en FAT32 tu peux y mettre le double :s

 

[blackhawker]

c'est 32000 par défaut, ça veut pas dire qu'on ne peut pas l'augmenter...

 

[FloBaoti]

Les 32000, je crois que vous confondez avec le nombre de sous-répertoires dans un répertoire.
Je n'ai jamais entendu parlé d'une limite si faible concernant le nombre de fichiers.
Mais c'est clair que plus il y a de fichiers dans un répertoire, plus l'accès à celui-ci est long.

Edit: cf http://answers.google.com/answers/threadview?id=122241

 

[Bema]

merci à tous pour vos réponses
donc le mieux ce serait que je regroupe les membres
en faisant un répertoire pour 500 - 1000 membres
si l'accessibilité devient lente avec le nombre de fichier
vous connaissez le nombre limite de fichier avant d'atteindre cette lenteur ?
ou en tout cas un ordre de grandeur ?
j'aime bien cette conversation c'est intéressant de voir toutes les approches
merci en tout cas pour vos réponses et continuez a donner des idées
ou des détails techniques si vous enavez
bien a vous

Maurice

 

[YoyoS]

Moi je ferais 1membre - 1dossier dans le cas ou tu comptes avoir beaucoup de pieces jointes

Et 1 dossier pour tout le monde si c'est un seul truc uploadé par personne.

 

[snowman]

Pourquoi pas un répertoire par date

du genre year/mois/jour/touteslesphotos

A mon avis c'est ce qu'il y a de mieux et de plus simple à faire.

 

[DadouDuck]

Les 32000, je crois que vous confondez avec le nombre de sous-répertoires dans un répertoire.

En effet, il s'agit du nombre de sous-repertoires.

Donc si par défaut on créé un dossier par membre, on risque si il y a succès d'atteindre rapidement cette limite

d'où ma proposition de :

/d/dadouduck/
et
/f/flobaoti/
/y/yoyos/
/b/bema/

voire

/d/a/dadouduck
/f/l/flobaoti
/y/o/yoyos/
/b/e/bema/

Pourquoi pas un répertoire par date

du genre year/mois/jour/touteslesphotos

A mon avis c'est ce qu'il y a de mieux et de plus simple à faire.

Bah non justement, demain un membre se désinscrit, ce ne va pas être simple de supprimer toutes ses photos

 

[Bema]

oui c'est ce que je me disais aussi
la solution un dossier par membre etait la plus "propre"
mais après oui, si il y a succès, 1 million de membres ca ferait 1 millions de dossiers ... => risque également de lenteur

 

[DadouDuck]

Non, car avec ce que j'ai expliqué des sous, voire sous sous dossier, tu permet au système d'aller plus rapidement la ou il doit aller (moins de tri a faire)

 

[Bema]

oui oui DaDouDuck ma réflection venait de la proposition faite avant la tienne... c'est une bonne idée que tu as
merci

 

[Bool]

De ce que j'ai compris c'est une limitation à 32'000 sous dossiers "directs" par dossier (comme l'indique FloBaoti).
Mais ça n'empêche pas qu'avoir 100'000 fichiers dans un même dossier ralenti énormément certains traitements ; d'où la méthode de découpage énoncée par ltressens et DadouDuck, qu'on retrouve dans pas mal de solution de stockage (hébergeurs mutualisés, stockage d'images, solutions de cache fichiers, pool du serveur de mail, sessions PHP, etc).

Edit : pinaise j'avais loupé plein de message, du coup ma réponse fait un peu beaucoup redondance, désolé