Хранение большого количества файлов и быстрый доступ к ним

мне надо хранить загружаемые файлы чтобы доступ к любому файлу был очень быстрым. т.к. пути к файлом и список файлов пользователя хранится в базе. имеет ли разница между хранением:
1. /files/ - тут все файлы всех пользователей
2. /files/user_id/ - тут файлы конкретного пользователя
?
Заранее спасибо

0

Сообщение от vvsh 1. /files/ - тут все файлы всех пользователей

думаю так будет лутше. потом работаете с файлом в етой папке для конкретного пользователя. естли же нужно искать то вы будете искать в одной папке, и естли найдёте можете сразу приступать к работе.
В инном случаи вам прийдётся искать папку, потом переходить в неё и работать с файлом, сохранять и опьять выходить, а на ето теряется времья работы.

0

да ничего там не теряется
лучше в одну кучу все не складывать
делай /files/user_id/

а вообще все сильно зависит от того - СКОЛЬКО у тебя будет этих файлов

0

пока у каждого пользователя с расширенными правами есть максимум 200 мб, кол-во файлов не ограничено.

0

Как известно в одной папке не стоит хранить большое количество файлов т.к. очень быстро может произойти сбой в системе или попросту файлы будут очень медленно считываться.

Для решения этой задачи многие программисты берут md5 имени файла f789f789abc898d6892df98d09a8f8, после чего разбивают имя примерно таким образом:

/f7/89/f789abc898d6892df98d09a8f8.jpg

Математика тут очень проста - один символ это 16 вариантов.
Таким образом 2 символа это уже 16*16=256 вариантов.
В нашем случае у нас 2 вложенности по 2 символа, таким образом максимальное количество папок будет 256*256=65536 папок.
Если нам потребуется сохранить 1000000 файлов то число файлов в каждой папке не превысит 1000000/65536=15 файлов.

Да, вариант прост, но что если нам требуется не только хорошо сохранять файлы, но и еще быстро их находить?

Например у нас социальная сеть и мы хотим для каждого пользователя создать отдельную папку с номером его id и хранить в ней файлы которые в свою очередь тоже имеют свой id.
И для нас важно не только сохранить файл но и быстро найти где он лежит по его id.

Для решения этой задачи я написал класс, который позволяет сохранять на сервере большое количество файлов или папок в древовидной структуре папок.

Вот какую структуру создает класс:



Древовидная структура. Хранение много файлов в папке.

Чтобы посчитать максимально число файлов которое уместится в этой структуре нужно возвести максимальное количество файлов в папке в степень количества ветвей плюс один.

На изображении мы видим 2 ветви и по 3 файла в каждой папке.
Таким образом 3 нужно возвести в степень 2+1 - 3*3*3=27 файлов.

Для сохранения не более 1000000 файлов в такой структуре нам хватит 2 ветви по 100 файлов в каждой папке (100*100*100).

В класс нужно передать массив параметров - путь к папке где будет строиться дерево, максимальное число файлов в папке, число ветвей, либо можно применить паттерн максимального числа файлов, который уже был заранее просчитан - bigint, int, mediumint, smallint:

array('upload_dir'=>Q_PATH.'/uploads/','max_file_count'=>1000,'branches'=>2,' pattern'=>'')

Сам класс можно скачать по ссылке:
Класс построения дерева папок

179_pnj809zpm.zip

Для варианта социальной сети описанной выше, требуется 2 раза использовать класс: вначале для построения дерева папок, потом для построения в каждой папке дерева для файлов.