memcached на файлах

@webtech · Регистрация: 30.11.2009

Студворк — интернет-сервис помощи студентам

Приветствую !

Обращаюсь с просьбой помочь. Я устраиваюсь на новую работу. А там тестовое задание.

Сразу разделяю Ваше негодование. Тестовое - значит сам должен сделать. Но я ни в коем случае не прошу его за меня решать или что-либо подобное.

Просто не могу просечь "фишку" задания. То есть что же хочет проверить работодатель. Может хотят увидеть развитую систему классов ? А может грамотную алгоритмизацию ? А может еще что ? Надеюсь кто-то из более опытных людей сможет что-либо подсказать.

Вот, собственно, и само задание:

Напишитe клаcc (клaccы) нa php, рeaлизующий мeхaнизм хрaнeния дaнных в cтилe memcached, пригoдный для иcпoльзoвaния нa выcoкoнaгружeнных прoeктaх. Ключ, для прocтoты, цeлoчислeнный. Кoличecтвo хрaнимых зaписeй, миллиoны штук. Рeaлизуйтe хрaнeниe дaнных в фaйлoвoй систeмe. Рeaлизуйтe хрaнeниe дaнных в sql бaзe. Рeaлизуйтe мeхaнизм oчистки кeшa от уcтaрeвших зaпиceй. Тoчнocть уcтaрeвaния 1 чаc.

Самая большая сложноcть: как это сделать в файловой системе. memcached - это по сути дела большая распределенная хэш-табличка. Где есть 2 основных метода: get(key) и set(key, value). В случае файлов, у меня всё утыкается в изменение/удаление данных. Допустим мы создали три записи:

PHP
1
2
3
set('key1', '1000');
set('key2', '1000');
set('key3', '1000');

Это все хранится в файле. Допустим теперь нам надо изменить значение для ключа 'key2' и новое значение будет длиннее старого. Например сделать:

PHP
1
set('key2', '99999999');

Т.к. мы работаем с файлами, то мы не можем просто "раздвинуть" границы для хранения нового значения. Или я ошибаюсь ?

По сути дела тут единственный выход - взять из файла всё, что находится до 'key2', скопировать в tmp-файл, дописать в него новое значение 'key2', затем дописать остаток из исходного файла и заменить исходный файл. Ну и стереть tmp-файл.

Только с учетом объемов ("миллионы штук"), у нас могут появиться довольно-таки здоровенные файлы в несколько сотен метров, с которыми будут проблемы. Не думаю, что разумно двигать сотни мегабайт, ради того, чтобы вставить лишние сто килобайт в середину файла. Это не хорошо с точки зрения производительности. Или я ошибаюсь ?

Кроме того, если у нас под кеш выделен допустим 1 гиг. Мы его забили на 1000 метров. Теперь нам надо в эти 1000 метров запихать 100КБ куда-нибудь в середину. Как мы создадим tmp-файл на 1000 метров ? 1000+1000 = 2000, а это уже явно больше выделенного 1 гигабайта.

С удалением та же беда. Нельзя же просто выкинуть кусок из файла. Опять таки придется пересохранять.

Вариант "создавать по 1 файлу на каждое значение кеша" - тоже не вариант. Несколько миллионов файлов ради кеша - явно не дело.

Если считать, что я тут нигде не ошибся и все верно. Тогда по заданию вообще придется писать что-то вроде своего file-based DB-engine (типа sqlite). С грамотным разделением записей по файлам и всевозможными оптимизациями. Но это ж как-то слишком мастабно. Может я слишком сильно заморачиваюсь ?

Спасибо за то, что дочитали до конца и за любую помощь.

@solar_wind · 30.11.2009, 09:12

Ну можно например создать индексный файл, в котором будут записаны смещения в файле данных.
Тогда новую запись ты добавляешь в конец файла данных, а в индексном файле модифицируешь только адрес.

@webtech · 30.11.2009, 13:09 **[ТС]**

Сообщение от vitaly1981

Ну можно например создать индексный файл, в котором будут записаны смещения в файле данных.
Тогда новую запись ты добавляешь в конец файла данных, а в индексном файле модифицируешь только адрес.

Тоже так думал. Но тогда встает проблема (одна из проблем точнее

): что делать со старыми записями, когда размер файла с данными, превысит лимит отведенный под кэш.

@solar_wind · 30.11.2009, 13:42

В общем случае можно организовать подобие файловой системы. Ненужные области будут помечаться как удаленные и будут заменяться новыми данными. Такой подход используется в некоторых СУБД.

@webtech · 30.11.2009, 14:38 **[ТС]**

Сообщение от vitaly1981

В общем случае можно организовать подобие файловой системы. Ненужные области будут помечаться как удаленные и будут заменяться новыми данными. Такой подход используется в некоторых СУБД.

Вот оно к тому и идет. К своему велосипеду в виде СУБД на файлах. Перебор для тестового задания. Коллективный разум с других форумов:

http://www.rsdn.ru/forum/web/3620485.aspx
http://forum.sources.ru/index.php?showforum=218

подсказывает решение проблемы в виде "по 1 файлу на каждый ключ". Думаю попробовать в этом направлении.

@solar_wind · 30.11.2009, 14:43

webtech, по 1 файлу на каждый ключ плохой вариант. В файловой системе существует ограничение на количество файлов, ты просто "загадишь" файловую систему......

@webtech · 30.11.2009, 15:30 **[ТС]**

Сообщение от vitaly1981

webtech, по 1 файлу на каждый ключ плохой вариант. В файловой системе существует ограничение на количество файлов, ты просто "загадишь" файловую систему......

Оказалось что не так уж все плохо: http://forum.sources.ru/index.php?showtopic=174102

@solar_wind · 30.11.2009, 17:49

Это если на серваке нет других задач, а только твоя прога может использовать все рессурсы

Новые блоги и статьи Все статьи Все блоги /
Отправка уведомления на почту при изменении наименования справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .	модель ЗдравоСохранения 5. Меньше увольнений- больше дохода! anaschu 24.03.2026 Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .	Midnight Chicago Blues kumehtar 24.03.2026 Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .	SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++ 8Observer8 24.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip
Жизнь в неопределённости kumehtar 23.03.2026 Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .	Модель здравоСохранения: работники работают быстрее после её введения. anaschu 23.03.2026 geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .	Контроль уникальности заводского номера Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере нетипового документа выдачи шин для спецтехники с табличной частью, разработанного в конфигурации КА2. Данные берутся из. . .	Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 22.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git

@solar_wind 770 / 760 / 59 Регистрация: 06.07.2009 Сообщений: 3,021
	30.11.2009, 09:12
	Ну можно например создать индексный файл, в котором будут записаны смещения в файле данных. Тогда новую запись ты добавляешь в конец файла данных, а в индексном файле модифицируешь только адрес. 0

@solar_wind 770 / 760 / 59 Регистрация: 06.07.2009 Сообщений: 3,021
	30.11.2009, 13:42
	В общем случае можно организовать подобие файловой системы. Ненужные области будут помечаться как удаленные и будут заменяться новыми данными. Такой подход используется в некоторых СУБД. 0

@solar_wind 770 / 760 / 59 Регистрация: 06.07.2009 Сообщений: 3,021
	30.11.2009, 14:43
	webtech, по 1 файлу на каждый ключ плохой вариант. В файловой системе существует ограничение на количество файлов, ты просто "загадишь" файловую систему...... 0

@solar_wind 770 / 760 / 59 Регистрация: 06.07.2009 Сообщений: 3,021
	30.11.2009, 17:49
	Это если на серваке нет других задач, а только твоя прога может использовать все рессурсы 0