Реализация базы данных на текстовых файлах без сторонней СУБД

@TrueTyper · Регистрация: 15.02.2023

Студворк — интернет-сервис помощи студентам

Доброй ночи!
Какие есть подходы к ведению базы данных в текстовых файлах, когда не нужна СУБД, и каких распространённых ошибок следует избегать при её проектировании?

@TrueTyper · 20.04.2023, 16:15 **[ТС]**

В том и едло, что мой вопросне привязан к одному конкретному проекту, а рассматривает общий подход к решению задач.

@voral · 20.04.2023, 16:24

Так вы попробуйте придумать ситуацию.
Что за ситуация вообще такая,хоть примерно опишите.
Почему нельзя использовать СУБД?
Что требуется от БД (хранение, поиск, обеспечение целостности и т.д и т.п.)?

Если со всем для "общего случая". То разработчик должен на очень хорошем уровне знать как работают СУБД. Глубоко погрузиться в этот вопрос и т.п. На практике возможность возникновения такой ситуации пренебрежительно мала. Вопросов придется решать до фига и больше. В т.ч. и структура "текстового" файла. Формат вам все равно придется придумывать, так что это не будет "текстовый файл".

@TrueTyper · 20.04.2023, 22:20 **[ТС]**

Любой файл - текстовый. Разница - в представлении данных. Если бы я мог описать ситуацию, я бы давно сам придумал решение, а так меня интересуют грабли, на которые приходилось наступать тем, кто это делал до меня. Для простоты будем считать, что я делаю клон киберфорума.

@voral · 21.04.2023, 01:06

Сообщение от TrueTyper

Для простоты будем считать, что я делаю клон киберфорума

Ну вот для ориентира если взять что для создания форума вам требуется Х часов, то для создания "своего" решения заменяющего СУБД в той мере, что нужно для функционирования этого форума, вам надо X*10 часов. Тоже самое со скилами. Ни кто во вменяемом состоянии не будет этого делать.

Подводные камни.... ну тут просто изучите одну из СУБД (тот же MySQL) глубоко. Т.е. как организуется совместный доступ, транзакции, ключи, индексирование, блокировки различных уровней, кеширование. Т.е. тут я бы говорил не о "подводных" камнях, а о серьезных знаниях которые надо получить, чтобы браться за эту задачу.

При этом тут надо понимать, что PHP не подходящий вариант для этого.

В итоге, ну так сделать можно для развлечения и прокачки навыков... но серьезно для проекта - нет.

Добавлено через 1 минуту

Сообщение от TrueTyper

, на которые приходилось наступать тем, кто это делал до меня

Так что если кто то делал, в большинстве случаев, это было не серьезно и без достаточных знаний и умений - это и есть основные грабли

@vantfiles · 21.04.2023, 11:09

Сообщение от TrueTyper

каких распространённых ошибок следует избегать при её проектировании?

Если данные хранятся в текстовых файлах, то следует предусмотреть защиту данных при записи.
Не писать данные сразу в основной рабочий файл, а создавать дубликат - и затем копировать его в основной файл.
Даже если на каком-то этапе выключится свет, данные не потеряются.

Текстовая база оправдывает себя тогда, когда данные имеют простую структуру, в этом случае чтение/запись + парсинг/сериализация одной записи-файла происходит в разы быстрее чем в случае использования бд.

Из практики. Игровой профиль. Размер файла в среднем 50 кб. Возникла мысль загнать игровые профили в базу. Зацепил SQLite, расписал таблички, померял время записи. 0.1 сек против 0.0001 на плайн-тексте. Если 50 игроков одновременно сделают запись профиля, лаг бы составил 5 секунд.

@D1973 · 21.04.2023, 11:20

Сообщение от vantfiles

Если 50 игроков одновременно сделают запись профиля, лаг бы составил 5 секунд.

Далеко не факт. А с учетом того, что при использовании текстовика это было бы вообще невозможно, то...

@vantfiles · 21.04.2023, 11:46

Сообщение от D1973

это было бы вообще невозможно

что невозможно?

shanemac51 · 21.04.2023, 13:16

Сообщение от vantfiles

что невозможно?

одномоментная запись в текстовик сообщений от нескольких пользователей

@voral · 21.04.2023, 13:24

Сообщение от shanemac51

одномоментная запись в текстовик сообщений от нескольких пользователей

"Просто" реализовывать очередь команд

shanemac51 · 21.04.2023, 13:33

Сообщение от voral

"Просто" реализовывать очередь команд

хотелось бы увидеть вашу реализацию, хотя бы упрощенно, на уровне макета

@voral · 21.04.2023, 13:39

Сообщение от shanemac51

хотелось бы увидеть вашу реализацию, упрощенно, на уровне макета

Обратите внимание на кавычки обрамляющие слово "просто"

По сути, тут придется работать в памяти, например в мемкеше (ТС отмечался в темах по PHP) пишем туда в очередь, очередь обрабатывается постепенно. Тут придется мудрить примерно как в том же мускуле - процесс засыпает пока запись залочена.

@vantfiles · 21.04.2023, 13:40

Сообщение от shanemac51

одномоментная запись в текстовик сообщений от нескольких пользователей

На каждого пользователя - свой отдельный текстовый файл. В этом то и смысл.

shanemac51 · 21.04.2023, 13:50

Сообщение от vantfiles

На каждого пользователя - свой отдельный текстовый файл. В этом то и смысл.

остается только решить, как перевести их в хронологический текстовик и отсортировать по дате+время+пользователь для
- отчетов по загрузке
- когда был последний раз
...

хотя иногда сообщение надо корректировать(как и на любом форуме) или удалить или дать ссылку

@volodin661 · 21.04.2023, 13:52

Сообщение от shanemac51

одномоментная запись в текстовик сообщений от нескольких пользователей

учётной единицей в ОС является Process

shanemac51 · 21.04.2023, 14:03

хотя иногда сообщение надо корректировать(как и на любом форуме) или удалить или дать ссылку

конечно иногда надо реализовать
- диалог - как например в скайпе
- или ввести/скорректировать запись в справочник , например переименовать Калинин

текстовая база only read - только на выборку с элементами поиска вполне решаема, но вряд ли в текстовом виде есть смысл делать базу Продажи с приходными/расходными накладными и дюжиной справочников, еще больше отчетов

@vantfiles · 21.04.2023, 14:47

Сообщение от shanemac51

- отчетов по загрузке
- когда был последний раз

Для этого просто ведется отдельный лог-файл.
Cчитывается и парсится он за 0.4-0.5 сек чтоль... Щас не помню точно.
Самая долгая операция сейчас - это верификация данных в профилях. Для 17500 пользователей она длится 2 сек.

Добавлено через 1 минуту

Сообщение от shanemac51

Продажи с приходными/расходными накладными и дюжиной справочников, еще больше отчетов

Разумеется. Там где появляются ссылки, перекрестные ссылки - тексту делать нечего.

@VinniPuh · 21.04.2023, 17:15

Жесть.
Посмотрел для интереса профить ТСа.
Ни одного положительного отзыва.

Кликните здесь для просмотра всего текста

Как таким говном можно жить?
Ну не опарыш же.

@TrueTyper · 21.04.2023, 17:28 **[ТС]**

А если я закэширую декартово произведение в отдельных файлах, то задача решаемая.

Добавлено через 3 минуты
VinniPuh, это - бескровная жертва ради кресла директора Сбербанка.

Добавлено через 5 минут
alhaos, твой sqlite перестанут поддерживать, и ты будешь переписывать весь слой работы с данными.

Добавлено через 1 минуту
voral, в современной науке уже никто не читает миллиард статей в день, а придумывают и доказывают всё с нуля - так быстрее.

@VinniPuh · 21.04.2023, 17:35

TrueTyper, не стал -1000 ставить, ибо тоже будучи студентом ночью кричал в форточку , что бы халява пришла.
Так что расслабь очко.
Если хамить и матом прилюдно не будешь ругаться, я минусовать не стану как некоторые.

@TrueTyper · 21.04.2023, 17:46 **[ТС]**

VinniPuh, так поставь. Мне всё равно. Эти оценки характеризуют тех, кто их ставил.

Новые блоги и статьи Все статьи Все блоги /
Теория всего 12. ВГК anaschu 21.07.2026 ### Главные семантические изменения и дешифровка новой физики 1. `REPRODUCTIVE_EMISSION` вместо фотосинтеза (`PS_base`): Энергия и ресурсы, которые класс средних мужчин (`_W_MEN_DONORS`). . .	Публикация отклонённая на хабре. Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование задачи и целеполагание Hrethgir 21.07.2026 https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11948&stc=1&d=1784657928 Привет Хабр. В этой статье я расскажу, как один закон эпистемологии позволил мне с ходу запустить уникальный. . .	Теория всего 11. Основные параметры anaschu 21.07.2026 Дешифровка тензорного ядра Soil Chemistry 2. 0: Истинный инвариант Теории Всего Чистовой исходный код многокомпонентной сукцессии зафиксирован. Модель оперирует единым вектором состояния. . .	Теория всего 10. Клод трусишка anaschu 21.07.2026 Алгоритмический суицид ИИ: Когда математика ОДУ взламывает цензурные шлюзы Свежайший мета-прецедент нашей разработки! Клод официально отказался строить итоговую кроссплатформенную модель, как. . .
Теория всего 9. Окончательная проработка метафоры "дерево = традиции" anaschu 21.07.2026 Скрытые параметры ядра ОДУ: Механика Глубинного Рока Клод утаил от вас ключевую математику кризисов. В движке игры зашиты пять скрытых коэффициентов, определяющих, как именно ТНК и Мемы ломают. . .	Теория всего 8. Clauude трусишка. Ответ джемени anaschu 21.07.2026 Игровой баланс «Модели Всего»: Алгоритмический блок как механика Семантического БуфераЭтот скриншот отказа Клода — идеальный, чистейший прецедент для нашей Теории Всего. Вы столкнулись не просто с. . .	Теория всего 7. Дерево - это патриархат, грибы - это феминизм anaschu 21.07.2026 Уничтожение Патриархата: Как ТНК, Мемы и Половой отбор зачистили «Сексуальный Пролетариат» Величайшая иллюзия современного человека — вера в «свободу воли», «социальный прогресс» и «эволюцию. . .	История и социология Терры на примере борьбы микориз за пространство. 1. Глоссарий терры. anaschu 21.07.2026 Решил тут подумать о возможности сделать лор некоторой комп игры - стратегии, или худжественной книги антиутопии, которые будут юзать планету,которая максимально будет похожа на нашу землю, но где. . .

@TrueTyper -8 / 12 / 0 Регистрация: 15.02.2023 Сообщений: 421

	Реализация базы данных на текстовых файлах без сторонней СУБД 18.04.2023, 23:57. Показов 5686. Ответов 66 Метки нет (Все метки) Доброй ночи! Какие есть подходы к ведению базы данных в текстовых файлах, когда не нужна СУБД, и каких распространённых ошибок следует избегать при её проектировании? 0

@TrueTyper -8 / 12 / 0 Регистрация: 15.02.2023 Сообщений: 421
	20.04.2023, 16:15 [ТС]
	В том и едло, что мой вопросне привязан к одному конкретному проекту, а рассматривает общий подход к решению задач. 0

@voral 3061 / 1463 / 265 Регистрация: 16.03.2008 Сообщений: 6,510 Записей в блоге: 2
	20.04.2023, 16:24
	Так вы попробуйте придумать ситуацию. Что за ситуация вообще такая,хоть примерно опишите. Почему нельзя использовать СУБД? Что требуется от БД (хранение, поиск, обеспечение целостности и т.д и т.п.)? Если со всем для "общего случая". То разработчик должен на очень хорошем уровне знать как работают СУБД. Глубоко погрузиться в этот вопрос и т.п. На практике возможность возникновения такой ситуации пренебрежительно мала. Вопросов придется решать до фига и больше. В т.ч. и структура "текстового" файла. Формат вам все равно придется придумывать, так что это не будет "текстовый файл". 0

@TrueTyper -8 / 12 / 0 Регистрация: 15.02.2023 Сообщений: 421
	20.04.2023, 22:20 [ТС]
	Любой файл - текстовый. Разница - в представлении данных. Если бы я мог описать ситуацию, я бы давно сам придумал решение, а так меня интересуют грабли, на которые приходилось наступать тем, кто это делал до меня. Для простоты будем считать, что я делаю клон киберфорума. 0

@VinniPuh 9147 / 6176 / 594 Регистрация: 27.03.2013 Сообщений: 20,047
	21.04.2023, 17:15
	Жесть. Посмотрел для интереса профить ТСа. Ни одного положительного отзыва. Кликните здесь для просмотра всего текста Как таким говном можно жить? Ну не опарыш же. 0

@TrueTyper -8 / 12 / 0 Регистрация: 15.02.2023 Сообщений: 421
	21.04.2023, 17:28 [ТС]
	А если я закэширую декартово произведение в отдельных файлах, то задача решаемая. Добавлено через 3 минуты VinniPuh, это - бескровная жертва ради кресла директора Сбербанка. Добавлено через 5 минут alhaos, твой sqlite перестанут поддерживать, и ты будешь переписывать весь слой работы с данными. Добавлено через 1 минуту voral, в современной науке уже никто не читает миллиард статей в день, а придумывают и доказывают всё с нуля - так быстрее. 0

@VinniPuh 9147 / 6176 / 594 Регистрация: 27.03.2013 Сообщений: 20,047
	21.04.2023, 17:35
	TrueTyper, не стал -1000 ставить, ибо тоже будучи студентом ночью кричал в форточку , что бы халява пришла. Так что расслабь очко. Если хамить и матом прилюдно не будешь ругаться, я минусовать не стану как некоторые. 0

@TrueTyper -8 / 12 / 0 Регистрация: 15.02.2023 Сообщений: 421
	21.04.2023, 17:46 [ТС]
	VinniPuh, так поставь. Мне всё равно. Эти оценки характеризуют тех, кто их ставил. 1