|
17 / 5 / 0
Регистрация: 16.04.2016
Сообщений: 371
|
|
Когда лучше разбивать бд на отдельные таблицы и побитовые маски в бд17.10.2026, 01:14. Показов 3908. Ответов 65
Метки нет (Все метки)
Всех приветствую. У меня есть два вопроса по правильной организации структуры бд. два бесплатных ии (браузерный ии от гугла и gpt) ответили по-разному на мой первый вопрос.
1. Часть моей бд будет содержать Библию. Подскажите пожалуйста,как сделать бд минимального объёма? У меня есть несколько вариантов. Первый вариант для стиха создать таблицу с полями номер_книги (берётся из id с таблицей с книгами),номер_главы,номер_стиха,текст_с тиха и скрытое поле rowid,которое есть в sqlite и не только (все поля,кроме текста стиха и row_id - составной первичный ключ). Второй вариант - создать две таблицы. В первой - номер_книги,номер_главы,rowid (номер книги и номер главы - составной первичный ключ),а во второй - поля номер стиха,id (ссылается на rowid из первой таблицы) (эти поля составной первичный ключ),текст стиха и rowid (id стиха,который,к примеру,будет использоваться для зачал,которые,к примеру,читаются на православной Литургии,вечерней службе и т.д). А может есть ещё более оптимальный вариант. При каком варианте объём бд будет минимальный,а при каком - скорость выполнения sql запросов максимальной. Объясните пожалуйста почему. Какой бы вариант,и почему лучше выбрать,на Ваш взгляд,для android приложения. В первом варианте меня смущает дублирование данных для номера книги и номера главы. Также на будущее объясните пожалуйста,в каких случаях в бд лучше разбивать таблицы с большим количеством столбцов на несколько таблиц,а в каких - объединить в одну таблицу. К примеру что лучше сделать - отдельную таблицу с молитвами,отдельную - с акафистами,а отдельную - с канонами,или объединить молитвы,акафисты и каноны в одну таблицу,добавив числовое поле для молитвы со значением 0,для акафиста со значением 1,а для канона - со значением 2. Почему тот или иной вариант на ваш взгляд лучше? Понимаю,что,к примеру,для Библии уже есть куча готовых бд,но во-первых я не уверен,что найду оптимальную по структуре бд,а во-вторых мне это важно понимать и в будущем,поскольку у меня,скорее всего,будут похожие случаи. В моём случаи дублируется два числовых столбца,а если таких столбцов будет три или более (я понимаю,что текстовые столбцы дублироваться не должны)? 2. С целью оптимизации моей бд (как я ранее писал,Библия - это часть моей бд) я хочу использовать побитовые маски,к примеру чтобы отмечать,в каких православных поместных Церквях отмечается тот или иной праздник. Я спрашивал у гугловского ии в браузере мнение по этому поводу и он ответил мне,что хоть объём таблицы будет меньше,но поиск по бд замедлится,поскольку sqlite вынужден будет вычислять побитовое выражение для каждого значения таблицы. Также ии ответил мне,что при таком подходе я смогу хранить только 64 значения (я имею ввиду id записи). Также я понимаю,что поскольку каскадное удаление/обновление не будет работать,мне нужно будет написать соответствующий триггер,который,кстати,браузерный ии мне тоже подсказал. А вы что думаете по этому поводу? Использовали ли Вы на своём опыте побитовые маски в sqlite или в каких-либо диалектах sql? Интересно,может быть есть какие-то диалекты sql,которые поддерживают побитовый поиск,что ускорит работу с бд? Заранее благодарю всех за помощь.
0
|
|
| 17.10.2026, 01:14 | |
|
Ответы с готовыми решениями:
65
Проектирование таблицы Клиенты(и юрид. и физ. лица)Нужно ли разбивать на подтаблицы? |
|
923 / 296 / 58
Регистрация: 01.06.2023
Сообщений: 847
|
||||||||||||||||||||||||||||||||||
| 21.10.2026, 09:37 | ||||||||||||||||||||||||||||||||||
|
тип_книги(id,кодовое_имя) тексты (id_текста, код_языка, текст) -- id_текста повторятся для разных языков, код_языка - двухбуквенный код или int число от справочника книга (id_книги, id_типа_книги, кодовое_имя_книги, id_текста_с_названием_книги) книга_содержание (id_содержания, id_книги, id_текста_заголовка, номер_главы, id_текста_содержания) --В данном случае можно как раз как Вы и хотели и сэкономить на заголовках переиспользуя одинаковые тексты заголовков
Информация о языке останется внешней глобальной настройкой и не участвует в ссылке.
. какие события происходят в церквях тогда ни какие индексы не помогут на битовых масках. придется идти полным перебором Еще по организации БД - у Вас не увидел ни одного индекса, без них поиск работает плохо. Добавлено через 1 час 50 минут Еще не много мыслей по поводу хранения Кликните здесь для просмотра всего текста
Язык все таки в отдельную таблицы вывел бы. А в интерфейсе бы добавил бы возможность менять приоритеты
Получение текста в приоритетном переводе
prayers удобно уклыдываются на структуру хранения книг
0
|
||||||||||||||||||||||||||||||||||
|
17 / 5 / 0
Регистрация: 16.04.2016
Сообщений: 371
|
||||||||||||||
| 22.10.2026, 16:39 [ТС] | ||||||||||||||
|
Простите,что не заметил сообщения раньше. поэтому отвечаю сейчас.
Поэтому тут ещё на будущее хотелось бы,чтобы Вы мне объяснили,когда нужен в моём случаи,а когда не нужен составной первичный ключ,когда - простой,а когда нужно создавать индекс. Как я понимаю можно ориентироваться на команду sqlite explain query plan (или как-то так).
0
|
||||||||||||||
|
923 / 296 / 58
Регистрация: 01.06.2023
Сообщений: 847
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 22.10.2026, 19:41 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
bible с своим типом. Например "Первая книга Моисеева. БЫТИЕ" - это запись в таблицы "книга" в которой есть ссылка на запись "тип_книги" с кодом "BIBLE". завязываться на id это скажем так плохая практика. id_содержания это и есть id в данном случае главы, в интерпретации book_chapter как раз используется idЕсли тексты потом делить на стихи, т.е. одна запись в таблице - это один стих, тогда выделение "Оглавления" в отдельную структуру имеет смысл. т.е. структура приобретает вид (книга) - 1:N - (Глава) - 1:N (Стих). На самом деле стих можно и не выделять в отдельную структуру. Здесь можно организовать иерархическую структуру, когда глава 2-го уровня (он же стих) ссылается на главу 1-го уровня. book_chapter (id, id_book, id_chapter_parent, id_text_chapter , chapter , id_text_content )Пример заполнения.
Выигрыша по месту не даст, но позволит быстрее искать нужные стихи. при этом если в будущем понадобится 3-й уровень детализации. То даже не понадобится менять структуру таблиц, просто запись 3-го уровня будет ссылаться на записи 2-го уровня Сначала определим книгу, код "Лк" на разных языках будет так же выглядеть по разному? Если да тогда нужна будет еще одна таблица с перечнем кодов на разных языках. Но пока остановимся на том что у всех один
Запрос для определения заголовка главы
В моей схеме фрагмент текста во всех его вариантах перевода - это самостоятельная сущность. И например для наименований глав может переиспользоваться в разных книгах если наименования одинаковые. Единая структура позволит держать единый код как для получения текстов так и для их редактирования это в перспективе упрощает разработку
0
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
17 / 5 / 0
Регистрация: 16.04.2016
Сообщений: 371
|
|||||||||||||||||||
| 22.10.2026, 23:39 [ТС] | |||||||||||||||||||
0
|
|||||||||||||||||||
|
923 / 296 / 58
Регистрация: 01.06.2023
Сообщений: 847
|
||||||||||||||||||||||||||||||||||||||
| 23.10.2026, 11:49 | ||||||||||||||||||||||||||||||||||||||
|
Допустим у вас есть таблицы Церковь(id) и таблица Событие(id). Что бы в БД хранить факт имеет ли место событие, нужно добавить запись в таблицу СобытияВЦеркви(id_церкви, id_события). Есть запись - событие есть, нет записи - события нет. Поиск осуществляется почти мгновенно так как на СобытияВЦеркви должно быть два индекса, отдельно по полю id_события и отдельно по двум полям (id_церкви, id_события). Если нужна история а были ли эти события в истории ранее. То в таблицу вводится еще два поля СобытияВЦеркви(id_церкви, id_события, период_с, период_по). Тогда что бы пометить что событие имело место только до 2026 года то ставим в период_по дату '31.12.2025' и корректируем запрос что бы учитывать эти границы. Да по объему это больше место чем битовые маски но удобство хранения и быстрота поиска здесь все перевешивает. Приоритет выбора так же смотрите в примерах. Добавлено через 1 час 16 минут По поводу объема БД, смотрите в сторону сжатия текстов. Например самая жирная таблица DESCRIPTION_HOLIDAY содержит описания размером до 60к символов. Можно применять следующие методы - Если текст может быть представлен на в 1 байтовой кодировке, то хранить его в этой кодировке (win1251). - Сам текст жать gzip и в бд хранить сжатым - Если после сжатия поле по размеру больше чем исходный текст, то используем текст как есть. сжатый текст может быть вдвое меньше исходного вот что ии подсказала по поводу сжатия значений: Кликните здесь для просмотра всего текста
Добавлено через 2 часа 50 минут Кликните здесь для просмотра всего текста
0
|
||||||||||||||||||||||||||||||||||||||
|
17 / 5 / 0
Регистрация: 16.04.2016
Сообщений: 371
|
|||||||||||||||||
| 23.10.2026, 19:11 [ТС] | |||||||||||||||||
0
|
|||||||||||||||||
|
17 / 5 / 0
Регистрация: 16.04.2016
Сообщений: 371
|
|
| 23.10.2026, 19:14 [ТС] | |
|
Кстати забыл спросить,а sqlite не может сжимать текст,ведь,к примеру,для сжатия бд вроде существует команда vacuum.
0
|
|
|
923 / 296 / 58
Регистрация: 01.06.2023
Сообщений: 847
|
|||||||||||||||
| 23.10.2026, 20:16 | |||||||||||||||
|
В примере сжатый текст снабжается заголовком специальным по нему и определяется что достали из таблицы сырой текст или сжатый фрагмент. Я бы даже на это выделили не 3 байта, а достаточно 1 с значением из диапазона кодов 1-31. - 1 - й вариант сжатый в кодировке 1251 - 2 - й сжатый в кодировке utf-8 Если база только создана и в ней не проводились команды update/delete то vacuum не нужен. Записи при вставке укладываются плотно.
0
|
|||||||||||||||
|
Невнимательный
|
||||
| 23.10.2026, 20:40 | ||||
|
КАВ, https://sqlite.org/lang.html Там вроде есть про VACUUM , но тоже на английском,... когда уже давно искал на русском, в сети были доки только от старых версий.
есть sqlar, по сути архиватор файлов , почти как zip-архивы
Или есть варианты с zipfile, просто с *.zip как с таблицей работать
0
|
||||
|
923 / 296 / 58
Регистрация: 01.06.2023
Сообщений: 847
|
||||
| 23.10.2026, 20:54 | ||||
|
По поводу общения с ии, Вы сразу ему ограничили его в выборе перечислив варианты, да и их условия можно понять что книга будет только одна.
При рассуждении ии вообще не представляет что у вас текстов на 50 Мб и они разные, поэтому дает советы что часть таблиц не заполнит страницы БД.
С хранением текста большими кусками согласен, но если потом нужны будут фрагменты, то все плохо становится. Хотя обработать блок в 60 кб не такая уж и не посильная задача Добавлено через 2 минуты Добавлено через 1 минуту
1
|
||||
|
17 / 5 / 0
Регистрация: 16.04.2016
Сообщений: 371
|
||||||
| 23.10.2026, 21:53 [ТС] | ||||||
value, ...). Интересно,где автор раздобыл саму бд. Также мне интересно,а за сколько попыток можно будет разгадать слово из н букв? Боюсь представить,сколько этот запрос будет выполняться. Надеюсь в моём случаи запрос будет гораздо легче. Кстати если запрос использует результат второго запроса,второй запрос называется подзапрос,хотя,как я понимаю,не все подзапросы значат,что основной запрос рекурсивный.
0
|
||||||
|
923 / 296 / 58
Регистрация: 01.06.2023
Сообщений: 847
|
|||||||||
| 23.10.2026, 22:26 | |||||||||
|
0
|
|||||||||
|
17 / 5 / 0
Регистрация: 16.04.2016
Сообщений: 371
|
||||||
| 23.10.2026, 23:09 [ТС] | ||||||
0
|
||||||
|
923 / 296 / 58
Регистрация: 01.06.2023
Сообщений: 847
|
||||||||||||||||||
| 23.10.2026, 23:59 | ||||||||||||||||||
|
Кликните здесь для просмотра всего текста
0
|
||||||||||||||||||
|
17 / 5 / 0
Регистрация: 16.04.2016
Сообщений: 371
|
||||
| 24.10.2026, 02:14 [ТС] | ||||
Кстати нужно ли нам поле title,если мы можем иметь только поле для текста при такой структуре. Ещё вспомнил пример,где у меня тоже может стоять вопрос о дублировании числовых столбцов. У меня есть задумка (не зна.ю,реализую ли я её,или нет) сделать бд для одного храма. Так вот в одной из таблиц у меня будет три целочисленных поля - тип службы (Литургия/молебен и т.д),священник,который совершает эту службу и время в миллисекундах,чтобы знать,когда и во сколько будет служба. Одну службу могут совершать несколько священников,если храм большой. Так вот,не лучше ли разбить эту таблицу на две - тип службы,священник,id_записи и на вторую,где будет столбец,ссылающийся на id_записи из первой таблицы и время в миллисекундах,чтобы получить время и дату для совершения тойй или иной службы. Я думаю,что расписание будет обновляться каждые две недели. Понимаю,что это очень далёкое будущее и даже не факт,что я буду этим заниматься,но на всякий случай спрошу Вашего совета - как правильно поступить в этом случаи и почему. Кстати я вообще раньше думал тип службы и id священника сделать такими полями,чтобы можно было использовать побитовые маски,т.е тогда бы объём бд уменьшился,но судя по Вашим советам этого не стоит делать,хотя и бд уже будет храниться на сервере,а значит все вычисления будут гораздо быстрее. Как я ранее писал,это вопрос на перспективу,чтобы если я вдруг буду этим заниматься,не задавать этот вопрос. Кстати иерархическая структура бд,возможно,поможет мне решить ещё одну задачу,если я когда-то буду её решать.
0
|
||||
|
923 / 296 / 58
Регистрация: 01.06.2023
Сообщений: 847
|
||||||
| 24.10.2026, 02:18 | ||||||
|
Посчитал тут сколько будет экономии если заменить unicode на win1251 кодировку только на таблице DESCRIPTION_HOLIDAY и вышло около 11 мб. ни какая оптимизация индексов Вам не даст такой экономии
Кликните здесь для просмотра всего текста
Сжатие самой длинной строки utf8 дает степень сжатия около 28%. Сжатие в кодировке 1251 даст степень сжатия 24% (от строки utf8). т.е. с сжатием эффект от замены кодировки уже и не так выгодно выглядит
0
|
||||||
|
923 / 296 / 58
Регистрация: 01.06.2023
Сообщений: 847
|
||||||
| 24.10.2026, 09:29 | ||||||
|
Служба(id_службы (PK), id_Типа_службы, id_церкви, Id_священника, дата_начала) РасширенныйСоставСлужбы(id_службы, Id_священника) + справочные таблицы Церковь(id_церкви, Название, Местоположение, ...) Священник(Id_священника, Фамилия, Имя, Отчество, Сан, ...) Тип_службы(id_Типа_службы, Заголовок, ...) то же самое с священниками упаковывая их в одно поле теряете возможность быстрого поиска "а в каких службах участвует священник?". С битовыми полями еще сложность возникает с тем что если людей будет много то структура битового поля будет очень разреженной, теряя место на сброшенных флагах. так к примеру при наличии 128 священников нужно хранить в базе 16 байт ради указания последнего священника из списка. Вместо 1 байта с использованием ID. Добавлено через 9 минут а еще хранение в битовой структуре указателей (когда номер бита это id в другой таблице) очень не удобно когда нужно получить информацию об этом бите сразу одним запросом. Например одним запросом найди все службы в церкви в эту пятницу и верни список ФИО всех священников. Классическими указателями это стоит всего -соединись с таблицей по ID. С битовыми полями придется сначала получить маску, в основной программе извлечь позиции всех единичных битов в виде массива, а заетем по массиву найти фио участников
0
|
||||||
|
17 / 5 / 0
Регистрация: 16.04.2016
Сообщений: 371
|
||||||||
| 24.10.2026, 14:30 [ТС] | ||||||||
0
|
||||||||
|
923 / 296 / 58
Регистрация: 01.06.2023
Сообщений: 847
|
||||||||||
| 25.10.2026, 22:25 | ||||||||||
|
По сжатию просто взял самый длинный текст поместил в файл и сжал архиватором в gzip ), не подразумевая еще какой то смысл . Хранить логическими полями ссылки на другие сущности по моему субъективному видению мира на столько же противоестественно как любовные отношения между мужчинами.
0
|
||||||||||
|
17 / 5 / 0
Регистрация: 16.04.2016
Сообщений: 371
|
|||||||
| 26.10.2026, 06:15 [ТС] | |||||||
Кстати хотел спросить - как Вы думаете,к примеру для таблицы с Библией нейронка справится,чтобы её переделать. Просто думаю,как автоматизировать этот процесс. Поскольку у нас несколько стихов в одной строке,думаю найти готовую бд с Библией,где всё разбито по стихам. Просто вручную заполнять всё это как-то не улыбается,поэтому я думаю поручить часть вещей нейронке и,возможно,наваять какой-нибудь скрипт на python для этого.
0
|
|||||||
| 26.10.2026, 06:15 | |
|
Как вести в базе данных логи. Кто вошел? Когда вошел? Когда вышел? для каждой записи с таблицы 1,поле ФИО, выделит отдельно фамилию,имя,отчестово и запишет их в соответсвтующие поля таблицы 2. Какой запрос лучше и почему лучше? Создать маску ввода для поля таблицы Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Просмотровщик HLP и конвертер в CHM
Argus19 16.11.2026
Просмотровщик HLP и конвертер в CHM
Давно хотел переделать справку Microsoft® Win32® Programmer's Reference, чтобы иметь её под рукой.
Но использовать несколько программ не удобно. Искал другие. . .
|
BitTorrent (версия 7.11 English) и Меню Настройки
russiannick 15.11.2026
Пункты, отвечающие за отключение обновлений в BitTorrent версии 7. 11 (английской)
Options
Preferences
General
Language
|
Транслитерация текста с кириллицы на латиницу (вариант №4)
Maks 15.11.2026
Что-то я перемудрил с предыдущими версиями, в этот раз сделал всё проще, обратившись к функции "СтрокаЛатиницей" из типового общего модуля "СтроковыеФункцииКлиент".
В данной функции нет апострофов,. . .
|
BitTorrent (версия 4.3.9) и Меню Настройки
russiannick 15.11.2026
В меню Настройки можно отключить автоматическое обновление программы.
Карта этого меню приложена ниже.
Нужный пункт выделен красным.
Сервис
Настройки
Поведение
|
|
Транслитерация текста с кириллицы на латиницу (вариант №3)
Maks 15.11.2026
Обновленная версия предыдущей обработки.
Изменения коснулись букв: Ъ, Ы, Ь, Э, отображения которых зависят от положения реквизита "Транслитерация имён".
Изменено отображение буквы Й.
Добавлена. . .
|
Транслитерация текста с кириллицы на латиницу (вариант №2)
Maks 13.11.2026
Обновленная версия ранее созданной обработки.
Добавлено:
- Проверка исходного текста на кириллицу, через обращение к стандартной функции "ТолькоКириллицаВСтроке" из общего модуля. . .
|
Часы с термометром и праздничным календарем
yariko 12.11.2026
Сегодня мы рассмотрим как можно сделать отличные многофункциональные часы.
Итак, поставим конкретную задачу: разработать часы с календарем, двумя термодатчиками, выводом поздравительных сообщений. . .
|
Транслитерация текста с кириллицы на латиницу (вариант №1)
Maks 11.11.2026
Решил облегчить жизнь себе и коллегам админам при создании электронных почтовых ящиков для пользователей, в результате написал обработку "Транслитерация текста" с кириллицы на латиницу, а в ней. . .
|