Какую базу данных выбрать?

Предположим существует 3 миллиона слов. На каждое слово приходится по 200-300 полей с дополнительной информацией. Необходимо выбрать базу данных которая бы обеспечивала фактически мгновенный доступ к любому из слов (слова в алфавитном порядке). Все действия выполняются на одной машине. Какую посоветуете выбрать базу данных для этой целы? Хранение в файлах уже не выход так как такие операции как добавление или удаление элемента уже сказываются на производительности.

0

Хочу только обратить внимание на MariaDB

0

Подтверждаю. Прозрачная замена мускуля, устанавливается легко, работает шустро.

0

А что скажете про SQLite?

0

SQLite портабельная база данных используется довольно часто

если можно mongo удобно для разработки

0

На 3-х миллионах SQLite рискует загнуться.
Монга - не рискует, но тогда придется немного менять свои скрипты.

0

Да... вы были правы. ~2900000+ записей тянет дальше провисает и не возвращает на запрос ничего. Даже при попытках отключить многопоточный доступ для ускорения работы.
SQLite отпадает.

Такого рода еще вопрос, данные подгружаться будут в оперативную память и вся дальнейшая работа будет дальше уже идти независимо от бд. В принципе можно все организовать правильной файловой структурой. Так как базы данных обычно содержат кучу лишних функций. Есть ли какие то примеры или просто алгоритмы способствующие ускоренному поиску с выборкой (я имею ввиду такие вещи как like запросы или просто условия для некоторых столбцов). В принципе реализовав такие вещи у меня вообще отпадает проблема с базами данных.

0

Все зависит от скриптов, и от рода задач. Я приведу пример сайта, работающего с пользователями, но думаю алгоритм ты поймешь.
Вот есть таблица users, для пользователей, она имеет много много полей, таких как логин, пароль, имя, фамилия, город, время активности, пол, и так далее.
Большой обьем данных будет.
И если делать например выборку по всем людям кто в онлайне (читай, времени активности больше чем 15 минут назад), то база может и выдержит, а вот если одновременно будут делать выборку 100 человек, и еще 100 в эту таблицу писать - база загнется
На этот случай, ты можешь сделать дополнительную таблицу, где будет только логин и время активности. Грубо говоря, ключ-значение.
В этом случае выборку из миллиона записей, 10 000 человек сделают в течение 1-й секунды.

В общем, суть идеи состоит в том, чтоб упрощать наиболее часто используемые элементы таблицы.
Следующая идея состоит в том, чтоб предоставить скриптам обрабатывать некоторые операции.
Пример - друзья пользователей (или иные зависимости).
На первый взгляд, наиболее очевидное решение - таблица, где грубо говоря два поля, поле "логин владельца", и поле "логин друга".
А вот фиг. Если тебе придется делать выборку друзей чьей-то анкеты, тебе придется делать два или три запроса - вначале считать логин друга, а потом по этому логину считать данные, и например, если города твоих пользователей забиты по-умному, через id, тогда будет еще одна выборка - имени города по его id, короче ботва.
Гораздо проще в таблице users завести поле, где ты будешь записывать друзей через разделитель: логин1 | логин5 | логин74, и уже выгребать данные используя парсинг этого поля.
Используй индексы для тех полей, по которым ты будешь делать выборку.
Индекс - специальная вундервафля, которая позволит твоей БД при выборке по полю, не бегать последовательно от начала и до конца, а сразу его находить по индексу.
Используй limit там где это возможно.
И ГЛАВНЫЙ совет: дождись финального релиза mariaDb 10.0, куда обещают впаять движок Cassandra - noSQL решения, с mySQL оберткой.

0

Я пытался так реализовать когда первый раз делал файловой структурой, к сожалению для меня подвисания в 2-3 секунды фактически полностью неприемлемы. Делать загрузку длительностью до 15 минут тоже не вариант, хотя на крайняк так и придется делать. Делать мультипоточным тоже особа смысла нету так как если база загрузилась не полностью - возможен сбой. А если ждать завершения загрузки так лишний поток вообще не к чему. Так что скорей всего нужно будет делать хорошо продуманную прозрачную файловую структуру.

Кстати еще такой вопрос. Насколько увеличится скорость если например приобрести специально для базы SSD? И вообще стоит ли?

0

Нет не стоит.
Упирается не в быстродействие устройства, а в математическую обработку запросов.

Скажем так, приобретение SSD не настолько ускорит загрузку данных из базы, сколько оптимизация скриптов и самой базы.
Если тебе скорость уж ОЧЕНЬ критична, тогда тебе в помощь redis+пару килограмм оперативной памяти

0

Официальной поддержки для сборок Windows нет.

0

попробуйте mysql
возможно нужно будет поиграться с конфигами сервера базы

ну и если есть свободная оператива и только для личного пользования то рам диск)

это словарик у вас такой на 3 миллиона слов? или что?)

0

Есть сборки и под Windows.
https://downloads.mariadb.org/mariadb/10.0.0/

0

Сообщение от t1m0n попробуйте mysql это словарик у вас такой на 3 миллиона слов? или что?)

Да, и это далеко не предел

0

ну у лингво словарики файлы + к ним индекс строится

0

Да, только задача БД не вывести результат из файла, а показать одновременно информацию куче пользователей, каждый из которых хочет выбрать информацию по разным параметрам, а еще куча пользователей другую информацию пишет, и при этой записи другие пользователи не должны ощущать задержек

0

Вот как раз именно это мне и не нужно. Так как с базой работает одно приложение. Максимум - потоки.
Насчет индекса знаю, но самих индексных списков ключ-значение уже 56 штук)

0

Тогда быстрее будет писать и читать с файла. Примерно ini формата.
Его обработка будет быстрее чем обработка всей базы с бесполезным функционалом.
Бинарник можешь писать хоть на перле, хоть на паскакале )

0