Выбор СУБД для автономного устройства

Добрый день.

Есть устройство (ARM 1GHz), которое будет работать без обслуживания, ему будут дёргать питание, может кончаться ОЗУ, нет свопа и другие радости жизни. Решили добавить базу данных для контроля файлов на диске и быстрой выборки их.

На устройстве линукс buildroot, крутится ряд приложений (Qt C++), многим из них будет нужен доступ к БД.
Памяти для движка можно выделить 150-200 МБ.

От БД нужно перед началом записи файлов на диск создать запись о нём, после окончания записи дополнить запись, что файл записан, и после обрыва питания на основе этого обнаруживать оборванные записи. На диске ехт4, но этого недостаточно.
Также нужно относительно быстро выдавать список файлов по запросу, с сортировками. Файлов (и строк о них) может быть до 400 млн, как верхний теоретический предел, реально думаю выше 10 млн это вряд ли. Размер строки 200-300 байт максимум.
Количество записей во все таблицы максимум 16-20 в сек, типично 1-2.
При загрузке будем проверять целостность таблиц, если нет встроенного способа, будем думать свой.

На данный момент просто при любых нуждах пересканируем всю ФС, а дисковая подсистема ограничена процом и выдает несколько десятков iops. Соответственно, загрузка списков занимает десятки секунд, сортировка недоступна.

Взглянул на SQLite, но придется написать приложение с ним, а передавать в него через сокеты (так уже сделано с другими приложениями). Это нормальный подход, или странные костыли?
Что еще может подойти?

0

Сообщение от pusyakaryagin а передавать в него через сокеты

ну так это какбэ один из слоев. и как он будет взаимодействовать с субд - интимно твое дело

Добавлено через 1 минуту
но тока при

Сообщение от pusyakaryagin ему будут дёргать питание, может кончаться ОЗУ, нет свопа и другие радости жизни

есть большой шанц потерять актуальные данные

Добавлено через 2 минуты
10 лямов записей может выжрать оперативу на раз на отдельном устройстве

0

Сообщение от pincet есть большой шанц потерять актуальные данные

Здесь допустимо потерять недописанные куски или последнюю запись, но наиболее важно не получить битую невосстановимую автоматически базу.

Сообщение от pincet 10 лямов записей может выжрать оперативу на раз

Да вот, есть гиг, работайте. Половина уже занята. Полагаю, субд можно настроить на умеренные аппетиты ценой производительности? Так-то и своп можно подрубить, но на диске с 50 IOPS это будет равносильно неработоспособности.

0

Сообщение от pusyakaryagin но наиболее важно не получить битую невосстановимую автоматически базу.

стесняюсь спросить - бесперебойники-то есть? а за недописанные куски субд отвечает в рамках транзанкций.

Добавлено через 2 минуты
и таки-да - если оператива ограничена тогда только страдать ибо впиливание движка локальной субд здоровья не добавит


и вангую свопы тоже будут активно юзать оперу

Добавлено через 3 минуты
и да - девайс в сети? если да - зарадидля нужена локальная субд? особенно если их (девайсов) убердогуа в сети?

Добавлено через 5 минут

Сообщение от pusyakaryagin Взглянул на SQLite, но придется написать приложение с ним

так в тут проблемы нет от слова совсем. думаю, есть куча нативных api для связи sqlite c плюсами

1

Сообщение от pincet стесняюсь спросить - бесперебойники-то есть?

Чаще нет, это девайс почти потребительского уровня, ставить аккум только ради безопасного завершения работы совершенно невыгодно (серьезная модификация платы питания и новый корпус). Да и вопрос в обновлении софта, а не железа.

Сообщение от pincet если оператива ограничена тогда только страдать

Да уже. Но разве плохо работают всякие плееры, на которых файлов может быть и 100 тыс, и оперы нет почти, и сортировка записей делается без заметной задержки? Правда, при полной разрядке база у них обычно слетает.

Сообщение от pincet девайс в сети?

Зачастую в сети, но без выхода в интернет в 100% случаев. Закрытые локалки, чтоб с девайсами типа таких работать.

Сообщение от pincet так в тут проблемы нет от слова совсем.

Уже пишу)

Оптимизировал расчет максимальной длины таблицы, выходит 2.5 млн строк максимум, но это скорее и максимум, и средняя величина. Пока подкину SQLite, потом посмотрим.

0

Сообщение от pusyakaryagin Зачастую в сети, но без выхода в интернет в 100% случаев. Закрытые локалки, чтоб с девайсами типа таких работать.

ну так поднять сервер данных в интрасети. или не вариант? много девайсов в одной сетке?

0

Таки закончу поднятую тему.

Отдельное приложение с SQLite, работа через сокеты (udp через локалхост + очереди запросов), база с 2 млн записями.
Памяти занимает менее 20 МБ, запрос выполняется 3 сек с сортировкой и текстовым поиском, 0.1 сек без них.
Проц 1 ГГц ARM.

0