Хранение большого количества бинарных данных

@Enjection · Регистрация: 14.01.2015

Студворк — интернет-сервис помощи студентам

Возник вопрос связаный с хранением данных:
Мне нужно сохранять массивы бинарных данных (каждый массив - 4096 элементов по 1 байту)
Если просто записывать каждый массив в файл бинарно, то уже при 32 тыс таких массивов получается 100+ Мб, а в будущем таких массивов должно быть 100+ млн. а это уже ~300+ Гб.
Отсюда вопрос: есть ли способ хранить данные более эффективно? Важен так же быстрый доступ к массивам (250 массивов в секунду).

@DU · 14.01.2015, 21:54

есть два с половиной места хранения данных: память, диски и сеть (но там тоже будет память и диски). можно их сжимать или дедуплицировать. хз на сколько это дело сожмется но лагов при чтении и сохранении добавит. 300 гб влезут в ssd и это будет пожалуй самое быстрое решение. файловую систему еще можно подходящую подобрать. диск форматнуть с подходящим размером кластера.
ну и базы данных под хранение наверно лучше подойдут.

@Enjection · 14.01.2015, 21:58 **[ТС]**

DU2, То есть просто бинарная запись в файл, по вашему?

@DU · 14.01.2015, 22:01

не понял вопроса.
бинарная запись прям на диск может и быстрее будет. но если вам понадобится доступ к 100M данным, раскиданным по файлам - тут хз. база может оказаться быстрее. иначе вам придется сочинять свой велосипед для доступа к таким файлам.

@Enjection · 14.01.2015, 22:06 **[ТС]**

DU2, я имею ввиду создавать для каждого массива отдельный файл (как на данный момент у меня и реализовано)

Байт · 14.01.2015, 22:33

Сообщение от Enjection

создавать для каждого массива отдельный файл (как на данный момент у меня и реализовано)

Простите за резкость, но это чушь и бред. Попробуйте создать в одной папке хотя бы 100000 файлов (пустых), и посмотрите, что из этого получится. Конечно, нужно создавать свой аналог файловой системы на одном большом файле (велосипедный вариант) или юзать базы данных. В последнем случае накладные расходы на организацию базы могут превзойти все ваши ожидания (но, не обязательно).
Отталкиваясь от стартового поста, могу наметить 2 пути. 1) Присмотреться к алгоритму. Возможно, в ваших данных есть большая избыточность и/или повторы. Это может позволить организовать хранилище на пару порядков компактнее. 2) Террабайтовые диски уже вовсе не экзотика. Ориентируйтесь на них. Только не вздумайте такие файлы читать в память целиком

@Enjection · 14.01.2015, 22:40 **[ТС]**

Байт, спасибо, первое о чем подумал это БД, но не очень хотелось разбираться, посмотрим что из этого выйдет

@maxillion · 15.01.2015, 06:46

А зачем для каждого отдельный ? Делайте для всех один, просто в начале пишите размер что бы потом считать, и не нужно никаких файловых систем.

@агерон · 15.01.2015, 06:59

а что вы храните в массивах по 4096 байт? данные какого типа?

Новые блоги и статьи Все статьи Все блоги /
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .

@Enjection 0 / 0 / 0 Регистрация: 14.01.2015 Сообщений: 4

	Хранение большого количества бинарных данных 14.01.2015, 21:42. Показов 2303. Ответов 8 Метки нет (Все метки) Возник вопрос связаный с хранением данных: Мне нужно сохранять массивы бинарных данных (каждый массив - 4096 элементов по 1 байту) Если просто записывать каждый массив в файл бинарно, то уже при 32 тыс таких массивов получается 100+ Мб, а в будущем таких массивов должно быть 100+ млн. а это уже ~300+ Гб. Отсюда вопрос: есть ли способ хранить данные более эффективно? Важен так же быстрый доступ к массивам (250 массивов в секунду). 0

@DU 1500 / 1146 / 165 Регистрация: 05.12.2011 Сообщений: 2,279
	14.01.2015, 21:54
	есть два с половиной места хранения данных: память, диски и сеть (но там тоже будет память и диски). можно их сжимать или дедуплицировать. хз на сколько это дело сожмется но лагов при чтении и сохранении добавит. 300 гб влезут в ssd и это будет пожалуй самое быстрое решение. файловую систему еще можно подходящую подобрать. диск форматнуть с подходящим размером кластера. ну и базы данных под хранение наверно лучше подойдут. 1

@Enjection 0 / 0 / 0 Регистрация: 14.01.2015 Сообщений: 4
	14.01.2015, 21:58 [ТС]
	DU2, То есть просто бинарная запись в файл, по вашему? 0

@DU 1500 / 1146 / 165 Регистрация: 05.12.2011 Сообщений: 2,279
	14.01.2015, 22:01
	не понял вопроса. бинарная запись прям на диск может и быстрее будет. но если вам понадобится доступ к 100M данным, раскиданным по файлам - тут хз. база может оказаться быстрее. иначе вам придется сочинять свой велосипед для доступа к таким файлам. 0

@Enjection 0 / 0 / 0 Регистрация: 14.01.2015 Сообщений: 4
	14.01.2015, 22:06 [ТС]
	DU2, я имею ввиду создавать для каждого массива отдельный файл (как на данный момент у меня и реализовано) 0

@Enjection 0 / 0 / 0 Регистрация: 14.01.2015 Сообщений: 4
	14.01.2015, 22:40 [ТС]
	Байт, спасибо, первое о чем подумал это БД, но не очень хотелось разбираться, посмотрим что из этого выйдет 0

@maxillion 286 / 192 / 56 Регистрация: 25.12.2012 Сообщений: 640
	15.01.2015, 06:46
	А зачем для каждого отдельный ? Делайте для всех один, просто в начале пишите размер что бы потом считать, и не нужно никаких файловых систем. 0

@агерон 447 / 300 / 65 Регистрация: 12.10.2009 Сообщений: 1,162
	15.01.2015, 06:59
	а что вы храните в массивах по 4096 байт? данные какого типа? 0