Подскажите кто как работает с большим объемом данных, без БД

@dr_monstr · Регистрация: 10.08.2014

Студворк — интернет-сервис помощи студентам

Всем привет! Суть такова, имеется набор файлов, которые проходят парсинг. В процессе парсинга создается и заполняется объект данными, данных очень много. Кушает где то 2-3 Гб опреративки, но это еще нормально. Когда дело доходит до интерполяции, все раздувается в разы. На данный момент данные хранятся в объектах. Подскажите какой-нибудь способ чтоб оперативка была более менее свободна.

Спасибо!

@Usaga · 21.11.2016, 11:33

dr_monstr, а полученные данные все разом нужны? Если да, то тут ничего не поделаешь. Если нет, то можно наваять какую-нибудь коллекцию, которая в памяти будет держать только ограниченное количество данных, а остальное скидывать в файл-кэш на диске.

Добавлено через 1 минуту
Можно применить что-нибудь из семейства NoSQL.

@dr_monstr · 21.11.2016, 11:35 **[ТС]**

Usaga, да, нужны все данные. На основе этих данных строятся другие данные. Я думал может быть есть какой нибудь способ через сохранения их на жесткий диск, а потом к ним обращаться, или базу данных.

@Sanya_sa · 21.11.2016, 11:54

dr_monstr, может стоит все таки БД? Например SQLite. Никакие сервера не нужны, хранится в файле.

@Usaga · 21.11.2016, 12:08

dr_monstr, ну я об этом и написал. Всё в твоих руках: хочешь в файл закидывай, хочешь любой вариант СУБД используй. Я бы посмотрел в сторону изменения архитектуры, чтобы обрабатывать данные по мере их поступления. Тогда головняк с промежуточным хранением отвалится сам по себе.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .

@dr_monstr 0 / 0 / 0 Регистрация: 10.08.2014 Сообщений: 2

	.NET 4.x Подскажите кто как работает с большим объемом данных, без БД 21.11.2016, 11:14. Показов 1008. Ответов 4 Метки нет (Все метки) Всем привет! Суть такова, имеется набор файлов, которые проходят парсинг. В процессе парсинга создается и заполняется объект данными, данных очень много. Кушает где то 2-3 Гб опреративки, но это еще нормально. Когда дело доходит до интерполяции, все раздувается в разы. На данный момент данные хранятся в объектах. Подскажите какой-нибудь способ чтоб оперативка была более менее свободна. Спасибо! 0

@Usaga 14301 / 9386 / 1353 Регистрация: 21.01.2016 Сообщений: 35,385
	21.11.2016, 11:33
	dr_monstr, а полученные данные все разом нужны? Если да, то тут ничего не поделаешь. Если нет, то можно наваять какую-нибудь коллекцию, которая в памяти будет держать только ограниченное количество данных, а остальное скидывать в файл-кэш на диске. Добавлено через 1 минуту Можно применить что-нибудь из семейства NoSQL. 0

@dr_monstr 0 / 0 / 0 Регистрация: 10.08.2014 Сообщений: 2
	21.11.2016, 11:35 [ТС]
	Usaga, да, нужны все данные. На основе этих данных строятся другие данные. Я думал может быть есть какой нибудь способ через сохранения их на жесткий диск, а потом к ним обращаться, или базу данных. 0

@Sanya_sa 912 / 816 / 333 Регистрация: 03.02.2015 Сообщений: 5,276 Записей в блоге: 9
	21.11.2016, 11:54
	dr_monstr, может стоит все таки БД? Например SQLite. Никакие сервера не нужны, хранится в файле. 0

@Usaga 14301 / 9386 / 1353 Регистрация: 21.01.2016 Сообщений: 35,385
	21.11.2016, 12:08
	dr_monstr, ну я об этом и написал. Всё в твоих руках: хочешь в файл закидывай, хочешь любой вариант СУБД используй. Я бы посмотрел в сторону изменения архитектуры, чтобы обрабатывать данные по мере их поступления. Тогда головняк с промежуточным хранением отвалится сам по себе. 0