Подскажите кто как работает с большим объемом данных, без БД

@dr_monstr · Регистрация: 10.08.2014

Всем привет! Суть такова, имеется набор файлов, которые проходят парсинг. В процессе парсинга создается и заполняется объект данными, данных очень много. Кушает где то 2-3 Гб опреративки, но это еще нормально. Когда дело доходит до интерполяции, все раздувается в разы. На данный момент данные хранятся в объектах. Подскажите какой-нибудь способ чтоб оперативка была более менее свободна.

Спасибо!

@Usaga · 21.11.2016, 11:33

dr_monstr, а полученные данные все разом нужны? Если да, то тут ничего не поделаешь. Если нет, то можно наваять какую-нибудь коллекцию, которая в памяти будет держать только ограниченное количество данных, а остальное скидывать в файл-кэш на диске.

Добавлено через 1 минуту
Можно применить что-нибудь из семейства NoSQL.

@dr_monstr · 21.11.2016, 11:35 **[ТС]**

Usaga, да, нужны все данные. На основе этих данных строятся другие данные. Я думал может быть есть какой нибудь способ через сохранения их на жесткий диск, а потом к ним обращаться, или базу данных.

@Sanya_sa · 21.11.2016, 11:54

dr_monstr, может стоит все таки БД? Например SQLite. Никакие сервера не нужны, хранится в файле.

@Usaga · 21.11.2016, 12:08

dr_monstr, ну я об этом и написал. Всё в твоих руках: хочешь в файл закидывай, хочешь любой вариант СУБД используй. Я бы посмотрел в сторону изменения архитектуры, чтобы обрабатывать данные по мере их поступления. Тогда головняк с промежуточным хранением отвалится сам по себе.

@dr_monstr 0 / 0 / 0 Регистрация: 10.08.2014 Сообщений: 2
		1
	.NET 4.x Подскажите кто как работает с большим объемом данных, без БД 21.11.2016, 11:14. Просмотров 541. Ответов 4 Метки нет (Все метки) Всем привет! Суть такова, имеется набор файлов, которые проходят парсинг. В процессе парсинга создается и заполняется объект данными, данных очень много. Кушает где то 2-3 Гб опреративки, но это еще нормально. Когда дело доходит до интерполяции, все раздувается в разы. На данный момент данные хранятся в объектах. Подскажите какой-нибудь способ чтоб оперативка была более менее свободна. Спасибо! 0

@Usaga 8663 / 6125 / 1020 Регистрация: 21.01.2016 Сообщений: 23,136
	21.11.2016, 11:33	2
	dr_monstr, а полученные данные все разом нужны? Если да, то тут ничего не поделаешь. Если нет, то можно наваять какую-нибудь коллекцию, которая в памяти будет держать только ограниченное количество данных, а остальное скидывать в файл-кэш на диске. Добавлено через 1 минуту Можно применить что-нибудь из семейства NoSQL. 0

@dr_monstr 0 / 0 / 0 Регистрация: 10.08.2014 Сообщений: 2
	21.11.2016, 11:35 [ТС]	3
	Usaga, да, нужны все данные. На основе этих данных строятся другие данные. Я думал может быть есть какой нибудь способ через сохранения их на жесткий диск, а потом к ним обращаться, или базу данных. 0

@Sanya_sa Модератор 880 / 789 / 326 Регистрация: 03.02.2015 Сообщений: 5,104 Записей в блоге: 9
	21.11.2016, 11:54	4
	dr_monstr, может стоит все таки БД? Например SQLite. Никакие сервера не нужны, хранится в файле. 0

@Usaga 8663 / 6125 / 1020 Регистрация: 21.01.2016 Сообщений: 23,136
	21.11.2016, 12:08	5
	dr_monstr, ну я об этом и написал. Всё в твоих руках: хочешь в файл закидывай, хочешь любой вариант СУБД используй. Я бы посмотрел в сторону изменения архитектуры, чтобы обрабатывать данные по мере их поступления. Тогда головняк с промежуточным хранением отвалится сам по себе. 0

Опции темы