Форум программистов, компьютерный форум, киберфорум
.NET
Войти
Регистрация
Восстановить пароль
 
Рейтинг 5.00/3: Рейтинг темы: голосов - 3, средняя оценка - 5.00
0 / 0 / 0
Регистрация: 10.08.2014
Сообщений: 2
1
.NET 4.x

Подскажите кто как работает с большим объемом данных, без БД

21.11.2016, 11:14. Просмотров 541. Ответов 4
Метки нет (Все метки)


Всем привет! Суть такова, имеется набор файлов, которые проходят парсинг. В процессе парсинга создается и заполняется объект данными, данных очень много. Кушает где то 2-3 Гб опреративки, но это еще нормально. Когда дело доходит до интерполяции, все раздувается в разы. На данный момент данные хранятся в объектах. Подскажите какой-нибудь способ чтоб оперативка была более менее свободна.

Спасибо!
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
21.11.2016, 11:14
Ответы с готовыми решениями:

Как организована работа с большим объемом данных
Программа выдаёт stack overflow при запуске, рекурсию не использую. Кто-нибудь сталкивался с...

Работа с большим объемом данных
Всем привет! Работа с большим объемом данных заставляет задуматься над всевозможными способами...

работа с большим объемом данных
большим я называю от 300000Rx50C судя по информации из диспетчера задач происходит накопление...

Работа с большим объемом данных
Коллеги, подскажите по такому вопросу. Есть выборка, несколько миллионов записей. Каким образом...

__________________
Помогаю в написании курсовых работ и дипломов здесь.
4
Эксперт .NET
8663 / 6125 / 1020
Регистрация: 21.01.2016
Сообщений: 23,136
21.11.2016, 11:33 2
dr_monstr, а полученные данные все разом нужны? Если да, то тут ничего не поделаешь. Если нет, то можно наваять какую-нибудь коллекцию, которая в памяти будет держать только ограниченное количество данных, а остальное скидывать в файл-кэш на диске.

Добавлено через 1 минуту
Можно применить что-нибудь из семейства NoSQL.
0
0 / 0 / 0
Регистрация: 10.08.2014
Сообщений: 2
21.11.2016, 11:35  [ТС] 3
Usaga, да, нужны все данные. На основе этих данных строятся другие данные. Я думал может быть есть какой нибудь способ через сохранения их на жесткий диск, а потом к ним обращаться, или базу данных.
0
Модератор
880 / 789 / 326
Регистрация: 03.02.2015
Сообщений: 5,104
Записей в блоге: 9
21.11.2016, 11:54 4
dr_monstr, может стоит все таки БД? Например SQLite. Никакие сервера не нужны, хранится в файле.
0
Эксперт .NET
8663 / 6125 / 1020
Регистрация: 21.01.2016
Сообщений: 23,136
21.11.2016, 12:08 5
dr_monstr, ну я об этом и написал. Всё в твоих руках: хочешь в файл закидывай, хочешь любой вариант СУБД используй. Я бы посмотрел в сторону изменения архитектуры, чтобы обрабатывать данные по мере их поступления. Тогда головняк с промежуточным хранением отвалится сам по себе.
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
21.11.2016, 12:08

Заказываю контрольные, курсовые, дипломные работы и диссертации здесь или здесь.

Работа с большим объемом данных
Имеется загруженное изоображение с помощью opencv. Задача: вывести цвета изображения с из...

Работа с большим объёмом данных
Приветствую всех! На днях столкнулся с такой проблемой: необходимо отправить на сервер файл...

Работа с большим объемом данных
Всем привет! Всегда создавал коллекцию List<List<xxx>>, заносил в нее данные из txt файла, а потом...

QtSerialPort Работа с большим объемом данных
Добрый день. Я пишу приложение, которое работает с последовательным портом при помощи...

Оптимизация запроса с большим объемом данных
Добрый день. Прошу помощи у профессионалов по ускорению запроса для Mysql Есть таблица...

POST запрос с большим объёмом данных
Необходимо передать из одной HTML страницы большой массив данных на сервер. Количество данных...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.