Коллекции для работы с большими данными

@Skipper Ok · Регистрация: 07.11.2013

Студворк — интернет-сервис помощи студентам

Доброго времени суток! Столкнулся с такой проблемой: работаю с очень большим объемом данных, порядка в несколько миллионов элементов, дело в том, что иногда вылетает out of memory, соответственно, List - не самый подходящий тип коллекции для работы с таким большим объемом данных. Здесь проблема еще заключается в том, что весь этот объем нужен для анализа и соответственно, разбить данные на, так сказать, кластеры, не совсем то, что нужно, но может быть есть какие-то другие решения для данной задачи, может другой тип коллекции использовать или другие виды решений?!
P.S. Скорость обработки данных на втором плане.

@Storm23 · 10.11.2016, 16:53

Skipper Ok,
Вопрос слишком общий. Все зависит от того что за данные, какова их структура, и что вы с ними делаете. Опишите более подробно эти подробности, тогда будет что обсуждать.
И да, "несколько миллионов элементов" это не очень то и много.

@aquaMakc · 10.11.2016, 17:18

Сообщение от Storm23

И да, "несколько миллионов элементов" это не очень то и много

Смотря чего. Неправильная архитектура модели данных может ложить (или класть) систему на ровном месте.

Новые блоги и статьи Все статьи Все блоги /
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .

@Skipper Ok 9 / 9 / 4 Регистрация: 07.11.2013 Сообщений: 63

	Коллекции для работы с большими данными 09.11.2016, 19:24. Показов 1047. Ответов 2 Метки нет (Все метки) Доброго времени суток! Столкнулся с такой проблемой: работаю с очень большим объемом данных, порядка в несколько миллионов элементов, дело в том, что иногда вылетает out of memory, соответственно, List - не самый подходящий тип коллекции для работы с таким большим объемом данных. Здесь проблема еще заключается в том, что весь этот объем нужен для анализа и соответственно, разбить данные на, так сказать, кластеры, не совсем то, что нужно, но может быть есть какие-то другие решения для данной задачи, может другой тип коллекции использовать или другие виды решений?! P.S. Скорость обработки данных на втором плане. 0

@Storm23 10427 / 5157 / 1825 Регистрация: 11.01.2015 Сообщений: 6,226 Записей в блоге: 34
	10.11.2016, 16:53
	Skipper Ok, Вопрос слишком общий. Все зависит от того что за данные, какова их структура, и что вы с ними делаете. Опишите более подробно эти подробности, тогда будет что обсуждать. И да, "несколько миллионов элементов" это не очень то и много. 0