Работа с большим объемом данных

@xxxspeed · Регистрация: 02.03.2011

Author24 — интернет-сервис помощи студентам

Всем привет! Всегда создавал коллекцию List<List<xxx>>, заносил в нее данные из txt файла, а потом с этой коллекцией уже работаю. Так я выигрывал во времени. Но тут данных оказалось очень много и при копировании файла в коллекцию стала вылетать ошибка: "System.OutOfMemoryException" в mscorlib.dll". Дайте совет, как быть?

Driwars · 18.07.2014, 22:00

Работайте лучше с базой данных, запросили нужные данные обработали следующая партия,
из БД легко можно грузить скажем первую тысячу строк, обработать, сохранить обратно обработанное если надо, потом следующую.
По скорости быстро, по затратам ресурсов вполне масштабируемо.

@Монфрид · 18.07.2014, 22:09

вам единовременно могут понадобиться миллион записей?

@xxxspeed · 19.07.2014, 16:06 **[ТС]**

Нет, не единовременно, у меня по этой коллекции потом цикл еще в нескольких потоках на миллион итераций крутит.

Добавлено через 15 часов 53 минуты
Скажите можно как увеличить память выделяемую приложению или потоку?

Добавлено через 33 минуты
Сегодня возникла еще одна проблема. Раньше запускал 8 приложений и у каждого можно было загрузить оперативку, а сейчас создал одно многопоточное, но возникла проблема с памятью. Тот объем данных который обрабатывался в 8 приложениях, не может обработаться в одном многопоточном, пишет нехватка памяти.

@~~lodret~~ · 19.07.2014, 16:10

xxxspeed, ты когда писал это все ты чего до этого скурил ? Я читаю твоё и не особо понимаю суть....

@xxxspeed · 20.07.2014, 10:28 **[ТС]**

lodret, Почему скурил?
Проблема в нехватке памяти.
Вот я и спрашиваю как с этим бороться?

@hepper · 21.07.2014, 07:55

Сообщение от xxxspeed

Вот я и спрашиваю как с этим бороться?

оптимизируй алгоритм программы

@xxxspeed · 27.07.2014, 12:54 **[ТС]**

Как я могу его оптимизировать, если в процессе работы у меня в нем скапливается большой объем данных?
8 потоков, в каждом большая коллекция, а в каждой коллекции еще по коллекции накапливается.
Свободной в памяти в компе еще полно, а в приложении ее нет.

@NickoTin · 27.07.2014, 14:24

xxxspeed, если хотите чтобы Вам помогли за вознаграждение, то для этого есть специальный раздел https://www.cyberforum.ru/freelance/

@Петррр · 27.07.2014, 20:39

А что именно Вы с этими коллекциями делаете? Объекты как-то зависят друг от друга?

@xxxspeed · 27.07.2014, 21:35 **[ТС]**

Между собой они не зависят.
В конечных коллекциях просто накапливаются данные, а в конце работы потока они обрабатываются и сохраняются в txt файл.

@XRoy · 27.07.2014, 23:46

xxxspeed,
Запускайте обработку не параллельно, а последовательно.

@xxxspeed · 27.07.2014, 23:50 **[ТС]**

Время! Мне нужно максимум из компа выжать. Иначе смысл пропадет от всего этого.

@XRoy · 28.07.2014, 00:24

xxxspeed,
Используйте 64 битную версию, прочитайте, это скорее всего то что вам надо

Памирыч · 29.07.2014, 09:46

Комментарий модератора

Закрыто. Причина: кросспостинг

@xxxspeed 7 / 7 / 1 Регистрация: 02.03.2011 Сообщений: 310
	27.07.2014, 23:50 [ТС]	13
	Время! Мне нужно максимум из компа выжать. Иначе смысл пропадет от всего этого. 0

@xxxspeed 7 / 7 / 1 Регистрация: 02.03.2011 Сообщений: 310
		1
	Работа с большим объемом данных 18.07.2014, 20:42. Показов 2609. Ответов 14 Метки нет (Все метки) Всем привет! Всегда создавал коллекцию List<List<xxx>>, заносил в нее данные из txt файла, а потом с этой коллекцией уже работаю. Так я выигрывал во времени. Но тут данных оказалось очень много и при копировании файла в коллекцию стала вылетать ошибка: "System.OutOfMemoryException" в mscorlib.dll". Дайте совет, как быть? 0

Driwars 71 / 62 / 33 Регистрация: 03.09.2013 Сообщений: 306
	18.07.2014, 22:00	2
	Работайте лучше с базой данных, запросили нужные данные обработали следующая партия, из БД легко можно грузить скажем первую тысячу строк, обработать, сохранить обратно обработанное если надо, потом следующую. По скорости быстро, по затратам ресурсов вполне масштабируемо. 0

@Монфрид 1245 / 1055 / 293 Регистрация: 07.03.2012 Сообщений: 3,245
	18.07.2014, 22:09	3
	вам единовременно могут понадобиться миллион записей? 0

@xxxspeed 7 / 7 / 1 Регистрация: 02.03.2011 Сообщений: 310
	19.07.2014, 16:06 [ТС]	4
	Нет, не единовременно, у меня по этой коллекции потом цикл еще в нескольких потоках на миллион итераций крутит. Добавлено через 15 часов 53 минуты Скажите можно как увеличить память выделяемую приложению или потоку? Добавлено через 33 минуты Сегодня возникла еще одна проблема. Раньше запускал 8 приложений и у каждого можно было загрузить оперативку, а сейчас создал одно многопоточное, но возникла проблема с памятью. Тот объем данных который обрабатывался в 8 приложениях, не может обработаться в одном многопоточном, пишет нехватка памяти. 0

@~~lodret~~ Заблокирован
	19.07.2014, 16:10	5
	xxxspeed, ты когда писал это все ты чего до этого скурил ? Я читаю твоё и не особо понимаю суть.... 0

@xxxspeed 7 / 7 / 1 Регистрация: 02.03.2011 Сообщений: 310
	20.07.2014, 10:28 [ТС]	6
	lodret, Почему скурил? Проблема в нехватке памяти. Вот я и спрашиваю как с этим бороться? 0

@hepper Кодогенератор 200 / 200 / 51 Регистрация: 15.06.2011 Сообщений: 794
	21.07.2014, 07:55	7
	Сообщение от xxxspeed Вот я и спрашиваю как с этим бороться? оптимизируй алгоритм программы 0

@xxxspeed 7 / 7 / 1 Регистрация: 02.03.2011 Сообщений: 310
	27.07.2014, 12:54 [ТС]	8
	Как я могу его оптимизировать, если в процессе работы у меня в нем скапливается большой объем данных? 8 потоков, в каждом большая коллекция, а в каждой коллекции еще по коллекции накапливается. Свободной в памяти в компе еще полно, а в приложении ее нет. 0

@NickoTin
	27.07.2014, 14:24 #9
	xxxspeed, если хотите чтобы Вам помогли за вознаграждение, то для этого есть специальный раздел https://www.cyberforum.ru/freelance/ 0

@Петррр 6280 / 3565 / 898 Регистрация: 28.10.2010 Сообщений: 5,926
	27.07.2014, 20:39	10
	А что именно Вы с этими коллекциями делаете? Объекты как-то зависят друг от друга? 0

@XRoy 870 / 720 / 304 Регистрация: 15.04.2013 Сообщений: 2,047 Записей в блоге: 5
	27.07.2014, 23:46	12
	xxxspeed, Запускайте обработку не параллельно, а последовательно. 0

@xxxspeed 7 / 7 / 1 Регистрация: 02.03.2011 Сообщений: 310
	27.07.2014, 21:35 [ТС]	11
	Между собой они не зависят. В конечных коллекциях просто накапливаются данные, а в конце работы потока они обрабатываются и сохраняются в txt файл. 0

@XRoy 870 / 720 / 304 Регистрация: 15.04.2013 Сообщений: 2,047 Записей в блоге: 5
	28.07.2014, 00:24	14
	Сообщение было отмечено xxxspeed как решение Решение xxxspeed, Используйте 64 битную версию, прочитайте, это скорее всего то что вам надо 1

Работа с большим объемом данных

Решение