Подскажите паттерн для задачи (многопоточное чтение и обработка файлов)

Добрый день!

Есть следующая задача. Нужно делать многопоточную программу. 2 потока читают данные с винчестера и готовят списки данных (List<string>). По мере готовности они "скармливают" эти списки остальным потокам, которые их обрабатывают (делают парсинг данных), записывая результаты в общий datagridview.

Мне нужно реализовать таким образом, чтобы:

1) был минимальный простой всех потоков (загрузка 100%);

2) не было переполнения оперативной памяти. Например, если в памяти уже много необработанных списков (> 1 Гб), тогда нужно временно переключить читающие с диска потоки - на обработку списков.

Подскажите, есть ли готовые паттерны для подобной обработки данных? Заранее благодарен. Использую .NET Framework 4.0.

0

Сообщение от Suppir 2 потока читают данные с винчестера

Пусть я буду первым, кто скажет, что многопоточное чтение файлов и одного диска - глупая идея.

0

aquaMakc,

Почему же? Если поток, который читает файлы в массивы, делает еще некоторые операции (пропускает комментарии, отделяет команды) - то многопоточное вычисление дает преимущество. По крайней мере, на моем SSD разницу заметно сильно.

0

Сообщение от Suppir По крайней мере, на моем SSD разницу заметно сильно.

У SSD нет подвижных частей.
Не у всех есть SSD.

0

Сейчас проверил:

многопоток - 151 Мб/сек
один поток - 55 Мб/сек

i7, SSD.

Добавлено через 53 секунды

Сообщение от Rius У SSD нет подвижных частей. Не у всех есть SSD.

По моей специфике работы программу будут использовать на мощных ПК (i5 - i7, SSD). Поэтому многопоточная обработка очень важна.

0

Suppir, на SSD может и будет заметно, в силу общего преимущества в скоростях чтения/записи по сравнению с HDD, а если ещё и контроллер умеет в несколько потоков, так вообще замечательно. Но в постановке задачи этого момента не было )

Добавлено через 1 минуту

Сообщение от Suppir не было переполнения оперативной памяти

Может имеет смысл не буферизировать прочитанные данные, а обрабатывать их в поточном режиме?

0

aquaMakc, понятно

нужен именно многопоток. То есть, имеем 8 логических ядер. 2 ядра читают с диска/ssd и делают первичное формирование списков. А остальные потоки - обрабатывают данные списки.

Если происходит переполнение памяти (слишком большая очередь необработанных списков), тогда переключать все потоки - на обработку списков.

Если же очередь очень маленькая (часть ядер простаивает) - тогда увеличить количество потоков, которые читают с диска.

В идеале - должна быть 100% загрузка процессора все время работы программы.

Добавлено через 2 минуты

Сообщение от aquaMakc Может имеет смысл не буферизировать прочитанные данные, а обрабатывать их в поточном режиме?

Сейчас программа работает следующим образом:

в многопоточном режиме происходит построчное чтение файлов, а при чтении - сразу происходит обработка парсером. НО получается, что 1 файл обрабатывается 1 ядром процессора. При этом скорость падает, если ядер много, а файлов мало (часть ядер простаивают). Или если файлы сильно разного размера. Также скорость падает, если чтение файлов идет по сети или с медленного винчестера (рассматриваем и такой сценарий, хотя он редкий). Хотелось бы лучше распределить задачи (часть ядер - читают файлы, формируя "очередь задач", а остальные ядра - берут эти списки из очереди и занимаются их обработкой).

0

Suppir, если не брать во внимание все описанное выше про многопоточное чтение c диска, то я бы реализовал это как Producer-Consumer (на русском StackOvererflow по первой же ссылке из гугла показана реализация). Есть и специальный класс для этого дела-BlockingCollection.

2

EvilFromHell, спасибо, попробую реализовать.

0

EvilFromHell, за упоминание BlockingCollection спасибо. Не дочитал описание System.Collections.Concurrent до этого момента и строил велосипед.

0