Множественный доступ потоков к коллекциям

Здравствуйте. Подскажите в какую сторону копать.

У меня есть 8 потоков. Каждый поток получается данные (структура в 10 полей) от одного или нескольких устройств. Может поступать в сумме до сотни тысяч сообщение с каждого потока. Не больше 100 в секунду.

Нужно реализовать:
1. Вывод всех сообщений поступающих в каждом потоке в отдельном окне.
2. Определение какие сообщения потока принадлежат какому устройству и их вывод в разных окнах.
3. Возможность построения графика в реальном времени для: любого из устройств, для нескольких устройств одного потока одновременно и напоследок построение графиков всех устройств всех потоков одновременно. Причём не с момента начала работы программы, а по желанию пользователя. Т.е. выбрал я 2 устройства из разных потоков и надо вывести ранее поступившие данные и выводить новые поступающие.
4. Ну и бэкап всех поступивших сообщений потока в txt в конце работы программы.

Как я это себе представляю:

1 вариант: Одна глобальная коллекция (concurent?) к которой имеют доступ все потоки и тупо кидают в неё сообщения. Далее обработчик вытаскивает сообщения и выводит в окна для каждого из устройств и в графики. Но как будет с производительностью. Сообщения раскинуты по всей коллекции и надо будет её всю шерстить. например в ней уже 100к сообщений и я захочу открыть график двух устройств. придётся пробегать все 100к сообщений и искать нужные устройства.

2 вариант: Коллекция и обработчик для каждого потока свои. Сообщения добавляются в коллекцию потока. Обработчик обрабатывает коллекцию только своего потока и добавляет данные разных устройств в глобальную коллекцию устройств. Графики строятся по уже готовым данным глобальной коллекции устройств.

Интересует как сделать лучше всего и какие технологии использовать. Спасибо!

0

fidgi, большого опыта не имею в многопоточности, но имхо, если данные нужны только для чтения, то лучше второй вариант. если же данные будут изменятся, то тогда в любом случае доведется делать синхронизацию потоков, тогда уж лучше первый вариант. а насчет поиска по записям - так никто не запрещается сделать хеш-таблицу, или хотя бы словарь, а не тупо список.

1

Learx, только чтение. Можно и хеш таблицу, да.

0

fidgi, Буфер приема на BlockingCollection<T>, с периодическим дампом в DataTable в оперативке. Соответственно графики и информация берется из DataTable обычными select'ами.

Можно конечно инфу и из коллекции брать, но выборки из нее будут очень медленными уже на 5-10к записей.

PS: Есть еще вариант: каждый поток пишет данные напрямую в базу MSSQLServer, тот без труда потянет и 100 записей/сек и выборки. Но для риалтайма такая схема не пойдет.

1

freeba, т.е. сделать буфер приёма (на 1000 сообщений к примеру) для всех потоков и дампить его в оперативку при наполнении. ок. А нет смысла делать несколько DataTable каждая для своего устройства?

0

fidgi, если только каждая для своего потока, но будет сложнее делать совмещенные графики. Писать напрямую в одну таблицу из нескольких потоков будет очень медленно + эта операция не потокобезопасная.

1