@eg__13

Доброго времени суток! Пишу небольшое консольное приложение, и у меня возникли некоторые вопросы. Надеюсь, кто-нибудь мне поможет.

Суть приложения в следующем. Нужно организовать многопоточное сжатие файла большого размера (превышающего размер RAM). И использовать нужно .NET версии не выше 3.5 (соответственно никаких классов Task, Parallel и т.д.)

Я решил в этом деле применить шаблон поставщик/потребитель. Создаем несколько рабочих потоков, по одному на каждое ядро процессора (или число потоков следует выбирать иначе?). Основной поток считывает входной файл по блокам, и раздает их рабочим потокам, которые возвращают сжатые блоки для записи. На словах все достаточно просто. Но при реализации возникли следующие вопросы.

1. Как правильно реализовать очередь из блоков? Это может быть одна очередь, либо же отдельная очередь на каждый поток (лично я считаю последний вариант более оптимальным).
2. На блоки какого размера следует разбивать файл? Хотя этот вопрос не очень насущный, потому как это легко можно определить тестами.
3. Нумерация блоков. Так как в сжатый файл блоки нужно поместить в том же порядке, в котором они были считаны их исходного файла, то их необходимо нумеровать. Хорошо. Записали пронумерованные блоки в очередь (или в очереди), откуда их будет извлекать записывающий поток. Тут-то и проблема. Учитывая, что запись и так самое узкое место, записывающему потоку еще придется выискивать нужные блоки для организации правильного порядка записи. А если какой-то из блоков запоздает, то совсем плохая картина получается. И, собственно, сам вопрос: Как быть?
4. И, пожалуй, самый трудный вопрос. Как правильно организовать подачу этих самых блоков? Чтобы очередь на запись не переполнялась, а очередь на сжатие никогда не оставалась пустой.
5. И, наконец, как нужно выбирать размер памяти, отведенный приложению? Как это делаю нормальные программисты? Или без зазрения совести занимать всю свободную?

0

@insite2012

eg__13, примерное вИдение решения, исходя из требований.
1. Создаем объект для хранения сжатых данных, с обязательным наличие ключа.
2. Запускаем чтение файла, после чтения N количества данных стартуем первый поток обработки. И так по кругу, в несколько потоков.
3. Если свободных поток нет, ждем когда появится первый свободный и ему скармливаем очередную порцию.
4. Создаем глобальный счетчик, лучше volatile, и в каждом потоке обработки после обработки очередного блока устанавливаем наш ключ объекта хранения (этим счетчиком) и увеличиваем его на 1.
5. Записываем наш блок в хранилище блоков сжатых данных (словарь или что-то подобное).
6. После окончания сжатия сортируем получившееся хранилище по ключу, и в итоге мы получим все блоки в том порядке, в каком они были сжаты.
Вот примерный алгоритм, как я его вижу.
Что касается
Думаю, это можно оставить на усмотрение CLR.

1

@Woldemar89

Начать следует с грамотного (строчного, блочного и\или многопоточного) прочтения огромадного файла.
Остальное приложиться - потоки, очереди, сжатие - исходников до кучи.

0