Обработка множества файлов в параллельных потоках

@Luce · Регистрация: 02.09.2014

Студворк — интернет-сервис помощи студентам

День добрый, уважаемые форумчане. Прошу помочь с моим камнем преткновения "Потоками". Имеется задача:

На диске существует папка с большим количеством .txt файлов (порядка 20 000), содержащих целые числа.
Необходимо написать Winforms GUI приложение на языке C# для OS Windows, которое считало бы общую сумму всех чисел из всех файлов (при поиске файлов программа также должна заглядывать в подпапки).

Программа должна обрабатывать файлы параллельно в несколько потоков. Также нужно проработать обработку ошибок и исключений (программа не должна “вылетать” или неожиданно завершаться с ошибкой).

Сам проект. TextFinder.rar
Если не сложно на его основе продемонстрировать, как лучше реализовать параллельную обработку.

@Dark Byte · 15.06.2017, 15:52

Не по теме:

Выкладывай сюда код ответственный за параллельную обработку файлов. Мало кому охота качать чужой архив - проще когда просто видишь код, да и студия может не стоять.

@OwenGlendower · 15.06.2017, 15:57

Не по теме:

Dark Byte, 1) Отсутствие студии никак не мешает открыть исходный файл в текстовом редакторе
2) Человек выложил весь проект чтобы можно было его запустить и попробовать в деле. Это серьезая экономия времени
3) Если лично тебе лень скачать архив и посмотреть код, то из этого не следует что остальные думают аналогично.

@jetyb · 15.06.2017, 16:03

1. Сделать отдельный поток ReadThread, который будет рекурсивно ходить по всем папкам, читать оттуда файлы (типа File.ReadAllLines, File.ReadAllBytes) и класть результат из каждого файла в общую кучу с параллельным доступом (см System.Collections.Concurrent.Concurrent Bag).
2. Параллельно запустить несколько рабочих потоков (по числу ядер процессора минус 1), которые, пока работает процесс ReadThread и пока в куче что-то есть, будут брать из кучи данные, преобразовывать их в целые числа и считать их сумму.
Затем просуммировать суммы всех потоков.
Обратите внимание на класс System.Threading.Tasks.Parallel - он позволяет выполнять несколько методов раскидывая потоки по ядрам процессора.

Если файлов много, следует еще задуматься об переполнении оперативной пямяти. Тогда при переполнении размера хранилища (сумма размеров всех загруженных файлов больше определенной величины) потоку ReadThread следует ожидать обработчки загруженных данных.

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@Luce 24 / 24 / 10 Регистрация: 02.09.2014 Сообщений: 137

	Обработка множества файлов в параллельных потоках 15.06.2017, 15:47. Показов 995. Ответов 3 Метки нет (Все метки) День добрый, уважаемые форумчане. Прошу помочь с моим камнем преткновения "Потоками". Имеется задача: На диске существует папка с большим количеством .txt файлов (порядка 20 000), содержащих целые числа. Необходимо написать Winforms GUI приложение на языке C# для OS Windows, которое считало бы общую сумму всех чисел из всех файлов (при поиске файлов программа также должна заглядывать в подпапки). Программа должна обрабатывать файлы параллельно в несколько потоков. Также нужно проработать обработку ошибок и исключений (программа не должна “вылетать” или неожиданно завершаться с ошибкой). Сам проект. TextFinder.rar Если не сложно на его основе продемонстрировать, как лучше реализовать параллельную обработку. 0

@Dark Byte
	15.06.2017, 15:52
	Не по теме: Выкладывай сюда код ответственный за параллельную обработку файлов. Мало кому охота качать чужой архив - проще когда просто видишь код, да и студия может не стоять. 0

@OwenGlendower
	15.06.2017, 15:57
	Не по теме: Dark Byte, 1) Отсутствие студии никак не мешает открыть исходный файл в текстовом редакторе 2) Человек выложил весь проект чтобы можно было его запустить и попробовать в деле. Это серьезая экономия времени 3) Если лично тебе лень скачать архив и посмотреть код, то из этого не следует что остальные думают аналогично. 0

@jetyb 288 / 251 / 107 Регистрация: 26.10.2012 Сообщений: 796
	15.06.2017, 16:03
	1. Сделать отдельный поток ReadThread, который будет рекурсивно ходить по всем папкам, читать оттуда файлы (типа File.ReadAllLines, File.ReadAllBytes) и класть результат из каждого файла в общую кучу с параллельным доступом (см System.Collections.Concurrent.Concurrent Bag). 2. Параллельно запустить несколько рабочих потоков (по числу ядер процессора минус 1), которые, пока работает процесс ReadThread и пока в куче что-то есть, будут брать из кучи данные, преобразовывать их в целые числа и считать их сумму. Затем просуммировать суммы всех потоков. Обратите внимание на класс System.Threading.Tasks.Parallel - он позволяет выполнять несколько методов раскидывая потоки по ядрам процессора. Если файлов много, следует еще задуматься об переполнении оперативной пямяти. Тогда при переполнении размера хранилища (сумма размеров всех загруженных файлов больше определенной величины) потоку ReadThread следует ожидать обработчки загруженных данных. 0