Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
9 / 8 / 5
Регистрация: 13.05.2015
Сообщений: 253

Один цикл в нескольких потоках

12.11.2022, 17:28. Показов 454. Ответов 8
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Здравствуйте. Помогите, пожалуйста, решить такую вот задачу. У меня есть алгоритм, в котором цикл перебирает строки файла:
C#
1
while ((s = f.ReadLine()) != null)
Далее производит с ними операции и при определенных условиях записывает записывает в другой файл:
C#
1
2
StreamWriter file = new StreamWriter(@"C:\Users\Admin\Desktop\01.txt", true);
file.WriteLine(s);
На одну строку уходит около 1 секунды (чуть меньше). Строк у меня более миллиона. Следовательно это будет очень долго.
Как можно сделать так, чтобы одновременно выполнялись операции над 10 и более строками? А лучше по 100 их брать.
Просто циклом вытаскивать по сотне строк? Распихивать их по разным переменным? Мне кажется, что это бред.
Может можно как-то сделать это в 100 потоков?

Добавлено через 19 минут
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
string s;
string response;
StreamReader f = new StreamReader(@"C:\Users\Admin\Desktop\1.txt");
 
while ((s = f.ReadLine()) != null)
{
    Uri url = new Uri($"...");//здесь во время формирования строки запроса используется 's'
    response = new WebClient().DownloadString(url);
 
    if (response.Contains("..."))
    {
        StreamWriter file = new StreamWriter(@"C:\Users\Admin\Desktop\01.txt", true);
        file.WriteLine(s);
        file.Close();
    }
    else 
    { 
 
    }
}
f.Close();
Console.ReadKey();
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
12.11.2022, 17:28
Ответы с готовыми решениями:

Цикл выполняется один раз вместо нескольких
Есть папка из 354 файлов,нужно,чтобы осталось 299 void Data::renewFiles() { QDir dir; dir.cd(QDir::currentPath() +...

Цикл выполняется один раз вместо нескольких
Есть папка с 354 файлами Нужно,чтобы стало 299 void Data::renewFiles() { QDir dir; dir.cd(QDir::currentPath() +...

Недопустимая операция в нескольких потоках
Подскажите как исправить этот исходник.

8
 Аватар для IamRain
4694 / 2702 / 734
Регистрация: 02.08.2011
Сообщений: 7,233
12.11.2022, 17:37
Делайте асинхронный цикл, тут множество вариаций.
1. Читать из файла построчно (параллельно все равно читать не получится), запускать таску и не дожидаться ее.
2. Сначала прочитать все из файла в память, и пробежаться по этому добру через Parallel.Foreach.
3. Читать блоками по N=100, и каждый блок поток пропускать через Parallel.Foreach.
Ну либо через ручное создание таски. И дожидаться всей пачки.
1
9 / 8 / 5
Регистрация: 13.05.2015
Сообщений: 253
12.11.2022, 17:40  [ТС]
Цитата Сообщение от IamRain Посмотреть сообщение
3. Читать блоками по N=100, и каждый блок поток пропускать через Parallel.Foreach.
Можете этот вариант кодом показать? Мой недокод выше изменить, чтобы он по 100 строк брал, отправлял 100 запросов, получал 100 ответов и нужные записывал в файл
0
 Аватар для IamRain
4694 / 2702 / 734
Регистрация: 02.08.2011
Сообщений: 7,233
12.11.2022, 17:59
Примерно так:
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
while ((s = f.ReadLine()) != null)
{
    var task = Task.Run(() =>
    {
        Uri url = new Uri($"..."); //здесь в во время формирования строки запроса используется 's'
        response = new WebClient().DownloadString(url);
 
        if (response.Contains("..."))
        {
            StreamWriter file = new StreamWriter(@"C:\Users\Admin\Desktop\01.txt", true);
            file.WriteLine(s);
            file.Close();
        }
        else
        {
 
        }
        ;
    });
 
    task.ContinueWith(OnCompleted, TaskContinuationOptions.OnlyOnRanToCompletion);
    task.ContinueWith(OnCompleted, TaskContinuationOptions.OnlyOnFaulted);
}
 
 
private static void OnFaulted(Task t)
{
    //тут ваш код обработки ошибки
}
 
 
private static void OnCompleted(Task t)
{
    ///тут ваш код обработки результата
}
Можно через Parallel.Foreach - тогда код будет выглядеть немножко по-другому.

Добавлено через 6 минут
Цитата Сообщение от Mr_Asdshka Посмотреть сообщение
Можете этот вариант кодом показать?
Пожалуйста, примерно так:
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
var batch = new List<string>();
string s;
while ((s = f.ReadLine()) != null)
{
    batch.Add(s);
 
    if (batch.Count == 100)
    {
        Parallel.ForEach(batch, (s) =>
        {
            Uri url = new Uri($"...");//здесь в во время формирования строки запроса используется 's'
            var response = new WebClient().DownloadString(url);
 
            if (response.Contains("..."))
            {
                StreamWriter file = new StreamWriter(@"C:\Users\Admin\Desktop\01.txt", true);
                file.WriteLine(s);
                file.Close();
            }
            else 
            { 
 
            }
        });
        batch.Clear();
    }
}
 
if (batch.Any())
{
    //обработать то, что осталось
}
 
 
f.Close();
Console.ReadKey();
Добавлено через 5 минут
Лучше код, который выполняется асинхронно выделить в отдельный метод, а не в виде лямбы, как выше, так будет более структурированно.
Тогда будет две ссылки на этот метод, в Parallel.Foreach и в условии batch.Any.

Добавлено через 1 минуту
Вы можете параметр N (размер batch-а) вынести в конфигурацию и поиграться с ним, проводя мониторинг занимаемой памяти и скорости обработки.

Добавлено через 2 минуты
Можно еще использовать PLINQ, это почти тоже самое что Parallel.Foreach, только вроде как PLINQ не жалеет ресурсы процессора, начинает кушать все. Ну у вас там все равно I/O, так что без разницы.
1
9 / 8 / 5
Регистрация: 13.05.2015
Сообщений: 253
12.11.2022, 18:04  [ТС]
Цитата Сообщение от IamRain Посмотреть сообщение
Пожалуйста, примерно так:
На файл, в который идёт запись прилетает: "System.IO.IOException: "The process cannot access the file"
А далее: "System.Net.WebException: "Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера."
И следом: "System.AggregateException: "One or more errors occurred"

Добавлено через 3 минуты
Цитата Сообщение от IamRain Посмотреть сообщение
Вы можете параметр N (размер batch-а) вынести в конфигурацию и поиграться с ним, проводя мониторинг занимаемой памяти и скорости обработки.
Если ставлю на 5, то исключений нет, но и скорость, как я заметил, изменилась всего на 0.1 секунды
0
 Аватар для IamRain
4694 / 2702 / 734
Регистрация: 02.08.2011
Сообщений: 7,233
12.11.2022, 18:04
Пишите в память, а не в файл, либо запись в файл делайте взаимоисключащим (с контрукцией lock, например).
Цитата Сообщение от Mr_Asdshka Посмотреть сообщение
"Попытка установить соединение была безуспешной,
А эту ситуацию надо просто обрабатывать через try/catch.
1
9 / 8 / 5
Регистрация: 13.05.2015
Сообщений: 253
12.11.2022, 18:07  [ТС]
Цитата Сообщение от IamRain Посмотреть сообщение
А эту ситуацию надо просто обрабатывать через try/catch.
Тогда строки пролетят впустую получается, верно? Или повторно их отправлять?

Добавлено через 1 минуту
Цитата Сообщение от IamRain Посмотреть сообщение
Пишите в память, а не в файл, либо запись в файл делайте взаимоисключащим (с контрукцией lock, например).
А через using и file.appendtext это можно как-то реализовать?
0
 Аватар для IamRain
4694 / 2702 / 734
Регистрация: 02.08.2011
Сообщений: 7,233
12.11.2022, 18:24
Цитата Сообщение от Mr_Asdshka Посмотреть сообщение
? Или повторно их отправлять?
Да, впустую. Тут вы уже сами решаете, можете повторно отправлять, можете игнорить, вам лучше знать.

Добавлено через 3 минуты
Цитата Сообщение от Mr_Asdshka Посмотреть сообщение
А через using и file.appendtext это можно как-то реализовать?
Лучше под lock-ом в память писать, а потом один раз весь результат в файл вывалить.
Но пусть будет по-вашему:
C#
1
2
3
4
static object lockObject = new object();
....
lock(lockObject)
  file.AppendText(...);
Только StreamWriter надо открыть один раз в using-е, и туда же поместить Parallel.Foreach. Как-то так.

Добавлено через 11 минут
Mr_Asdshka, а можно ничего не лочить, а писать в свой временный файл с рандомным именем.
После завершения всей обработки просто слить все файлы в один.
Но тут будет больше I/O нагрузки на диск, но зато скорость обработки подрастет, так как локов нету.

Добавлено через 34 секунды
Как видите компромиссов много разных.
1
9 / 8 / 5
Регистрация: 13.05.2015
Сообщений: 253
13.11.2022, 08:01  [ТС]
Цитата Сообщение от IamRain Посмотреть сообщение
Как видите компромиссов много разных.
Вот этот вариант можно как-то ускорить? Хотя бы раз в 10:
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
public static void Main(string[] args)
{
    Task firstTask = Task.Factory.StartNew(() => InizializeCycle(Path.Combine(DesktopPath, "1.txt"), Path.Combine(DesktopPath, "01.txt")));
    Console.WriteLine($"Start Task: {firstTask.Id}");
    firstTask.Wait();
    
    Task.WaitAll(firstTask);
    Console.WriteLine("All threads complete");
 
    Console.Read();
}
 
static readonly string CurrDir = Environment.CurrentDirectory, UserName = Environment.UserName;
static readonly string DesktopPath = Environment.GetFolderPath(Environment.SpecialFolder.Desktop);
 
const int BUFFERSTREAM = 10 * 1024 * 1024;
 
static void InizializeCycle(string inputFile, string OutputFile)
{
    if (File.Exists(inputFile))
    {
        try
        {
            using StreamReader sr = new StreamReader(new BufferedStream(File.OpenRead(inputFile), BUFFERSTREAM));
            using StreamWriter sw = new StreamWriter(new BufferedStream(File.OpenWrite(OutputFile), BUFFERSTREAM));
 
            string line = "", response = ""; 
 
            while ((line = sr.ReadLine()) != null)
            {
                Uri url = new Uri($"...", UriKind.RelativeOrAbsolute); //В формировании запроса учавствует line
                response = new WebClient().DownloadString(url);
                if (response.Contains("..."))
                {
                    Console.WriteLine($"+{line}");
                    sw.WriteLine($"{line}");
                }
                else
                {
 
                }
            }
        }
        catch (Exception ex) 
        {
            Console.WriteLine($"Error: {ex}\r\n");
            File.AppendAllText("Error_Read.txt", $"{ex}\r\n"); 
        }
    }
}
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
13.11.2022, 08:01
Помогаю со студенческими работами здесь

Недопустимая операция в нескольких потоках
1. Есть класс MyClass в котором метод MyMethod каждую секунду увеличевает переменную на a 1 и TestEvent - событие которое срабатывает...

Недопустимая операция в нескольких потоках
Пытаюсь создать поток таким образом: Thread thread = new Thread(check2); thread.IsBackground = true; ...

Недопустимая операция в нескольких потоках
Коллеги, добрый день! Вот кусочек кода: private void backgroundWorker1_DoWork(object sender, DoWorkEventArgs e) { ...

Недопустимая операция в нескольких потоках.
Доброго времени суток. Так как в C# я новичек, мне пнадобилась Ваша помощь. Нашел пример в книге (мониторинг каталогов). Все...

Управление соединением с БД в нескольких потоках
Приветик. У меня есть многопоточный сервер и клиент к ниму. Клиент посылает запросы на сервер, а сервер посылает запросы к БД и возвращает...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
9
Ответ Создать тему
Новые блоги и статьи
Символические и жёсткие ссылки в Linux.
algri14 15.03.2026
Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ФедосеевПавел 14.03.2026
Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .
делаю науч статью по влиянию грибов на сукцессию
anaschu 13.03.2026
прикрепляю статью
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++
8Observer8 10.03.2026
Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE
8Observer8 10.03.2026
Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки
Neotwalker 08.03.2026
Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages
DevAlt 07.03.2026
Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F#
DevAlt 06.03.2026
В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru