Непонятно стартуют задачи

@V0fka · Регистрация: 24.05.2010

Студворк — интернет-сервис помощи студентам

Привет!

Пишу программу для разобра логов: читает логи из разных файлов, преобразует их и записывает в один файл.
Задумка была такая - каждый файл обрабатывается двумя потоками: первый читает данные из источника, второй преобразует их и записывает в приемник.

Решил я это сделать с помощью BlockingCollection. Для каждого файла создается задача, которая внутри себя запускает ещё две: первая (producer) добавляет запись в BlockingCollection, вторая (consumer) забирает оттуда записи, преобразует их и пишет в выходящий файл.

При запуске программы для обработки нескольких файлов логов получается, что сначала стартуют все задачи consumer (хотя они запускаются вторыми), только после этого начинают стартовать задачи producer. Вот так:

Прилагаю проект в VS 2017 и пример структуры логов. Файлы логов пустые, но для демонстрации проблемы этого достаточно. Для запуска программы надо в методе Main задать 2 переменные:

string outputFile = @"путь к выходному файлу";
string[] allFiles = Directory.GetFiles(@"путь к папке с логами которую я приложил", "*.log", SearchOption.AllDirectories);

Проект и логи: Project & logs.zip

Почему так происходит и как сделать, что бы producer стартовал, как ожидается, первым?

@kolorotur · 06.09.2018, 10:46

Сообщение от V0fka

Почему так происходит и как сделать, что бы producer стартовал, как ожидается, первым?

Правильный вопрос должен быть таким: почему вы ожидаете, что producer должен стартовать первым?
У вас же многопоточный сценарий, а фундаментальное правило любой многопоточной системы — это то, что операции выполняются в произвольном порядке до тех пор, пока что-то не заставляет их выполняться в определенном порядке.

В вашем коде нет инструкций, заставляющих сначала запускаться producer, а потом уже consumer.
Проводя аналогию, вы даете задание двум работникам: "Вася, начинай читать логи. Петя, начинай обрабатывать считываемые Васей логи. По местам!".
Петя оказался готов к работе раньше Васи.

Сообщение от V0fka

сначала стартуют все задачи consumer (хотя они запускаются вторыми), только после этого начинают стартовать задачи producer.

Это создает проблемы?

@nicolas2008 · 06.09.2018, 11:05

Сообщение от V0fka

Почему так происходит

Стартуют две задачи примерно в одно и то же время. В зависимости от того, какому из потоков планировщик ОС раньше выделит процессорное время, будет зависеть какая из задач начнет выполняться раньше.

Сообщение от V0fka

как сделать, что бы producer стартовал, как ожидается, первым?

В этом особо нету смысла, и так все должно работать правильно.
Но если очень хочется, то можно сделать так:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
                ManualResetEventSlim waitHanlde = new ManualResetEventSlim(false);
 
                var producer = Task.Run(() =>
                {
                    waitHanlde.Set();
                    Thread.CurrentThread.Name = $"{_inputLogFile} producer";
                    Producer();
                });
 
                var consumer = Task.Run(() =>
                {
                    waitHanlde.Wait();
                    Thread.CurrentThread.Name = $"{_inputLogFile} consumer";
                    Consumer();
                });

@V0fka · 06.09.2018, 11:27 **[ТС]**

kolorotur, если я между producer и consumer вставляю задержку, все равно сначала запускаются задачи consumer

C#
1
2
3
4
5
6
7
8
9
10
11
var producer = Task.Run(() =>
                {
                    Thread.CurrentThread.Name = $"{_inputLogFile} producer";
                    Producer();
                });
                Thread.Sleep(3000);
                var consumer = Task.Run(() =>
                {
                    Thread.CurrentThread.Name = $"{_inputLogFile} consumer";
                    Consumer();
                });

Это нормально?

Сообщение от kolorotur

Это создает проблемы?

По задумке хотелось бы, что бы в рамках одного файла producer и consumer работали параллельно. А у меня как-то не совсем параллельно получается.

Добавлено через 4 минуты

Сообщение от nicolas2008

В этом особо нету смысла, и так все должно работать правильно.

Мне хотелось бы, что бы работало немного иначе: что бы файлы читались/обрабатывались параллельно насколько это возможно. Т.е. если, например, у меня 4 ядра процессора, то что бы работа велась одновременно с 4 файлами и пока один из них не обработается, следующий не трогаем.

@nicolas2008 · 06.09.2018, 12:52

Сообщение от V0fka

Мне хотелось бы, что бы работало немного иначе: что бы файлы читались/обрабатывались параллельно насколько это возможно

Оно так сейчас и работает.

Сообщение от V0fka

Т.е. если, например, у меня 4 ядра процессора, то что бы работа велась одновременно с 4 файлами и пока один из них не обработается, следующий не трогаем.

Всмысле, ограничить многопоточность согласно количеству ядер процессора? Одно ядро - одна пара producer+consumer?

@V0fka · 10.09.2018, 08:39 **[ТС]**

Сообщение от nicolas2008

Всмысле, ограничить многопоточность согласно количеству ядер процессора? Одно ядро - одна пара producer+consumer?

Да. Для этого не надо разделять producer и consumer на разные задачи, а выполнять их синхронно (последовательно) внутри одной задачи?

@nicolas2008 · 10.09.2018, 11:48

Сообщение от V0fka

Для этого не надо разделять producer и consumer на разные задачи, а выполнять их синхронно (последовательно) внутри одной задачи?

Не обязательно, но это значительно упростило бы код:

C#
1
2
3
4
5
            Parallel.ForEach(allFiles, new ParallelOptions() { MaxDegreeOfParallelism = Environment.ProcessorCount }, (logFile) =>
            {
                LogFileHandler logFileHandler = new LogFileHandler(logFile, outputFile, scenario);
                logFileHandler.ProcessSynchronously();
            });

@V0fka · 11.09.2018, 11:37 **[ТС]**

Я, наверное, как-то неправильно понимаю концепцию использования задач.
Сделал я метод Process синхронным

C#
1
2
3
4
5
6
7
8
9
public Task Process()
{
    return Task.Run(() => 
    {
        ReadInputLog();
        WriteOutputLog();
        Interlocked.Increment(ref _processedFiles);
    });
}

И добавил таймер, который выводит состояние задач в приложении:

C#
1
2
3
4
5
6
7
8
9
private static void CheckState(object obj)
{
    int completedTasks = tasks.Where(t => t.Status == TaskStatus.RanToCompletion).Count();
    int ranningTasts = tasks.Where(t => t.Status == TaskStatus.Running).Count();
    Console.WriteLine($"{DateTime.Now.ToString("dd.MM.yyyy HH:mm:ss")}: всего {tasks.Count}, выполнено {completedTasks}, выполняется {ranningTasts}, осталось {tasks.Count - completedTasks}");
 
    if(tasks.Count - completedTasks == 0)
        _checkTimer.Change(Timeout.Infinite, Timeout.Infinite);
}

Я ожидал, что активных задач в каждый момент времени будет примерно одинаково (примерно по количеству ядер процессора), но вывод получился такой:

Кликните здесь для просмотра всего текста

11.09.2018 10:55:02: всего 632, выполнено 113, выполняется 4, осталось 519
11.09.2018 10:55:06: всего 632, выполнено 152, выполняется 6, осталось 480
11.09.2018 10:55:09: всего 632, выполнено 168, выполняется 9, осталось 464
11.09.2018 10:55:13: всего 632, выполнено 188, выполняется 11, осталось 444
11.09.2018 10:55:16: всего 632, выполнено 206, выполняется 14, осталось 426
11.09.2018 10:55:20: всего 632, выполнено 233, выполняется 16, осталось 399
11.09.2018 10:55:23: всего 632, выполнено 251, выполняется 17, осталось 381
11.09.2018 10:55:26: всего 632, выполнено 259, выполняется 19, осталось 373
11.09.2018 10:55:29: всего 632, выполнено 274, выполняется 21, осталось 358
11.09.2018 10:55:32: всего 632, выполнено 284, выполняется 23, осталось 348
11.09.2018 10:55:36: всего 632, выполнено 303, выполняется 26, осталось 329
11.09.2018 10:55:39: всего 632, выполнено 318, выполняется 28, осталось 314
11.09.2018 10:55:42: всего 632, выполнено 329, выполняется 31, осталось 303
11.09.2018 10:55:45: всего 632, выполнено 334, выполняется 33, осталось 298
11.09.2018 10:55:48: всего 632, выполнено 357, выполняется 34, осталось 275
11.09.2018 10:55:52: всего 632, выполнено 358, выполняется 38, осталось 274
11.09.2018 10:55:55: всего 632, выполнено 365, выполняется 41, осталось 267
11.09.2018 10:55:59: всего 632, выполнено 377, выполняется 44, осталось 255
11.09.2018 10:56:02: всего 632, выполнено 386, выполняется 46, осталось 246
11.09.2018 10:56:06: всего 632, выполнено 404, выполняется 48, осталось 228
11.09.2018 10:56:10: всего 632, выполнено 413, выполняется 51, осталось 219
11.09.2018 10:56:14: всего 632, выполнено 427, выполняется 53, осталось 205
11.09.2018 10:56:17: всего 632, выполнено 452, выполняется 56, осталось 180
11.09.2018 10:56:21: всего 632, выполнено 465, выполняется 57, осталось 167
11.09.2018 10:56:24: всего 632, выполнено 492, выполняется 58, осталось 140
11.09.2018 10:56:27: всего 632, выполнено 503, выполняется 59, осталось 129
11.09.2018 10:56:30: всего 632, выполнено 520, выполняется 61, осталось 112
11.09.2018 10:56:33: всего 632, выполнено 534, выполняется 63, осталось 98
11.09.2018 10:56:36: всего 632, выполнено 567, выполняется 65, осталось 65
11.09.2018 10:56:39: всего 632, выполнено 568, выполняется 64, осталось 64
11.09.2018 10:56:42: всего 632, выполнено 569, выполняется 63, осталось 63
11.09.2018 10:56:45: всего 632, выполнено 570, выполняется 62, осталось 62
11.09.2018 10:56:48: всего 632, выполнено 572, выполняется 60, осталось 60
11.09.2018 10:56:51: всего 632, выполнено 572, выполняется 60, осталось 60
11.09.2018 10:56:54: всего 632, выполнено 572, выполняется 60, осталось 60
11.09.2018 10:56:57: всего 632, выполнено 572, выполняется 60, осталось 60
11.09.2018 10:57:00: всего 632, выполнено 573, выполняется 59, осталось 59
11.09.2018 10:57:03: всего 632, выполнено 573, выполняется 59, осталось 59
11.09.2018 10:57:06: всего 632, выполнено 573, выполняется 59, осталось 59
11.09.2018 10:57:09: всего 632, выполнено 575, выполняется 57, осталось 57
11.09.2018 10:57:12: всего 632, выполнено 575, выполняется 57, осталось 57
11.09.2018 10:57:15: всего 632, выполнено 578, выполняется 54, осталось 54
11.09.2018 10:57:18: всего 632, выполнено 580, выполняется 52, осталось 52
11.09.2018 10:57:21: всего 632, выполнено 580, выполняется 52, осталось 52
11.09.2018 10:57:24: всего 632, выполнено 580, выполняется 52, осталось 52
11.09.2018 10:57:27: всего 632, выполнено 580, выполняется 52, осталось 52
11.09.2018 10:57:30: всего 632, выполнено 580, выполняется 52, осталось 52
11.09.2018 10:57:33: всего 632, выполнено 581, выполняется 51, осталось 51
11.09.2018 10:57:36: всего 632, выполнено 581, выполняется 51, осталось 51
11.09.2018 10:57:39: всего 632, выполнено 581, выполняется 51, осталось 51
11.09.2018 10:57:42: всего 632, выполнено 582, выполняется 50, осталось 50
11.09.2018 10:57:45: всего 632, выполнено 583, выполняется 49, осталось 49
11.09.2018 10:57:48: всего 632, выполнено 584, выполняется 48, осталось 48
11.09.2018 10:57:51: всего 632, выполнено 584, выполняется 48, осталось 48
11.09.2018 10:57:54: всего 632, выполнено 584, выполняется 48, осталось 48
11.09.2018 10:57:57: всего 632, выполнено 584, выполняется 48, осталось 48
11.09.2018 10:58:00: всего 632, выполнено 584, выполняется 48, осталось 48
11.09.2018 10:58:03: всего 632, выполнено 584, выполняется 48, осталось 48
11.09.2018 10:58:06: всего 632, выполнено 584, выполняется 48, осталось 48
11.09.2018 10:58:09: всего 632, выполнено 584, выполняется 48, осталось 48
11.09.2018 10:58:12: всего 632, выполнено 584, выполняется 48, осталось 48
11.09.2018 10:58:15: всего 632, выполнено 585, выполняется 47, осталось 47
11.09.2018 10:58:18: всего 632, выполнено 585, выполняется 47, осталось 47
11.09.2018 10:58:21: всего 632, выполнено 585, выполняется 47, осталось 47
11.09.2018 10:58:24: всего 632, выполнено 585, выполняется 47, осталось 47
11.09.2018 10:58:27: всего 632, выполнено 585, выполняется 47, осталось 47
11.09.2018 10:58:30: всего 632, выполнено 585, выполняется 47, осталось 47
11.09.2018 10:58:33: всего 632, выполнено 585, выполняется 47, осталось 47
11.09.2018 10:58:36: всего 632, выполнено 585, выполняется 47, осталось 47
11.09.2018 10:58:39: всего 632, выполнено 587, выполняется 45, осталось 45
11.09.2018 10:58:42: всего 632, выполнено 587, выполняется 45, осталось 45
11.09.2018 10:58:45: всего 632, выполнено 587, выполняется 45, осталось 45
11.09.2018 10:58:48: всего 632, выполнено 587, выполняется 45, осталось 45
11.09.2018 10:58:51: всего 632, выполнено 587, выполняется 45, осталось 45
11.09.2018 10:58:54: всего 632, выполнено 587, выполняется 45, осталось 45
11.09.2018 10:58:57: всего 632, выполнено 587, выполняется 45, осталось 45
11.09.2018 10:59:00: всего 632, выполнено 587, выполняется 45, осталось 45
11.09.2018 10:59:03: всего 632, выполнено 589, выполняется 43, осталось 43
11.09.2018 10:59:06: всего 632, выполнено 590, выполняется 42, осталось 42
11.09.2018 10:59:09: всего 632, выполнено 590, выполняется 42, осталось 42
11.09.2018 10:59:12: всего 632, выполнено 590, выполняется 42, осталось 42
11.09.2018 10:59:15: всего 632, выполнено 590, выполняется 42, осталось 42
11.09.2018 10:59:18: всего 632, выполнено 590, выполняется 42, осталось 42
11.09.2018 10:59:21: всего 632, выполнено 590, выполняется 42, осталось 42
11.09.2018 10:59:24: всего 632, выполнено 590, выполняется 42, осталось 42
11.09.2018 10:59:27: всего 632, выполнено 591, выполняется 41, осталось 41
11.09.2018 10:59:30: всего 632, выполнено 591, выполняется 41, осталось 41
11.09.2018 10:59:33: всего 632, выполнено 591, выполняется 41, осталось 41
11.09.2018 10:59:36: всего 632, выполнено 592, выполняется 40, осталось 40
11.09.2018 10:59:39: всего 632, выполнено 592, выполняется 40, осталось 40
11.09.2018 10:59:42: всего 632, выполнено 592, выполняется 40, осталось 40
11.09.2018 10:59:45: всего 632, выполнено 593, выполняется 39, осталось 39
11.09.2018 10:59:48: всего 632, выполнено 593, выполняется 39, осталось 39
11.09.2018 10:59:51: всего 632, выполнено 593, выполняется 39, осталось 39
11.09.2018 10:59:54: всего 632, выполнено 593, выполняется 39, осталось 39
11.09.2018 10:59:57: всего 632, выполнено 593, выполняется 39, осталось 39
11.09.2018 11:00:00: всего 632, выполнено 594, выполняется 38, осталось 38
11.09.2018 11:00:03: всего 632, выполнено 594, выполняется 38, осталось 38
11.09.2018 11:00:06: всего 632, выполнено 594, выполняется 38, осталось 38
11.09.2018 11:00:09: всего 632, выполнено 594, выполняется 38, осталось 38
11.09.2018 11:00:12: всего 632, выполнено 594, выполняется 38, осталось 38
11.09.2018 11:00:15: всего 632, выполнено 594, выполняется 38, осталось 38
11.09.2018 11:00:18: всего 632, выполнено 594, выполняется 38, осталось 38
11.09.2018 11:00:21: всего 632, выполнено 594, выполняется 38, осталось 38
11.09.2018 11:00:24: всего 632, выполнено 594, выполняется 38, осталось 38
11.09.2018 11:00:27: всего 632, выполнено 595, выполняется 37, осталось 37
11.09.2018 11:00:30: всего 632, выполнено 595, выполняется 37, осталось 37
11.09.2018 11:00:33: всего 632, выполнено 596, выполняется 36, осталось 36
11.09.2018 11:00:36: всего 632, выполнено 597, выполняется 35, осталось 35
11.09.2018 11:00:39: всего 632, выполнено 597, выполняется 35, осталось 35
11.09.2018 11:00:42: всего 632, выполнено 597, выполняется 35, осталось 35
11.09.2018 11:00:45: всего 632, выполнено 597, выполняется 35, осталось 35
11.09.2018 11:00:48: всего 632, выполнено 597, выполняется 35, осталось 35
11.09.2018 11:00:51: всего 632, выполнено 597, выполняется 35, осталось 35
11.09.2018 11:00:54: всего 632, выполнено 597, выполняется 35, осталось 35
11.09.2018 11:00:57: всего 632, выполнено 597, выполняется 35, осталось 35
11.09.2018 11:01:00: всего 632, выполнено 597, выполняется 35, осталось 35
11.09.2018 11:01:03: всего 632, выполнено 597, выполняется 35, осталось 35
11.09.2018 11:01:06: всего 632, выполнено 598, выполняется 34, осталось 34
11.09.2018 11:01:09: всего 632, выполнено 599, выполняется 33, осталось 33
11.09.2018 11:01:12: всего 632, выполнено 599, выполняется 33, осталось 33
11.09.2018 11:01:15: всего 632, выполнено 599, выполняется 33, осталось 33
11.09.2018 11:01:18: всего 632, выполнено 600, выполняется 32, осталось 32
11.09.2018 11:01:21: всего 632, выполнено 600, выполняется 32, осталось 32
11.09.2018 11:01:24: всего 632, выполнено 600, выполняется 32, осталось 32
11.09.2018 11:01:27: всего 632, выполнено 600, выполняется 32, осталось 32
11.09.2018 11:01:30: всего 632, выполнено 600, выполняется 32, осталось 32
11.09.2018 11:01:33: всего 632, выполнено 601, выполняется 31, осталось 31
11.09.2018 11:01:36: всего 632, выполнено 602, выполняется 30, осталось 30
11.09.2018 11:01:39: всего 632, выполнено 602, выполняется 30, осталось 30
11.09.2018 11:01:42: всего 632, выполнено 602, выполняется 30, осталось 30
11.09.2018 11:01:45: всего 632, выполнено 602, выполняется 30, осталось 30
11.09.2018 11:01:48: всего 632, выполнено 602, выполняется 30, осталось 30
11.09.2018 11:01:51: всего 632, выполнено 602, выполняется 30, осталось 30
11.09.2018 11:01:54: всего 632, выполнено 603, выполняется 29, осталось 29
11.09.2018 11:01:57: всего 632, выполнено 604, выполняется 28, осталось 28
11.09.2018 11:02:00: всего 632, выполнено 604, выполняется 28, осталось 28
11.09.2018 11:02:03: всего 632, выполнено 604, выполняется 28, осталось 28
11.09.2018 11:02:06: всего 632, выполнено 604, выполняется 28, осталось 28
11.09.2018 11:02:09: всего 632, выполнено 605, выполняется 27, осталось 27
11.09.2018 11:02:12: всего 632, выполнено 605, выполняется 27, осталось 27
11.09.2018 11:02:15: всего 632, выполнено 606, выполняется 26, осталось 26
11.09.2018 11:02:18: всего 632, выполнено 606, выполняется 26, осталось 26
11.09.2018 11:02:21: всего 632, выполнено 606, выполняется 26, осталось 26
11.09.2018 11:02:24: всего 632, выполнено 607, выполняется 25, осталось 25
11.09.2018 11:02:27: всего 632, выполнено 607, выполняется 25, осталось 25
11.09.2018 11:02:30: всего 632, выполнено 607, выполняется 25, осталось 25
11.09.2018 11:02:33: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:02:36: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:02:39: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:02:42: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:02:45: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:02:48: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:02:51: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:02:54: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:02:57: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:03:00: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:03:03: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:03:06: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:03:09: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:03:12: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:03:15: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:03:18: всего 632, выполнено 609, выполняется 23, осталось 23
11.09.2018 11:03:21: всего 632, выполнено 610, выполняется 22, осталось 22
11.09.2018 11:03:24: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:03:27: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:03:30: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:03:33: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:03:36: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:03:39: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:03:42: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:03:45: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:03:48: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:03:51: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:03:54: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:03:57: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:04:00: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:04:03: всего 632, выполнено 611, выполняется 21, осталось 21
11.09.2018 11:04:06: всего 632, выполнено 612, выполняется 20, осталось 20
11.09.2018 11:04:09: всего 632, выполнено 612, выполняется 20, осталось 20
11.09.2018 11:04:12: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:15: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:18: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:21: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:24: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:27: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:30: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:33: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:36: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:39: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:42: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:45: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:48: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:51: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:54: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:04:57: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:05:00: всего 632, выполнено 613, выполняется 19, осталось 19
11.09.2018 11:05:03: всего 632, выполнено 614, выполняется 18, осталось 18
11.09.2018 11:05:06: всего 632, выполнено 614, выполняется 18, осталось 18
11.09.2018 11:05:09: всего 632, выполнено 615, выполняется 17, осталось 17
11.09.2018 11:05:12: всего 632, выполнено 615, выполняется 17, осталось 17
11.09.2018 11:05:15: всего 632, выполнено 616, выполняется 16, осталось 16
11.09.2018 11:05:18: всего 632, выполнено 616, выполняется 16, осталось 16
11.09.2018 11:05:21: всего 632, выполнено 616, выполняется 16, осталось 16
11.09.2018 11:05:24: всего 632, выполнено 617, выполняется 15, осталось 15
11.09.2018 11:05:27: всего 632, выполнено 617, выполняется 15, осталось 15
11.09.2018 11:05:30: всего 632, выполнено 617, выполняется 15, осталось 15
11.09.2018 11:05:33: всего 632, выполнено 617, выполняется 15, осталось 15
11.09.2018 11:05:36: всего 632, выполнено 617, выполняется 15, осталось 15
11.09.2018 11:05:39: всего 632, выполнено 617, выполняется 15, осталось 15
11.09.2018 11:05:42: всего 632, выполнено 617, выполняется 15, осталось 15
11.09.2018 11:05:45: всего 632, выполнено 617, выполняется 15, осталось 15
11.09.2018 11:05:48: всего 632, выполнено 617, выполняется 15, осталось 15
11.09.2018 11:05:51: всего 632, выполнено 617, выполняется 15, осталось 15
11.09.2018 11:05:54: всего 632, выполнено 618, выполняется 14, осталось 14
11.09.2018 11:05:57: всего 632, выполнено 618, выполняется 14, осталось 14
11.09.2018 11:06:00: всего 632, выполнено 619, выполняется 13, осталось 13
11.09.2018 11:06:03: всего 632, выполнено 619, выполняется 13, осталось 13
11.09.2018 11:06:06: всего 632, выполнено 619, выполняется 13, осталось 13
11.09.2018 11:06:09: всего 632, выполнено 620, выполняется 12, осталось 12
11.09.2018 11:06:12: всего 632, выполнено 620, выполняется 12, осталось 12
11.09.2018 11:06:15: всего 632, выполнено 621, выполняется 11, осталось 11
11.09.2018 11:06:18: всего 632, выполнено 622, выполняется 10, осталось 10
11.09.2018 11:06:21: всего 632, выполнено 622, выполняется 10, осталось 10
11.09.2018 11:06:24: всего 632, выполнено 622, выполняется 10, осталось 10
11.09.2018 11:06:27: всего 632, выполнено 622, выполняется 10, осталось 10
11.09.2018 11:06:30: всего 632, выполнено 622, выполняется 10, осталось 10
11.09.2018 11:06:33: всего 632, выполнено 622, выполняется 10, осталось 10
11.09.2018 11:06:36: всего 632, выполнено 622, выполняется 10, осталось 10
11.09.2018 11:06:39: всего 632, выполнено 622, выполняется 10, осталось 10
11.09.2018 11:06:42: всего 632, выполнено 623, выполняется 9, осталось 9
11.09.2018 11:06:45: всего 632, выполнено 623, выполняется 9, осталось 9
11.09.2018 11:06:48: всего 632, выполнено 623, выполняется 9, осталось 9
11.09.2018 11:06:51: всего 632, выполнено 623, выполняется 9, осталось 9
11.09.2018 11:06:54: всего 632, выполнено 623, выполняется 9, осталось 9
11.09.2018 11:06:57: всего 632, выполнено 623, выполняется 9, осталось 9
11.09.2018 11:07:00: всего 632, выполнено 623, выполняется 9, осталось 9
11.09.2018 11:07:03: всего 632, выполнено 624, выполняется 8, осталось 8
11.09.2018 11:07:06: всего 632, выполнено 624, выполняется 8, осталось 8
11.09.2018 11:07:09: всего 632, выполнено 624, выполняется 8, осталось 8
11.09.2018 11:07:12: всего 632, выполнено 624, выполняется 8, осталось 8
11.09.2018 11:07:15: всего 632, выполнено 624, выполняется 8, осталось 8
11.09.2018 11:07:18: всего 632, выполнено 624, выполняется 8, осталось 8
11.09.2018 11:07:21: всего 632, выполнено 626, выполняется 6, осталось 6
11.09.2018 11:07:24: всего 632, выполнено 627, выполняется 5, осталось 5
11.09.2018 11:07:27: всего 632, выполнено 627, выполняется 5, осталось 5
11.09.2018 11:07:30: всего 632, выполнено 629, выполняется 3, осталось 3
11.09.2018 11:07:33: всего 632, выполнено 629, выполняется 3, осталось 3
11.09.2018 11:07:36: всего 632, выполнено 630, выполняется 2, осталось 2
11.09.2018 11:07:39: всего 632, выполнено 630, выполняется 2, осталось 2
11.09.2018 11:07:42: всего 632, выполнено 631, выполняется 1, осталось 1
11.09.2018 11:07:45: всего 632, выполнено 631, выполняется 1, осталось 1

То есть количество активных задач (Status == TaskStatus.Running) растет до какого-то момента, а потом спадает. Если, как в моем случае, есть 60 задач в статусе Running, это означает, что код в них всех сейчас параллельно работает либо между ними происходит постоянно переключение и код работает параллельно не в 60 потоков, а в количество, которое сопоставимо с количеством ядер процессора?

@nicolas2008 · 11.09.2018, 15:26

Сообщение от V0fka

Если, как в моем случае, есть 60 задач в статусе Running, это означает, что код в них всех сейчас параллельно работает либо между ними происходит постоянно переключение и код работает параллельно не в 60 потоков, а в количество, которое сопоставимо с количеством ядер процессора?

На логическом уровне они выполняются одновременно. На физическом уровне паралельно выполняется количество потоков соответствующее количеству ядер.

@V0fka · 12.09.2018, 07:59 **[ТС]**

nicolas2008, я правильно понимаю, если, например, на компе 4 ядра, то в каждый момент времени может выполняться каких-то 4 оператора в разных задачах, причем с каждым тиком процессора (или чего?) задачи могут переключаться?

@nicolas2008 · 12.09.2018, 19:04

Сообщение от V0fka

я правильно понимаю, если, например, на компе 4 ядра, то в каждый момент времени может выполняться каких-то 4 оператора в разных задачах

Да.

Сообщение от V0fka

причем с каждым тиком процессора (или чего?) задачи могут переключаться?

Не с каждым тиком, ибо это дорого. Частота переключения контролируюется операционной системой, в Windows по умолчанию она составляет 15ms.

@V0fka · 13.09.2018, 08:22 **[ТС]**

nicolas2008, спасибо!

Новые блоги и статьи Все статьи Все блоги /
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .	делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .

@V0fka 86 / 13 / 1 Регистрация: 24.05.2010 Сообщений: 590

	.NET 4.x Непонятно стартуют задачи 06.09.2018, 10:18. Показов 1407. Ответов 11 Метки нет (Все метки) Привет! Пишу программу для разобра логов: читает логи из разных файлов, преобразует их и записывает в один файл. Задумка была такая - каждый файл обрабатывается двумя потоками: первый читает данные из источника, второй преобразует их и записывает в приемник. Решил я это сделать с помощью BlockingCollection. Для каждого файла создается задача, которая внутри себя запускает ещё две: первая (producer) добавляет запись в BlockingCollection, вторая (consumer) забирает оттуда записи, преобразует их и пишет в выходящий файл. При запуске программы для обработки нескольких файлов логов получается, что сначала стартуют все задачи consumer (хотя они запускаются вторыми), только после этого начинают стартовать задачи producer. Вот так: Прилагаю проект в VS 2017 и пример структуры логов. Файлы логов пустые, но для демонстрации проблемы этого достаточно. Для запуска программы надо в методе Main задать 2 переменные: string outputFile = @"путь к выходному файлу"; string[] allFiles = Directory.GetFiles(@"путь к папке с логами которую я приложил", "*.log", SearchOption.AllDirectories); Проект и логи: Project & logs.zip Почему так происходит и как сделать, что бы producer стартовал, как ожидается, первым? 0

@V0fka 86 / 13 / 1 Регистрация: 24.05.2010 Сообщений: 590
	12.09.2018, 07:59 [ТС]
	nicolas2008, я правильно понимаю, если, например, на компе 4 ядра, то в каждый момент времени может выполняться каких-то 4 оператора в разных задачах, причем с каждым тиком процессора (или чего?) задачи могут переключаться? 0

@V0fka 86 / 13 / 1 Регистрация: 24.05.2010 Сообщений: 590
	13.09.2018, 08:22 [ТС]
	nicolas2008, спасибо! 0

Непонятно стартуют задачи

Решение