Как организовать чтение массива из четырех потоков?

@Suppir · Регистрация: 08.08.2011

Студворк — интернет-сервис помощи студентам

Добрый день!

Пишу программу, которая будет проверять файлы на 50 видов ошибок. Упрощенно алгоритм представляю себе следующим образом:

1. Файл читается в массив.

2. Создается 4 потока, которыми начинаются делать одновременно 4 проверки (из 50). Каждая из этих проверок читает массив и ищет конкретные виды ошибок. Результат пишется в общий dataGridView (название файла - список ошибок).

3. Когда какая-нибудь проверка отработала, вместо нее должна запускаться следующая проверка. До тех пор, пока все 50 не отработают на этом файле.

Подскажите, как лучше все это организовать? Соответственно, мне нужно из 4-х потоков одновременно обращаться (на чтение) к одному массиву, а потом писать в общий DataGridView.

@turbanoff · 07.03.2014, 07:21

Если разные потоки только читают из массива - то синхронизация при работе с массивом не требуется.
Для добавления строк в DGV использовать метод Invoke.

Добавлено через 10 минут

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
class Program
    {
        static void Main()
        {
            int[] arr = {1,2,3,4};
            
            var worker = new Worker(arr);
            int N = 4;
            for (int i = 0; i < 4; i++)
            {
                new Thread(worker.Run).Start();
            }
 
            for (int i = 1; i <= 50; i++)
            {
                worker.AddArrayCheck(i);
            }
 
            for (int i = 0; i < 4; i++)
            {
                worker.AddArrayCheck(-1);
            }
        }
    }
 
    class Worker
    {
        readonly BlockingCollection<int> checksQueue = new BlockingCollection<int>();
        private int[] arr;
 
        public Worker(int[] arr)
        {
            this.arr = arr;
        }
 
        public void AddArrayCheck(int checkNumber)
        {
            checksQueue.Add(checkNumber);
        }
 
        public void Run()
        {
            int next;
            while ((next = checksQueue.Take()) != -1)
            {
                //запустить проверку с номером next
            }
        }
    }

@Suppir · 07.03.2014, 10:57 **[ТС]**

Спасибо, буду разбираться!

Пока что из многопоточности я использовал только backgroundworker для одновременной работы функций программы и ее интерфейса. Но сейчас повсеместно стоят многоядерные процессоры, так что многопоточность становится must have.

Psilon · 08.03.2014, 17:07

turbanoff, а так не проще?

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
        static void Main(string[] args)
        {
            byte[] file = { };
            Predicate<byte[]>[] predicates = {Check1, Check2};
            var allChecksCompleted = predicates.AsParallel().All(check => check(file));
            Console.WriteLine(allChecksCompleted);
        }
 
        static bool Check1(byte[] file)
        {
            return true;
        }
        static bool Check2(byte[] file)
        {
            return false;
        }

Добавлено через 2 минуты
или так:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
using System;
using System.Linq;
 
namespace ConsoleApplication17
{
    class Program
    {
        static void Main()
        {
            byte[] file = { };
            Predicate<byte[]>[] predicates = {Check1, Check2};
            var checksCompleted = predicates.AsParallel().Where(check => check(file));
            Console.WriteLine("Прошедшие проверки = {0}", string.Join(", ", checksCompleted.Select(x => x.Method.Name)));
            Console.WriteLine("Заваленные проверки = {0}", string.Join(", ", predicates.Except(checksCompleted).Select(x => x.Method.Name)));
        }
 
        static bool Check1(byte[] file)
        {
            return true;
        }
        static bool Check2(byte[] file)
        {
            return false;
        }
    }
}

@turbanoff · 08.03.2014, 17:14

Psilon, Проще, но не соответствует заданию, что необходимо выполнять код в 4-х потоках

Psilon · 08.03.2014, 17:30

turbanoff, тогда так?..

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks;
 
namespace ConsoleApplication17
{
    internal class Program
    {
        private static void Main()
        {
            byte[] file = {};
            Predicate<byte[]>[] predicates = {Check1, Check2};
            var succeededPredicates = predicates.GetSuccessedChecks(file);
 
            Console.WriteLine("Успешно выполненные проверки:");
            foreach (var succeededPredicate in succeededPredicates)
            {
                Console.WriteLine(succeededPredicate.Method.Name);
            }
 
            Console.WriteLine("\r\nЗаваленные проверки:");
            foreach (var succeededPredicate in predicates.Except(succeededPredicates))
            {
                Console.WriteLine(succeededPredicate.Method.Name);
            }
        }
 
        private static bool Check1(byte[] file)
        {
            return true;
        }
 
        private static bool Check2(byte[] file)
        {
            return false;
        }
    }
 
    public static class ParallelExtender
    {
        public static List<Predicate<byte[]>> GetSuccessedChecks(this ICollection<Predicate<byte[]>> predicates,
                                                                 byte[] file)
        {
            var succeededPredicates = new List<Predicate<byte[]>>(predicates.Count);
            Parallel.ForEach(predicates, new ParallelOptions {MaxDegreeOfParallelism = 4},
                             () => new List<Predicate<byte[]>>(),
                             (predicate, state, localSucPredicates) =>
                             {
                                 if (predicate(file))
                                     localSucPredicates.Add(predicate);
                                 return localSucPredicates;
                             },
                             localSucPredicates =>
                             {
                                 lock (succeededPredicates)
                                 {
                                     succeededPredicates.AddRange(localSucPredicates);
                                 }
                             }
                );
            return succeededPredicates;
        }
    }
}

@turbanoff · 08.03.2014, 17:30

Psilon, А теперь стало не проще. Плюс к этому, никто не гарантирует, что стандартный пул, не нагрузит кто-нибудь другой.

Psilon · 08.03.2014, 17:32

turbanoff, не стало проще, потому что я стараюсь избежать лишних блокировок, иначе можно было бы просто написать:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
        public static List<Predicate<byte[]>> GetSuccessedChecks(this ICollection<Predicate<byte[]>> predicates,
                                                                 byte[] file)
        {
            var succeededPredicates = new List<Predicate<byte[]>>(predicates.Count);
            Parallel.ForEach(predicates, new ParallelOptions {MaxDegreeOfParallelism = 4},
                             predicate =>
                             {
                                 if (predicate(file))
                                     lock(succeededPredicates) { succeededPredicates.Add(predicate);}
                             }
                );
            return succeededPredicates;
        }

а насчет того, что пул не нагрузят: пул работает быстрее, и имхо ручная работа с тредами только вредит.

@Suppir · 10.03.2014, 14:51 **[ТС]**

Коллеги, а подскажите, можно ли эти реализации сделать на .NET Framework 2.0? или требуется более высокая версия.

Psilon · 10.03.2014, 14:53

Suppir, ну лучше 4.0, минимумом считается 3.5 - он ставится на винды начиная с 2000. Я надеюсь, вы не пишете под 98

@Suppir · 10.03.2014, 15:02 **[ТС]**

Да такое дело, что у половины пользователей офисные компы с Windows XP и Net Framework 1.0 или 2.0.

Хотелось бы узнать, тот код, что выше приводили, выполняется на 2.0?

Добавлено через 1 минуту
Насколько вижу, вот это:

C#
1
Parallel.ForEach

требует 4.0 или 4.5.

Psilon · 10.03.2014, 18:16

Suppir, 4.0 встает на XP, какие проблемы?..

Никто не мешает в требования написать фреймворк 4.0, он занимает 50мб и ставится 10 минут один раз в жизни.

@Suppir · 10.03.2014, 18:30 **[ТС]**

Psilon,

Просто как выходит. Вот у нас в организации где-то 150-200 компьютеров, в массе - от старых целеронов/P4 до i3. Админы ставят всего 2 варианта операционки: или древний XP, или семерку. На старые компы ставят XP-шку. Заставлять их дополнительно устанавливать какой-то софт на отдельные компьютеры - смерти подобно

И таких организаций - масса. Поэтому на практике так получается, что чем менее требовательная и легко настраиваемая программа, тем проще ее распространять. В идеале - без установки (как утилита) на любой компьютер с XP или выше.

Psilon · 10.03.2014, 18:34

Suppir, ну пишите на плюсах тогда)

Можно хоть на брейнфаке писать, при желании. И на 2.0, и даже на 1.1 можно это написать. Но адекватные средста выражения в шарпе появились только в 3.5, а удобным он стал в 4.0. А т.к. у вас там 1.1 где-то стоит, и обновлять его вы не хотите, то нечего и думать тогда о шарпе. Пишите на плюсах, делфи, что вам больше нравится. Им достаточно компилятора и прямых рук.

@Suppir · 10.03.2014, 18:36 **[ТС]**

Psilon,
Я пишу на 2.0 - все, что идет клиентам. А для себя и для серверной части - на 4 или 4.5 (какой там в Windows 8 по умолчанию стоит).

На плюсах пробовал - сразу какое-то отторжение идет. А c# нормальный, понравился

Довольно простой и, в то же время, мощный язык.

Psilon · 10.03.2014, 18:55

Ну тогда что-то в этом духе:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
using System;
using System.Collections.Generic;
using System.Threading;
 
namespace ConsoleApplication23
{
    class Program
    {
        static void Main()
        {
            byte[] file = { };
            Predicate<byte[]>[] predicates = { Check1, Check2 };
            var allChecksCompleted = CheckAsync(predicates, file);
            Console.WriteLine("Успешные проверки: ");
            foreach (var predicate in allChecksCompleted)
            {
                Console.WriteLine(predicate.Method.Name);
            }
        }
 
        private static IList<Predicate<byte[]>> CheckAsync(ICollection<Predicate<byte[]>> predicates, byte[] file)
        {
            var result = new List<Predicate<byte[]>>(predicates.Count);
            var allDone = new ManualResetEvent(false);
            int completed = 0;
            foreach (var p in predicates)
            {
                Predicate<byte[]> currentCheck = p; // Не убирать (см. modifing closure)
                ThreadPool.QueueUserWorkItem(_ =>
                                             {
                                                 if (currentCheck(file))
                                                     lock (result)
                                                     {
                                                         result.Add(currentCheck);
                                                     }
                                                 if (Interlocked.Increment(ref completed) == predicates.Count)
                                                     allDone.Set();
                                             });
            }
            allDone.WaitOne();
            return result;
        }
 
        static bool Check1(byte[] file)
        {
            return true;
        }
        static bool Check2(byte[] file)
        {
            return false;
        }
    }
}

Добавлено через 3 минуты
или даже так

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
using System;
using System.Collections.Generic;
using System.Threading;
 
namespace ConsoleApplication23
{
    class Program
    {
        static void Main()
        {
            byte[] file = { };
            var allChecksCompleted = CheckAsync(file, Check1, Check2);
            Console.WriteLine("Успешные проверки: ");
            foreach (var predicate in allChecksCompleted)
            {
                Console.WriteLine(predicate.Method.Name);
            }
        }
 
        private static IList<Predicate<byte[]>> CheckAsync(byte[] file, params Predicate<byte[]>[] predicates)
        {
            var result = new List<Predicate<byte[]>>(predicates.Length);
            var allDone = new ManualResetEvent(false);
            int completed = 0;
            foreach (var p in predicates)
            {
                Predicate<byte[]> currentCheck = p;
                ThreadPool.QueueUserWorkItem(_ =>
                                             {
                                                 if (currentCheck(file))
                                                     lock (result)
                                                     {
                                                         result.Add(currentCheck);
                                                     }
                                                 if (Interlocked.Increment(ref completed) == predicates.Length)
                                                     allDone.Set();
                                             });
            }
            allDone.WaitOne();
            return result;
        }
 
        static bool Check1(byte[] file)
        {
            return true;
        }
        static bool Check2(byte[] file)
        {
            return false;
        }
    }
}

@Suppir · 10.03.2014, 19:21 **[ТС]**

Спасибо, буду разбираться!!

@Suppir · 29.03.2014, 23:48 **[ТС]**

Сообщение от Psilon

или даже так

Psilon, не совсем понимаю строчку:

C#
1
          byte[] file = { };

Допустим, я хочу передать в функцию Check1() не

C#
1
 byte[] file

, а

C#
1
 List<string> file

, где List состоит из строчек файла. Я получаю этот List<string>, читая файл с диска.

Как при этом мне нужно поменять функцию CheckAsync, чтобы она нормально работала с List<string> file?

Psilon · 30.03.2014, 17:59

Suppir, ну меняете везде byte[] на IList<string>

@Suppir · 30.03.2014, 19:45 **[ТС]**

...

Добавлено через 31 минуту
Тогда пишет, что:

Ошибка 3 Аргумент "2": преобразование типа из "группа методов" в "System.Predicate<System.Collections.Gen eric.IList<string>>" невозможно

Ошибка 4 Аргумент "3": преобразование типа из "группа методов" в "System.Predicate<System.Collections.Gen eric.IList<string>>" невозможно

Новые блоги и статьи Все статьи Все блоги /
Жизнь в неопределённости kumehtar 23.03.2026 Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .	Модель здравоСохранения: работники работают быстрее после её введения. anaschu 23.03.2026 geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .	1С: Контроль уникальности заводского номера Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью. Данные берутся из регистра сведений, по которому настроено. . .	Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 22.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git
1С: Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .	Как я обхитрил таблицу Word Alexander-7 21.03.2026 Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .	Krabik - рыболовный бот для WoW 3.3.5a AmbA 21.03.2026 без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .	1С: Программный отбор элементов справочника по значению перечисления Maks 21.03.2026 Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит значение перечислений. / / Событие "НачалоВыбора" реквизита на форме. . .

@Suppir 28 / 28 / 11 Регистрация: 08.08.2011 Сообщений: 1,173

	Как организовать чтение массива из четырех потоков? 06.03.2014, 19:24. Показов 3531. Ответов 38 Метки нет (Все метки) Добрый день! Пишу программу, которая будет проверять файлы на 50 видов ошибок. Упрощенно алгоритм представляю себе следующим образом: 1. Файл читается в массив. 2. Создается 4 потока, которыми начинаются делать одновременно 4 проверки (из 50). Каждая из этих проверок читает массив и ищет конкретные виды ошибок. Результат пишется в общий dataGridView (название файла - список ошибок). 3. Когда какая-нибудь проверка отработала, вместо нее должна запускаться следующая проверка. До тех пор, пока все 50 не отработают на этом файле. Подскажите, как лучше все это организовать? Соответственно, мне нужно из 4-х потоков одновременно обращаться (на чтение) к одному массиву, а потом писать в общий DataGridView. 0

@Suppir 28 / 28 / 11 Регистрация: 08.08.2011 Сообщений: 1,173
	07.03.2014, 10:57 [ТС]
	Спасибо, буду разбираться! Пока что из многопоточности я использовал только backgroundworker для одновременной работы функций программы и ее интерфейса. Но сейчас повсеместно стоят многоядерные процессоры, так что многопоточность становится must have. 0

@turbanoff 4094 / 3828 / 745 Регистрация: 18.05.2010 Сообщений: 9,331 Записей в блоге: 12
	08.03.2014, 17:14
	Psilon, Проще, но не соответствует заданию, что необходимо выполнять код в 4-х потоках 0

@turbanoff 4094 / 3828 / 745 Регистрация: 18.05.2010 Сообщений: 9,331 Записей в блоге: 12
	08.03.2014, 17:30
	Psilon, А теперь стало не проще. Плюс к этому, никто не гарантирует, что стандартный пул, не нагрузит кто-нибудь другой. 0

@Suppir 28 / 28 / 11 Регистрация: 08.08.2011 Сообщений: 1,173
	10.03.2014, 14:51 [ТС]
	Коллеги, а подскажите, можно ли эти реализации сделать на .NET Framework 2.0? или требуется более высокая версия. 0

Psilon Master of Orion 6102 / 4958 / 905 Регистрация: 10.07.2011 Сообщений: 14,522 Записей в блоге: 5
	10.03.2014, 14:53
	Suppir, ну лучше 4.0, минимумом считается 3.5 - он ставится на винды начиная с 2000. Я надеюсь, вы не пишете под 98 0

Psilon Master of Orion 6102 / 4958 / 905 Регистрация: 10.07.2011 Сообщений: 14,522 Записей в блоге: 5
	10.03.2014, 18:16
	Suppir, 4.0 встает на XP, какие проблемы?.. Никто не мешает в требования написать фреймворк 4.0, он занимает 50мб и ставится 10 минут один раз в жизни. 0

@Suppir 28 / 28 / 11 Регистрация: 08.08.2011 Сообщений: 1,173
	10.03.2014, 18:30 [ТС]
	Psilon, Просто как выходит. Вот у нас в организации где-то 150-200 компьютеров, в массе - от старых целеронов/P4 до i3. Админы ставят всего 2 варианта операционки: или древний XP, или семерку. На старые компы ставят XP-шку. Заставлять их дополнительно устанавливать какой-то софт на отдельные компьютеры - смерти подобно И таких организаций - масса. Поэтому на практике так получается, что чем менее требовательная и легко настраиваемая программа, тем проще ее распространять. В идеале - без установки (как утилита) на любой компьютер с XP или выше. 0

Psilon Master of Orion 6102 / 4958 / 905 Регистрация: 10.07.2011 Сообщений: 14,522 Записей в блоге: 5
	10.03.2014, 18:34
	Suppir, ну пишите на плюсах тогда) Можно хоть на брейнфаке писать, при желании. И на 2.0, и даже на 1.1 можно это написать. Но адекватные средста выражения в шарпе появились только в 3.5, а удобным он стал в 4.0. А т.к. у вас там 1.1 где-то стоит, и обновлять его вы не хотите, то нечего и думать тогда о шарпе. Пишите на плюсах, делфи, что вам больше нравится. Им достаточно компилятора и прямых рук. 0

@Suppir 28 / 28 / 11 Регистрация: 08.08.2011 Сообщений: 1,173
	10.03.2014, 18:36 [ТС]
	Psilon, Я пишу на 2.0 - все, что идет клиентам. А для себя и для серверной части - на 4 или 4.5 (какой там в Windows 8 по умолчанию стоит). На плюсах пробовал - сразу какое-то отторжение идет. А c# нормальный, понравился Довольно простой и, в то же время, мощный язык. 0

@Suppir 28 / 28 / 11 Регистрация: 08.08.2011 Сообщений: 1,173
	10.03.2014, 19:21 [ТС]
	Спасибо, буду разбираться!! 0

Psilon Master of Orion 6102 / 4958 / 905 Регистрация: 10.07.2011 Сообщений: 14,522 Записей в блоге: 5
	30.03.2014, 17:59
	Suppir, ну меняете везде byte[] на IList<string> 0

@Suppir 28 / 28 / 11 Регистрация: 08.08.2011 Сообщений: 1,173
	30.03.2014, 19:45 [ТС]
	... Добавлено через 31 минуту Тогда пишет, что: Ошибка 3 Аргумент "2": преобразование типа из "группа методов" в "System.Predicate<System.Collections.Gen eric.IList<string>>" невозможно Ошибка 4 Аргумент "3": преобразование типа из "группа методов" в "System.Predicate<System.Collections.Gen eric.IList<string>>" невозможно 0