Параллельное программирование для ускорения обработки информации

@Dimarik__1 · Регистрация: 27.12.2014

Студворк — интернет-сервис помощи студентам

Мне необходимо выполнить бинаризацию изображения с использованием k-means на 2 кластера.
Делаю я следующим образом:
1. сначала я подготавливаю массив массивов. Чтобы каждая ячейка соответствовала своему потоку. и в каждой ячейке содержались только те данные, которые будет своё ядро обрабатывать. Для оптимизации так сделал.
вот таким образом я раскидываю. Тут вроде ничего интересного. Всё правильно вроде. Просто так код приложил

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
public void IdentifyPointsArray(int iSize, int iThreadCount)
        {
            iPointPointer = 0; // указатель на текущую точку
             _iPointsInEveryThread = iSize / iThreadCount;
             _iDivThread = iSize % iThreadCount;
            _dPointsArrayParallel = new double[iThreadCount][][];//сюда нужно раскидать точки изображения _dPoints[][]
            for (int i = 0; i < iThreadCount; i++)
            {
                if (iThreadCount - i > 1)
                {
                    _dPointsArrayParallel[i] = new double[_iPointsInEveryThread][];
                }
                else
                {
                    _dPointsArrayParallel[i] = new double[_iPointsInEveryThread + _iDivThread][];
                }
 
 
                int iPointsInThread = _dPointsArrayParallel[i].Length;
                for (int j = 0; j < iPointsInThread; j++)
                {
                    _dPointsArrayParallel[i][j] = new double[3];
                     //раскидать точки по ячейкам массива точек для потоков
                    _dPointsArrayParallel[i][j][0] = _dPoints[iPointPointer][0];
                    _dPointsArrayParallel[i][j][1] = _dPoints[iPointPointer][1];
                    _dPointsArrayParallel[i][j][2] = _dPoints[iPointPointer][2];
                    iPointPointer++;
                }
            }
    
        }

Затем я выполняю бинаризацию изображения (все точки изображения делю на 2 класса). Приложил код. Вдруг я меряю время неправильно. Мне нужно замерять время выполнения GetBarycentresParallel

C#
1
2
3
4
5
6
7
Stopwatch stMy = new Stopwatch();
                    stMy.Reset();   
                    stMy.Start();
                    kMeansObject.GetBarycentresParallel(j);
                    stMy.Stop();
                    dTime[i] = stMy.Elapsed.TotalSeconds;
                    dSumTime += dTime[i];

Всю функцию GetBarycentresParallel не стал приводить, приведу наиболее значимый её кусок (во этого объявления переменных и прочая ерунда, не сильно нагружающая процессор

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
while (true)
            {
                iCountSteps++;
                //занулить суммы
                _dPointsSum[0, 0] = 0;
                _dPointsSum[0, 1] = 0;
                _dPointsSum[0, 2] = 0;
                _dPointsSum[1, 0] = 0;
                _dPointsSum[1, 1] = 0;
                _dPointsSum[1, 2] = 0;
                
               _iPointsIn0 = 0;
             _iPointsIn1 = 0;
                ////////////////////////////////////////////////////////////////////
                //1. определить кластеры по текущим центрам
             Parallel.For(0, iThreadsCount, options, IdentifyPointIntoClusterByThreadArray);
                dPointsInclust[0] = _iPointsIn0;
                dPointsInclust[1] = _iPointsIn1;
                //2. Определить новые центры кластеров
 
                //сохранить значения центров кластеров на предыдущем шаге
             _dBaryCentresPrevious[0][0] = _dBaryCentres[0][0];
             _dBaryCentresPrevious[0][1] = _dBaryCentres[0][1];
             _dBaryCentresPrevious[0][2] = _dBaryCentres[0][2];
             _dBaryCentresPrevious[1][0] = _dBaryCentres[1][0];
             _dBaryCentresPrevious[1][1] = _dBaryCentres[1][1];
             _dBaryCentresPrevious[1][1] = _dBaryCentres[1][2];
             for (int i = 0; i < 2; i++)
             {
                 for (int j = 0; j < 3; j++)
                 {
                     //сохраняем значение
                     _dBaryCentresPrevious[i][j] = _dBaryCentres[i][j];
                     _dBaryCentres[i][j] = _dPointsSum[i, j] / dPointsInclust[i];
                 }
             }
 
             dTotalSum = EvclidDistance(_dBaryCentres[0], _dBaryCentresPrevious[0]);
             dTotalSum += EvclidDistance(_dBaryCentres[1], _dBaryCentresPrevious[1]);
             if (iCountSteps > 10)
             {
                 break;
             }
 
            }

Самое интересное - эта строчка. От неё все и зависит.
Вот код функции

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
public void IdentifyPointsArray(int iSize, int iThreadCount)
        {
            iPointPointer = 0; // указатель на текущую точку
             _iPointsInEveryThread = iSize / iThreadCount;
             _iDivThread = iSize % iThreadCount;
            _dPointsArrayParallel = new double[iThreadCount][][];//сюда нужно раскидать точки изображения _dPointe[][]
            for (int i = 0; i < iThreadCount; i++)
            {
                if (iThreadCount - i > 1)
                {
                    _dPointsArrayParallel[i] = new double[_iPointsInEveryThread][];
                }
                else
                {
                    _dPointsArrayParallel[i] = new double[_iPointsInEveryThread + _iDivThread][];
                }
 
 
                int iPointsInThread = _dPointsArrayParallel[i].Length;
                for (int j = 0; j < iPointsInThread; j++)
                {
                    _dPointsArrayParallel[i][j] = new double[3];
                     //раскидать точки по ячейкам массива точек для потоков
                    _dPointsArrayParallel[i][j][0] = _dPoints[iPointPointer][0];
                    _dPointsArrayParallel[i][j][1] = _dPoints[iPointPointer][1];
                    _dPointsArrayParallel[i][j][2] = _dPoints[iPointPointer][2];
                    iPointPointer++;
                }
            }
    
        }

Вроде бы самое сложное место распараллелил. Логично, что если 1 ядря, то выполняется, например, 100 секунд, если 2 ядра то 50 секунд, если 3 то 30 и так далее. Естественно, 50 и 30 это идеальные варианты и вполне неплохо было бы, если бы было 60 и 40, как пример. Но у меня совсем не то что надо получается. вот мои результаты. Распараллеливание даже отрицательный эффект по скорости дало почему-то:

Size image {Width=3976, Height=3299} time 34,45929 processors 1
Size image {Width=3976, Height=3299} time 52,25169305 processors 2
Size image {Width=3976, Height=3299} time 49,773416025 processors 3
Size image {Width=3976, Height=3299} time 44,0997120125 processors 4
Size image {Width=3976, Height=3299} time 38,79137545625 processors 5
Size image {Width=3976, Height=3299} time 34,887025578125 processors 6
Size image {Width=3976, Height=3299} time 31,8754485390625 processors 7
Size image {Width=3976, Height=3299} time 29,6087524195313 processors 8
Size image {Width=3976, Height=3299} time 27,7327576597656 processors 9
Size image {Width=3976, Height=3299} time 26,4133148798828 processors 10
Size image {Width=3976, Height=3299} time 25,2272720399414 processors 11
Size image {Width=3976, Height=3299} time 24,6323545199707 processors 12

Процессор i7-3930k. Количество ядер процессора 6, количество потоков процессора 12.
Почему так печально у меня получается со скоростью?

Добавлено через 5 часов 40 минут
У кого-нибудь есть идеи, почему так может быть?

@afront · 08.10.2016, 10:30

Dimarik__1, простое распараллеливание не всегда дает ускорение.
Ниже простой пример, который это показывает.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
  class Program
    {
        static void Main()
        {
            double[] array = new double[20  * 1000 * 1000];
 
            for (int i = 0; i < array.Length; i++)
                array[i] = 1;
 
            for (int i = 0; i < 5; i++)
            {
                Stopwatch sw = Stopwatch.StartNew();
                Serial(array, 2);
                Console.WriteLine("Serial: {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                ParallelFor(array, 2);
                Console.WriteLine("Parallel.For: {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                ParallelForDegreeOfParallelism(array, 2);
                Console.WriteLine("Parallel.For (degree of parallelism): {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                CustomParallel(array, 2);
                Console.WriteLine("Custom parallel: {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                CustomParallelExtractedMax(array, 2);
                Console.WriteLine("Custom parallel (extracted max): {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                CustomParallelExtractedMaxHalfParallelism(array, 2);
                Console.WriteLine("Custom parallel (extracted max, half parallelism): {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                CustomParallelFalseSharing(array, 2);
                Console.WriteLine("Custom parallel (false sharing): {0:f2} s", sw.Elapsed.TotalSeconds);
                Console.ReadKey();
            }
        }
 
        static void Serial(double[] array, double factor)
        {
            for (int i = 0; i < array.Length; i++)
            {
                array[i] = array[i] * factor;
            }
        }
 
        static void ParallelFor(double[] array, double factor)
        {
            Parallel.For(
                0, array.Length, i => { array[i] = array[i] * factor; });
        }
 
        static void ParallelForDegreeOfParallelism(double[] array, double factor)
        {
            Parallel.For(
                0, array.Length, new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount },
                i => { array[i] = array[i] * factor; });
        }
 
        static void CustomParallel(double[] array, double factor)
        {
            var degreeOfParallelism = Environment.ProcessorCount;
 
            var tasks = new Task[degreeOfParallelism];
 
            for (int taskNumber = 0; taskNumber < degreeOfParallelism; taskNumber++)
            {
                // capturing taskNumber in lambda wouldn't work correctly
                int taskNumberCopy = taskNumber;
 
                tasks[taskNumber] = Task.Factory.StartNew(
                    () =>
                    {
                        for (int i = array.Length * taskNumberCopy / degreeOfParallelism;
                            i < array.Length * (taskNumberCopy + 1) / degreeOfParallelism;
                            i++)
                        {
                            array[i] = array[i] * factor;
                        }
                    });
            }
 
            Task.WaitAll(tasks);
        }
 
        static void CustomParallelExtractedMax(double[] array, double factor)
        {
            var degreeOfParallelism = Environment.ProcessorCount;
 
            var tasks = new Task[degreeOfParallelism];
 
            for (int taskNumber = 0; taskNumber < degreeOfParallelism; taskNumber++)
            {
                // capturing taskNumber in lambda wouldn't work correctly
                int taskNumberCopy = taskNumber;
 
                tasks[taskNumber] = Task.Factory.StartNew(
                    () =>
                    {
                        var max = array.Length * (taskNumberCopy + 1) / degreeOfParallelism;
                        for (int i = array.Length * taskNumberCopy / degreeOfParallelism;
                            i < max;
                            i++)
                        {
                            array[i] = array[i] * factor;
                        }
                    });
            }
 
            Task.WaitAll(tasks);
        }
 
        static void CustomParallelExtractedMaxHalfParallelism(double[] array, double factor)
        {
            var degreeOfParallelism = Environment.ProcessorCount / 2;
 
            var tasks = new Task[degreeOfParallelism];
 
            for (int taskNumber = 0; taskNumber < degreeOfParallelism; taskNumber++)
            {
                // capturing taskNumber in lambda wouldn't work correctly
                int taskNumberCopy = taskNumber;
 
                tasks[taskNumber] = Task.Factory.StartNew(
                    () =>
                    {
                        var max = array.Length * (taskNumberCopy + 1) / degreeOfParallelism;
                        for (int i = array.Length * taskNumberCopy / degreeOfParallelism;
                            i < max;
                            i++)
                        {
                            array[i] = array[i] * factor;
                        }
                    });
            }
 
            Task.WaitAll(tasks);
        }
 
         static void CustomParallelFalseSharing(double[] array, double factor)
        {
            var degreeOfParallelism = Environment.ProcessorCount;
 
            var tasks = new Task[degreeOfParallelism];
 
            int i = -1;
 
            for (int taskNumber = 0; taskNumber < degreeOfParallelism; taskNumber++)
            {
                tasks[taskNumber] = Task.Factory.StartNew(
                    () =>
                    {
                        int j = Interlocked.Increment(ref i);
                        while (j < array.Length)
                        {
                            array[j] = array[j] * factor;
                            j = Interlocked.Increment(ref i);
                        }
                    });
            }
 
            Task.WaitAll(tasks);
        } 
    }

@Dimarik__1 · 09.10.2016, 18:47 **[ТС]**

Может быть можно такое сделать через Thread? создать отдельный поток для каждой итерации и сделать7 Может быть так быстрее будет? Может быть можно указать, на каком ядре выполняться коду? Если через Thread можно так сделать, то будет классно. можете подсказать, каким способом можно выполнить параллельный код, таким образом, чтобы можно было указать, на каком ядре код будет выполняться?

Новые блоги и статьи Все статьи Все блоги /
Запрет удаления строк ТЧ документа при определенном условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .	Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .
Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .	Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .

@Dimarik__1 0 / 0 / 1 Регистрация: 27.12.2014 Сообщений: 298
	09.10.2016, 18:47 [ТС]
	Может быть можно такое сделать через Thread? создать отдельный поток для каждой итерации и сделать7 Может быть так быстрее будет? Может быть можно указать, на каком ядре выполняться коду? Если через Thread можно так сделать, то будет классно. можете подсказать, каким способом можно выполнить параллельный код, таким образом, чтобы можно было указать, на каком ядре код будет выполняться? 0

Опции темы