Параллельное программирование для ускорения обработки информации

@Dimarik__1 · Регистрация: 27.12.2014

Студворк — интернет-сервис помощи студентам

Мне необходимо выполнить бинаризацию изображения с использованием k-means на 2 кластера.
Делаю я следующим образом:
1. сначала я подготавливаю массив массивов. Чтобы каждая ячейка соответствовала своему потоку. и в каждой ячейке содержались только те данные, которые будет своё ядро обрабатывать. Для оптимизации так сделал.
вот таким образом я раскидываю. Тут вроде ничего интересного. Всё правильно вроде. Просто так код приложил

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
public void IdentifyPointsArray(int iSize, int iThreadCount)
        {
            iPointPointer = 0; // указатель на текущую точку
             _iPointsInEveryThread = iSize / iThreadCount;
             _iDivThread = iSize % iThreadCount;
            _dPointsArrayParallel = new double[iThreadCount][][];//сюда нужно раскидать точки изображения _dPoints[][]
            for (int i = 0; i < iThreadCount; i++)
            {
                if (iThreadCount - i > 1)
                {
                    _dPointsArrayParallel[i] = new double[_iPointsInEveryThread][];
                }
                else
                {
                    _dPointsArrayParallel[i] = new double[_iPointsInEveryThread + _iDivThread][];
                }
 
 
                int iPointsInThread = _dPointsArrayParallel[i].Length;
                for (int j = 0; j < iPointsInThread; j++)
                {
                    _dPointsArrayParallel[i][j] = new double[3];
                     //раскидать точки по ячейкам массива точек для потоков
                    _dPointsArrayParallel[i][j][0] = _dPoints[iPointPointer][0];
                    _dPointsArrayParallel[i][j][1] = _dPoints[iPointPointer][1];
                    _dPointsArrayParallel[i][j][2] = _dPoints[iPointPointer][2];
                    iPointPointer++;
                }
            }
    
        }

Затем я выполняю бинаризацию изображения (все точки изображения делю на 2 класса). Приложил код. Вдруг я меряю время неправильно. Мне нужно замерять время выполнения GetBarycentresParallel

C#
1
2
3
4
5
6
7
Stopwatch stMy = new Stopwatch();
                    stMy.Reset();   
                    stMy.Start();
                    kMeansObject.GetBarycentresParallel(j);
                    stMy.Stop();
                    dTime[i] = stMy.Elapsed.TotalSeconds;
                    dSumTime += dTime[i];

Всю функцию GetBarycentresParallel не стал приводить, приведу наиболее значимый её кусок (во этого объявления переменных и прочая ерунда, не сильно нагружающая процессор

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
while (true)
            {
                iCountSteps++;
                //занулить суммы
                _dPointsSum[0, 0] = 0;
                _dPointsSum[0, 1] = 0;
                _dPointsSum[0, 2] = 0;
                _dPointsSum[1, 0] = 0;
                _dPointsSum[1, 1] = 0;
                _dPointsSum[1, 2] = 0;
                
               _iPointsIn0 = 0;
             _iPointsIn1 = 0;
                ////////////////////////////////////////////////////////////////////
                //1. определить кластеры по текущим центрам
             Parallel.For(0, iThreadsCount, options, IdentifyPointIntoClusterByThreadArray);
                dPointsInclust[0] = _iPointsIn0;
                dPointsInclust[1] = _iPointsIn1;
                //2. Определить новые центры кластеров
 
                //сохранить значения центров кластеров на предыдущем шаге
             _dBaryCentresPrevious[0][0] = _dBaryCentres[0][0];
             _dBaryCentresPrevious[0][1] = _dBaryCentres[0][1];
             _dBaryCentresPrevious[0][2] = _dBaryCentres[0][2];
             _dBaryCentresPrevious[1][0] = _dBaryCentres[1][0];
             _dBaryCentresPrevious[1][1] = _dBaryCentres[1][1];
             _dBaryCentresPrevious[1][1] = _dBaryCentres[1][2];
             for (int i = 0; i < 2; i++)
             {
                 for (int j = 0; j < 3; j++)
                 {
                     //сохраняем значение
                     _dBaryCentresPrevious[i][j] = _dBaryCentres[i][j];
                     _dBaryCentres[i][j] = _dPointsSum[i, j] / dPointsInclust[i];
                 }
             }
 
             dTotalSum = EvclidDistance(_dBaryCentres[0], _dBaryCentresPrevious[0]);
             dTotalSum += EvclidDistance(_dBaryCentres[1], _dBaryCentresPrevious[1]);
             if (iCountSteps > 10)
             {
                 break;
             }
 
            }

Самое интересное - эта строчка. От неё все и зависит.
Вот код функции

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
public void IdentifyPointsArray(int iSize, int iThreadCount)
        {
            iPointPointer = 0; // указатель на текущую точку
             _iPointsInEveryThread = iSize / iThreadCount;
             _iDivThread = iSize % iThreadCount;
            _dPointsArrayParallel = new double[iThreadCount][][];//сюда нужно раскидать точки изображения _dPointe[][]
            for (int i = 0; i < iThreadCount; i++)
            {
                if (iThreadCount - i > 1)
                {
                    _dPointsArrayParallel[i] = new double[_iPointsInEveryThread][];
                }
                else
                {
                    _dPointsArrayParallel[i] = new double[_iPointsInEveryThread + _iDivThread][];
                }
 
 
                int iPointsInThread = _dPointsArrayParallel[i].Length;
                for (int j = 0; j < iPointsInThread; j++)
                {
                    _dPointsArrayParallel[i][j] = new double[3];
                     //раскидать точки по ячейкам массива точек для потоков
                    _dPointsArrayParallel[i][j][0] = _dPoints[iPointPointer][0];
                    _dPointsArrayParallel[i][j][1] = _dPoints[iPointPointer][1];
                    _dPointsArrayParallel[i][j][2] = _dPoints[iPointPointer][2];
                    iPointPointer++;
                }
            }
    
        }

Вроде бы самое сложное место распараллелил. Логично, что если 1 ядря, то выполняется, например, 100 секунд, если 2 ядра то 50 секунд, если 3 то 30 и так далее. Естественно, 50 и 30 это идеальные варианты и вполне неплохо было бы, если бы было 60 и 40, как пример. Но у меня совсем не то что надо получается. вот мои результаты. Распараллеливание даже отрицательный эффект по скорости дало почему-то:

Size image {Width=3976, Height=3299} time 34,45929 processors 1
Size image {Width=3976, Height=3299} time 52,25169305 processors 2
Size image {Width=3976, Height=3299} time 49,773416025 processors 3
Size image {Width=3976, Height=3299} time 44,0997120125 processors 4
Size image {Width=3976, Height=3299} time 38,79137545625 processors 5
Size image {Width=3976, Height=3299} time 34,887025578125 processors 6
Size image {Width=3976, Height=3299} time 31,8754485390625 processors 7
Size image {Width=3976, Height=3299} time 29,6087524195313 processors 8
Size image {Width=3976, Height=3299} time 27,7327576597656 processors 9
Size image {Width=3976, Height=3299} time 26,4133148798828 processors 10
Size image {Width=3976, Height=3299} time 25,2272720399414 processors 11
Size image {Width=3976, Height=3299} time 24,6323545199707 processors 12

Процессор i7-3930k. Количество ядер процессора 6, количество потоков процессора 12.
Почему так печально у меня получается со скоростью?

Добавлено через 5 часов 40 минут
У кого-нибудь есть идеи, почему так может быть?

@afront · 08.10.2016, 10:30

Dimarik__1, простое распараллеливание не всегда дает ускорение.
Ниже простой пример, который это показывает.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
  class Program
    {
        static void Main()
        {
            double[] array = new double[20  * 1000 * 1000];
 
            for (int i = 0; i < array.Length; i++)
                array[i] = 1;
 
            for (int i = 0; i < 5; i++)
            {
                Stopwatch sw = Stopwatch.StartNew();
                Serial(array, 2);
                Console.WriteLine("Serial: {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                ParallelFor(array, 2);
                Console.WriteLine("Parallel.For: {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                ParallelForDegreeOfParallelism(array, 2);
                Console.WriteLine("Parallel.For (degree of parallelism): {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                CustomParallel(array, 2);
                Console.WriteLine("Custom parallel: {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                CustomParallelExtractedMax(array, 2);
                Console.WriteLine("Custom parallel (extracted max): {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                CustomParallelExtractedMaxHalfParallelism(array, 2);
                Console.WriteLine("Custom parallel (extracted max, half parallelism): {0:f2} s", sw.Elapsed.TotalSeconds);
 
                sw = Stopwatch.StartNew();
                CustomParallelFalseSharing(array, 2);
                Console.WriteLine("Custom parallel (false sharing): {0:f2} s", sw.Elapsed.TotalSeconds);
                Console.ReadKey();
            }
        }
 
        static void Serial(double[] array, double factor)
        {
            for (int i = 0; i < array.Length; i++)
            {
                array[i] = array[i] * factor;
            }
        }
 
        static void ParallelFor(double[] array, double factor)
        {
            Parallel.For(
                0, array.Length, i => { array[i] = array[i] * factor; });
        }
 
        static void ParallelForDegreeOfParallelism(double[] array, double factor)
        {
            Parallel.For(
                0, array.Length, new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount },
                i => { array[i] = array[i] * factor; });
        }
 
        static void CustomParallel(double[] array, double factor)
        {
            var degreeOfParallelism = Environment.ProcessorCount;
 
            var tasks = new Task[degreeOfParallelism];
 
            for (int taskNumber = 0; taskNumber < degreeOfParallelism; taskNumber++)
            {
                // capturing taskNumber in lambda wouldn't work correctly
                int taskNumberCopy = taskNumber;
 
                tasks[taskNumber] = Task.Factory.StartNew(
                    () =>
                    {
                        for (int i = array.Length * taskNumberCopy / degreeOfParallelism;
                            i < array.Length * (taskNumberCopy + 1) / degreeOfParallelism;
                            i++)
                        {
                            array[i] = array[i] * factor;
                        }
                    });
            }
 
            Task.WaitAll(tasks);
        }
 
        static void CustomParallelExtractedMax(double[] array, double factor)
        {
            var degreeOfParallelism = Environment.ProcessorCount;
 
            var tasks = new Task[degreeOfParallelism];
 
            for (int taskNumber = 0; taskNumber < degreeOfParallelism; taskNumber++)
            {
                // capturing taskNumber in lambda wouldn't work correctly
                int taskNumberCopy = taskNumber;
 
                tasks[taskNumber] = Task.Factory.StartNew(
                    () =>
                    {
                        var max = array.Length * (taskNumberCopy + 1) / degreeOfParallelism;
                        for (int i = array.Length * taskNumberCopy / degreeOfParallelism;
                            i < max;
                            i++)
                        {
                            array[i] = array[i] * factor;
                        }
                    });
            }
 
            Task.WaitAll(tasks);
        }
 
        static void CustomParallelExtractedMaxHalfParallelism(double[] array, double factor)
        {
            var degreeOfParallelism = Environment.ProcessorCount / 2;
 
            var tasks = new Task[degreeOfParallelism];
 
            for (int taskNumber = 0; taskNumber < degreeOfParallelism; taskNumber++)
            {
                // capturing taskNumber in lambda wouldn't work correctly
                int taskNumberCopy = taskNumber;
 
                tasks[taskNumber] = Task.Factory.StartNew(
                    () =>
                    {
                        var max = array.Length * (taskNumberCopy + 1) / degreeOfParallelism;
                        for (int i = array.Length * taskNumberCopy / degreeOfParallelism;
                            i < max;
                            i++)
                        {
                            array[i] = array[i] * factor;
                        }
                    });
            }
 
            Task.WaitAll(tasks);
        }
 
         static void CustomParallelFalseSharing(double[] array, double factor)
        {
            var degreeOfParallelism = Environment.ProcessorCount;
 
            var tasks = new Task[degreeOfParallelism];
 
            int i = -1;
 
            for (int taskNumber = 0; taskNumber < degreeOfParallelism; taskNumber++)
            {
                tasks[taskNumber] = Task.Factory.StartNew(
                    () =>
                    {
                        int j = Interlocked.Increment(ref i);
                        while (j < array.Length)
                        {
                            array[j] = array[j] * factor;
                            j = Interlocked.Increment(ref i);
                        }
                    });
            }
 
            Task.WaitAll(tasks);
        } 
    }

@Dimarik__1 · 09.10.2016, 18:47 **[ТС]**

Может быть можно такое сделать через Thread? создать отдельный поток для каждой итерации и сделать7 Может быть так быстрее будет? Может быть можно указать, на каком ядре выполняться коду? Если через Thread можно так сделать, то будет классно. можете подсказать, каким способом можно выполнить параллельный код, таким образом, чтобы можно было указать, на каком ядре код будет выполняться?

Новые блоги и статьи Все статьи Все блоги /
Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .	делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .

@Dimarik__1 0 / 0 / 1 Регистрация: 27.12.2014 Сообщений: 298
	09.10.2016, 18:47 [ТС]
	Может быть можно такое сделать через Thread? создать отдельный поток для каждой итерации и сделать7 Может быть так быстрее будет? Может быть можно указать, на каком ядре выполняться коду? Если через Thread можно так сделать, то будет классно. можете подсказать, каким способом можно выполнить параллельный код, таким образом, чтобы можно было указать, на каком ядре код будет выполняться? 0