MPI: программа на нескольких процессорах работает не как на одном

@KaffLime · Регистрация: 05.05.2020

Author24 — интернет-сервис помощи студентам

Написал программу с MPI для обработки изображений. С одним процессором работает правильно. Но когда запускаю с несколькими, то результативные изображения выводятся неправильно. Они как бы изменяются (например при проходе через алгоритм удаления помех, я вижу что картинка изменилась как надо, но при этом они будто покрываются серой пеленой сверху, а нормальные черно-белые строчки уходят вверх. Будто жалюзи были закрыты, а тут они вдруг открылись). Приложу изображения к вопросу.

Первое фото выполнения программы с одним процессом, второе с несколькими.

Работаю с openCV и MPI.

Как налаживаю связь процессов: сначала выполняю алгоритм для каждого процесса. Каждый процесс получает свою версию обработанного массива пикселей (каждый процесс обрабатывает свои строки массива). В корневом процессе я складываю все эти массивы в один. Немного подробнее: сначала определенные строки исходного массива пикселей меняет корневой процесс, потом он собирает с каждого другого процесса свою версию обработанного исходного массива пикселей и те строки, которые в этом массиве были обработаны другим процессом, он записывает в строки своей версии массива. В итоге получаем готовый обработанный массив. И так 3 алгоритма (удаление помех, геометрическое увеличение и уменьшение).

C++

#include <mpi.h>
#include <opencv2/core.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/highgui.hpp>
#include <cstdio>
#include <ctime>
#include <iostream>
using namespace std;
 
void copyMatrix(int** a, int** b, int n, int m)
{
    for (int i = 0; i < n; i++)
        for (int j = 0; j < m; j++)
        {
            a[i][j] = b[i][j];
        }
}
 
void getImage(cv::Mat& image, int** mass)
{
    for (int i = 0; i < image.rows; i++)
    {
        for (int j = 0; j < image.cols; j++)
        {
            image.at<uchar>(i, j) = mass[i][j];
        }
    }
}
 
void getMass(int** mass, cv::Mat image)
{
    cv::Scalar intensityMass;
    int intensity{0};
 
    for (int i = 0; i < image.rows; i++)
    {
        for (int j = 0; j < image.cols; j++)
        {
            intensityMass = image.at<uchar>(i, j);
            mass[i][j] = intensityMass[0];
        }
    }
}
 
void noiseSuppression(int** image, int rowsNum, int colsNum, int processorId, int processorsNumber)
{
 
    cv::Scalar intensityMass;
    double intensity{ 0 }, sumRows{ 0 }, sumCols{ 0 };
    int** tempImage = new int* [rowsNum];
 
    for (int i = 0; i < rowsNum; i++)
    {
        tempImage[i] = new int[colsNum];
    }
 
    copyMatrix(tempImage, image, rowsNum, colsNum);
 
    for (int i = processorId; i < rowsNum; i += processorsNumber)
    {
        for (int j = 0; j < colsNum; j++)
        {
            if (i != 0 && i != (rowsNum - 1) && j != 0 && j != (colsNum - 1))
            {
                sumRows = 0;
 
                for (int row = -1; row < 2; row++)
                {
                    sumCols = 0;
 
                    for (int col = -1; col < 2; col++)
                    {
                        intensityMass = tempImage[i + row][j + col];
                        intensity = intensityMass[0];
                        intensity = intensity / 9;
                        sumCols += intensity;
                    }
 
                    sumRows += sumCols;
                }
 
                image[i][j] = sumRows;
            }
        }
    }
}
 
void geometricIncreasing(int** image, int rowsNum, int colsNum, int processorId, int processorsNumber)
{
    cv::Scalar intensityMass;
    double intensity = 0;
    bool check = false;
    int** tempImage = new int* [rowsNum];
 
    for (int i = 0; i < rowsNum; i++)
    {
        tempImage[i] = new int[colsNum];
    }
 
    copyMatrix(tempImage, image, rowsNum, colsNum);
 
    for (int i = processorId; i < rowsNum; i += processorsNumber)
    {
        for (int j = 0; j < colsNum; j++)
        {
            if (i != 0 && i != (rowsNum - 1) && j != 0 && j != (colsNum - 1))
            {
                check = false;
 
                for (int row = -1; row < 2; row++)
                {
                    for (int col = -1; col < 2; col++)
                    {
                        if (i == 0 && j == 0)
                            continue;
 
                        intensity = tempImage[i + row][j + col];
                        if (intensity == 0)
                            check = true;
                    }
                }
 
                if (check)
                    image[i][j] = 0;
            }
        }
    }
}
 
void geometricDecreasing(int** image, int rowsNum, int colsNum, int processorId, int processorsNumber)
{
    cv::Scalar intensityMass;
    double intensity = 0;
    bool check = false;
    int** tempImage = new int* [rowsNum];
 
    for (int i = 0; i < rowsNum; i++)
    {
        tempImage[i] = new int[colsNum];
    }
 
    copyMatrix(tempImage, image, rowsNum, colsNum);
 
    for (int i = processorId; i < rowsNum; i += processorsNumber)
    {
        for (int j = 0; j < colsNum; j++)
        {
            if (i != 0 && i != (rowsNum - 1) && j != 0 && j != (colsNum - 1))
            {
                check = false;
 
                for (int row = -1; row < 2; row++)
                {
                    for (int col = -1; col < 2; col++)
                    {
                        if (i == 0 && j == 0)
                            continue;
 
                        intensity = tempImage[i + row][j + col];
                        if (intensity == 255)
                            check = true;
                    }
                }
 
                if (check)
                    image[i][j] = 255;
            }
        }
    }
}
 
int main()
{
    setlocale(LC_ALL, "Russian");
 
    int processorsNumber{ 0 }, processorId{ 0 };
 
    MPI_Init(NULL, NULL);
    MPI_Comm_size(MPI_COMM_WORLD, &processorsNumber);
    MPI_Comm_rank(MPI_COMM_WORLD, &processorId);
    MPI_Status status;
 
    //загрузка и показ исходного изображения
    cv::Mat image = cv::imread("panda.png", 0);
 
    const int rowsNum = image.rows;
    const int colsNum = image.cols;
 
    if (processorId == 0)
        cv::imshow("PandaRes", image);
 
    cv::Scalar intensityMass{ 0 };
    double intensity{ 0 };
    cv::Mat newImage = image.clone();
 
    int** imageMass = new int* [rowsNum];
 
    for (int i = 0; i < rowsNum; i++)
    {
        imageMass[i] = new int[colsNum];
    }
 
    getMass(imageMass, image);
 
    unsigned int start_time = clock();
 
    //удаление помех и показ изображения
    noiseSuppression(imageMass, rowsNum, colsNum, processorId, processorsNumber);
 
    if (processorId == 0)
    {
        int** newMass1 = new int* [rowsNum];
 
        for (int i = 0; i < rowsNum; i++)
        {
            newMass1[i] = new int[colsNum];
        }
 
        for (int i = 1; i < processorsNumber; i++)
        {
            MPI_Recv(&(newMass1[0][0]), rowsNum * colsNum, MPI_INT, i, 0, MPI_COMM_WORLD, &status);
 
            for (int x = i; x < rowsNum; x += processorsNumber)
            {
                for (int y = 0; y < colsNum; y++)
                {
                    imageMass[x][y] = newMass1[x][y];
                }
            }
        }
 
        getImage(newImage, imageMass);
 
        cv::imshow("PandaRes1", newImage);
    }
    else
    {
        MPI_Send(&(imageMass[0][0]), rowsNum * colsNum, MPI_INT, 0, 0, MPI_COMM_WORLD);
    }
 
    unsigned int end_time = clock();
    unsigned int search_time = end_time - start_time;
    cout << "Время выполнения алгоритма удаления помех: " << search_time << "\n\n";
 
    getMass(imageMass, image);
 
    start_time = clock();
 
    //увеличение и показ изображения
    geometricIncreasing(imageMass, rowsNum, colsNum, processorId, processorsNumber);
 
    if (processorId == 0)
    {
        int** newMass2 = new int* [rowsNum];
 
        for (int i = 0; i < rowsNum; i++)
        {
            newMass2[i] = new int[colsNum];
        }
 
        for (int i = 1; i < processorsNumber; i++)
        {
            MPI_Recv(&(newMass2[0][0]), rowsNum * colsNum, MPI_INT, i, 0, MPI_COMM_WORLD, &status);
 
            for (int x = i; x < image.rows; x += processorsNumber)
            {
                for (int y = 0; y < image.cols; y++)
                {
                    imageMass[x][y] = newMass2[x][y];
                }
            }
        }
 
        getImage(newImage, imageMass);
 
        cv::imshow("PandaRes2", newImage);
    }
    else
    {
        MPI_Send(&(imageMass[0][0]), rowsNum * colsNum, MPI_INT, 0, 0, MPI_COMM_WORLD);
    }
 
    end_time = clock();
    search_time = end_time - start_time;
    cout << "Время выполнения алгоритма увеличения: " << search_time << "\n\n";
 
    getMass(imageMass, image);
 
    start_time = clock();
 
    //уменьшение и показ изображения
    geometricDecreasing(imageMass, rowsNum, colsNum, processorId, processorsNumber);
 
    if (processorId == 0)
    {
        int** newMass3 = new int* [rowsNum];
 
        for (int i = 0; i < rowsNum; i++)
        {
            newMass3[i] = new int[colsNum];
        }
 
        for (int i = 1; i < processorsNumber; i++)
        {
            MPI_Recv(&(newMass3[0][0]), rowsNum * colsNum, MPI_INT, i, 0, MPI_COMM_WORLD, &status);
 
            for (int x = i; x < image.rows; x += processorsNumber)
            {
                for (int y = 0; y < image.cols; y++)
                {
                    imageMass[x][y] = newMass3[x][y];
                }
            }
        }
 
        getImage(newImage, imageMass);
 
        cv::imshow("PandaRes3", newImage);
    }
    else
    {
        MPI_Send(&(imageMass[0][0]), rowsNum * colsNum, MPI_INT, 0, 0, MPI_COMM_WORLD);
    }
 
    end_time = clock();
    search_time = end_time - start_time;
    cout << "Время выполнения алгоритма уменьшения: " << search_time << "\n\n";
 
    //закрытие окна по нажатию кнопки
    cv::waitKey(0);
 
    //закрытие всех окон
    cv::destroyAllWindows();
 
    MPI_Finalize();
 
    //ожидание ввода пользователя перед закрытием консольного окна
    cin.get();
    return 0;
}

@JeyCi · 03.05.2021, 21:01

Сообщение от KaffLime

Работаю с openCV и MPI.

а они хорошо дружат?.. для многого в opencv уже есть многопоточность...

Сообщение от KaffLime

потом он собирает с каждого другого процесса свою версию обработанного исходного массива пикселей и те строки, которые в этом массиве были обработаны другим процессом, он записывает в строки своей версии массива.

видимо, не записывает - раз оставляет пробелы...
MPI - я не знакома с этой библиотекой, - но в многопоточном окружениии, возможно стоит подумать о Точки синхронизации, они же барьеры - т.к. ваш массив расположен на куче - куча одна на все потоки (если они выполняются на разных ядрах или асинхронно)... - они конкурируют за доступ к ней...

Иногда случается, что ошибочно работающая программа перестает врать, если ее исходный текст хорошенько нашпиговать барьерами.

в общем, - синхронизировать доступ к общим данным...
имхо... в код не вчитывалась, библиотеку изучать не берусь, отметила основы теории многопоточности

@JeyCi 51 / 149 / 33 Регистрация: 29.06.2019 Сообщений: 1,428
	03.05.2021, 21:01	2
	Сообщение от KaffLime Работаю с openCV и MPI. а они хорошо дружат?.. для многого в opencv уже есть многопоточность... Сообщение от KaffLime потом он собирает с каждого другого процесса свою версию обработанного исходного массива пикселей и те строки, которые в этом массиве были обработаны другим процессом, он записывает в строки своей версии массива. видимо, не записывает - раз оставляет пробелы... MPI - я не знакома с этой библиотекой, - но в многопоточном окружениии, возможно стоит подумать о Точки синхронизации, они же барьеры - т.к. ваш массив расположен на куче - куча одна на все потоки (если они выполняются на разных ядрах или асинхронно)... - они конкурируют за доступ к ней... Иногда случается, что ошибочно работающая программа перестает врать, если ее исходный текст хорошенько нашпиговать барьерами. в общем, - синхронизировать доступ к общим данным... имхо... в код не вчитывалась, библиотеку изучать не берусь, отметила основы теории многопоточности 0