Сравнить время заполнения матрицы обычным способом и с применением concurrent.futures

@SouthBoss · Регистрация: 15.09.2019

Студворк — интернет-сервис помощи студентам

Добрый день!

Заполняю две матрицы NxN результатами функции calculate.
Стоит задача сравнить время заполнения матрицы обычным способом и с применением concurrent.futures.
По итогам эксперимента время заполнения матрицы с распараллеливанием выше, чем без. Подозреваю, что где-то я допускаю ошибку.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
import concurrent.futures
import math
import time
 
N = 1000
 
# матрицы под заполнение
resultmatrix1 = [[0 for _ in range(N)] for _ in range(N)]
resultmatrix2 = [[0 for _ in range(N)] for _ in range(N)]
 
 
# функция, производящая вычисление
def calculate(q, p):
    return q, p, math.sqrt(abs(q - p))
 
 
# последовательное вычисление
def withoutconcurrent():
    time_start = time.time()
 
    for i in range(1, N + 1):
        for j in range(1, N + 1):
            result = calculate(i, j)[2]
            resultmatrix1[i - 1][j - 1] = result
 
    time_end = time.time()
    return time_end - time_start
 
 
# параллельное вычисление
def withconcurrent():
    time_start = time.time()
 
    with concurrent.futures.ThreadPoolExecutor() as executor:
        futures = [executor.submit(calculate, i, j) for i in range(1, N + 1) for j in range(1, N + 1)]
        for _, future in enumerate(concurrent.futures.as_completed(futures)):
            i, j, result = future.result()
            resultmatrix2[i - 1][j - 1] = result
 
    time_end = time.time()
    return time_end - time_start
 
 
print(withoutconcurrent())
print(withconcurrent())

@Red white socks · 08.11.2023, 16:17

Есть 2 понятия: мультипоточность (MultyThreading) и мультипроцессорность(MultyProcessing).
Первое применяется, когда вам надо организовать/ускорить ввод-вывод.
Ускорить вычисления он не может и как видно, даже сильно замедляет, поскольку ядро задействовано по-прежнему одно и все потоки ждут когда оно освободится.
Для ускорения вам нужно вместо ThreadPoolExecutor применять ProcessPoolExecutor.

@SouthBoss · 16.11.2023, 11:15 **[ТС]**

Red white socks, спасибо за ответ! Изучил теорию глубже и убедился, что мультипоточность действительно замедляет вычисления из-за GIL. Для эксперимента реализовал аналогичный код, но с использованием не ThreadPoolExecutor, а ProcessPoolExecutor:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
import concurrent.futures
import math
import time
 
N = 1000
 
# матрицы под заполнение
resultmatrix1 = [[0 for _ in range(N)] for _ in range(N)]
resultmatrix2 = [[0 for _ in range(N)] for _ in range(N)]
 
 
# функция, производящая вычисление
def calculate(q, p):
    return q, p, math.sqrt(abs(q - p))
 
 
# последовательное вычисление
def withoutconcurrent():
    time_start = time.time()
 
    for i in range(1, N + 1):
        for j in range(1, N + 1):
            result = calculate(i, j)[2]
            resultmatrix1[i - 1][j - 1] = result
 
    time_end = time.time()
    return time_end - time_start
 
 
# параллельное вычисление
def withconcurrent():
    time_start = time.time()
 
    with concurrent.futures.ProcessPoolExecutor() as executor:
        futures = [executor.submit(calculate, i, j) for i in range(1, N + 1) for j in range(1, N + 1)]
        for _, future in enumerate(concurrent.futures.as_completed(futures)):
            i, j, result = future.result()
            resultmatrix2[i - 1][j - 1] = result
 
    time_end = time.time()
    return time_end - time_start
 
 
if __name__ == '__main__':
    print(withoutconcurrent())
    print(withconcurrent())

Однако вариант с мультипроцессорностью на моём ПК работает ещё медленнее варианта с мультипоточностью. В чём может быть дело?

@Red white socks · 16.11.2023, 12:57

SouthBoss, здесь дело в размере чанков. Пробуйте так:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
import concurrent.futures
import math
import time
from itertools import product
 
 
N = 1000
 
# матрицы под заполнение
resultmatrix1 = [[0 for _ in range(N)] for _ in range(N)]
resultmatrix2 = [[0 for _ in range(N)] for _ in range(N)]
 
 
# функция, производящая вычисление
def calculate(t) -> float:
    #_ = sum(_ for _ in range(100000))
    return t[0], t[1], math.sqrt(abs(t[0] - t[1]))
 
 
# последовательное вычисление
def withoutconcurrent():
    time_start = time.time()
 
    for i in range(1, N + 1):
        for j in range(1, N + 1):
            result = calculate((i, j))[2]
            resultmatrix1[i - 1][j - 1] = result
 
    time_end = time.time()
    return time_end - time_start
 
 
# параллельное вычисление
def withconcurrent():
    time_start = time.time()
    print("start")
    with concurrent.futures.ProcessPoolExecutor() as executor:
        for results in executor.map(calculate, product(range(1, N+1), repeat=2), chunksize=1+N*N//8):
            i, j, result = results
            resultmatrix1[i - 1][j - 1] = result
 
    time_end = time.time()
    return time_end - time_start
 
def main():
    print(withoutconcurrent())
    print(withconcurrent())
 
if __name__== "__main__":
    main()

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@Red white socks 4523 / 1899 / 336 Регистрация: 18.01.2021 Сообщений: 3,489
	08.11.2023, 16:17
	Есть 2 понятия: мультипоточность (MultyThreading) и мультипроцессорность(MultyProcessing). Первое применяется, когда вам надо организовать/ускорить ввод-вывод. Ускорить вычисления он не может и как видно, даже сильно замедляет, поскольку ядро задействовано по-прежнему одно и все потоки ждут когда оно освободится. Для ускорения вам нужно вместо ThreadPoolExecutor применять ProcessPoolExecutor. 1