Медленный multiprocessing Pool

@spyphy · Регистрация: 03.11.2012

Студворк — интернет-сервис помощи студентам

Да, я читал, что с параллельностью в питоне всё совсем хреново. Но тогда не понятно, зачем вообще нужен модуль multiprocessing, если в нем ничего не работает как надо даже на простейших примерах?
А надо было мне всего лишь две задачи выполнить параллельно.
Вот тестовый пример:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from multiprocessing import Pool
from time import time
 
def func(n):
    for i in range(1000):
        for j in range(1000):
            z = [i * j * k for k in range(10)]
 
def calc():
    pool = Pool(processes=2)
    res = pool.map(func, [1,2])
    #res = map(func, [1,2])
    pool.close()
    pool.join()
 
if __name__ == "__main__":    
    t = time()
    calc()
    print('time:', time() - t)

Итого обычный map в 20 раз быстрее pool.map!

@alex white · 03.02.2019, 03:25

spyphy, обычный map ничего не делает, если ты ничего не делаешь с результатом. Он возвращает ленивый итератор, и пока ты явным образом не запросишь следующий элемент, вычисление не будет запущено. По крайней мере в питоне 3. Можешь поменять на res = list(map(...)).

@spyphy · 03.02.2019, 10:03 **[ТС]**

Ага, ясно. Значит pool.map нормально работает, это я стормозил)

@Garry Galler · 03.02.2019, 16:24

Сообщение от spyphy

с параллельностью в питоне всё совсем хреново

Для тех, кто нифига в этом не разбирается, это действительно так.
И, кстати, когда говорят про ограничения распараллеливания в python\ruby\perl\и т.д., то имеют ввиду потоки (которые действительно могут блокироваться GIL для CPU-bound задач), а не процессы.
Поскольку процессы в Python ничем не отличаются от процессов в других языках - это обычные системные процессы.
И их выполнение на процессоре полностью планируется системой, а не интерпретатором.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@alex white 277 / 226 / 93 Регистрация: 27.06.2016 Сообщений: 639
	03.02.2019, 03:25
	spyphy, обычный map ничего не делает, если ты ничего не делаешь с результатом. Он возвращает ленивый итератор, и пока ты явным образом не запросишь следующий элемент, вычисление не будет запущено. По крайней мере в питоне 3. Можешь поменять на res = list(map(...)). 1

@spyphy 4 / 5 / 3 Регистрация: 03.11.2012 Сообщений: 173
	03.02.2019, 10:03 [ТС]
	Ага, ясно. Значит pool.map нормально работает, это я стормозил) 0