ProcessPoolExecutor + multiprocessing.Queue

@anton78spb · Регистрация: 05.09.2021

Студворк — интернет-сервис помощи студентам

Всем привет.

При запуске через map, и передаче в качестве аргумента экземпляр Queue, процессы не запускаются.
При этом ни каких ошибок не выводит.

Без очереди все работает.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from concurrent.futures import ProcessPoolExecutor
from itertools import repeat
 
 
N = 5
 
 
def my_func(x, y):
    print(x, y)
 
 
def main():
    with ProcessPoolExecutor() as executor:
        executor.map(my_func, range(N), repeat("test", N))
 
 
if __name__ == "__main__":
    main()

Вывод ожидаемый.

Code
1
2
3
4
5
0 test
1 test
2 test
3 test
4 test

Заменяем второй аргумент вызываемой функции на multiprocessing.Queue()

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from concurrent.futures import ProcessPoolExecutor
from itertools import repeat
from multiprocessing import Queue
 
N = 5
 
 
def my_func(x, y):
    print(x, y)
 
 
def main():
    queue = Queue()
    with ProcessPoolExecutor() as executor:
        executor.map(my_func, range(N), repeat(queue, N))
 
 
if __name__ == "__main__":
    main()

Ошибок нет, в консоли тоже ничего не показывает.
Пробовал заменить ProcessPoolExecutor на ThreadPoolExecutor. Результат не изменился. Без Queue все работает. Если в качестве аргумента передать экземпляр очереди, то складывается ощущение, что процессы (или потоки), вообще не запускаются.

Если запускать без PoolExecutor, просто через Process, то все работает.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from multiprocessing import Queue, Process
 
 
N = 5
 
 
def my_func(x, y):
    print(x, y)
 
 
def main():
    queue = Queue()
    for i in range(N):
        Process(target=my_func, args=(i, queue)).start()
 
 
if __name__ == "__main__":
    main()

Code
1
2
3
4
5
0 <multiprocessing.queues.Queue object at 0x000002B7E2214FD0>
1 <multiprocessing.queues.Queue object at 0x000001FEAD3F4FD0>
2 <multiprocessing.queues.Queue object at 0x00000119CF384FD0>
3 <multiprocessing.queues.Queue object at 0x00000133D51B4FD0>
4 <multiprocessing.queues.Queue object at 0x000002098EC04FD0>

Что я делаю не так?

Добавлено через 5 минут
И еще один момент. Если через ProcessPoolExecutor передать просто класс вторым аргументом, то тоже все работает.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
from concurrent.futures import ProcessPoolExecutor
from itertools import repeat
 
# from multiprocessing import Queue
 
N = 5
 
 
class Queue:
    pass
 
 
def my_func(x, y):
    print(x, y)
 
 
def main():
    queue = Queue()
    with ProcessPoolExecutor() as executor:
        executor.map(my_func, range(N), repeat(queue, N))
 
 
if __name__ == "__main__":
    main()

Code
1
2
3
4
5
0 <__mp_main__.Queue object at 0x000002CD7679BA30>
1 <__mp_main__.Queue object at 0x000002CD7679BA60>
2 <__mp_main__.Queue object at 0x000002CD7679BA30>
3 <__mp_main__.Queue object at 0x000002CD7679BA60>
4 <__mp_main__.Queue object at 0x000002CD7679BA30>

Такое ощущение, что объекты из concurrent.futures "не дружат" именно с multiprocessing.Queue. Но при этом ни каких ошибок и предупреждений не выдает =(

Добавлено через 6 минут
Еще дополнение.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from concurrent.futures import ProcessPoolExecutor
from multiprocessing import Queue
 
N = 5
 
 
def my_func(x, y):
    print(x, y)
 
 
def main():
    queue = Queue()
    with ProcessPoolExecutor() as executor:
        for i in range(N):
            executor.submit(my_func, i, queue)
 
 
if __name__ == "__main__":
    main()

Через executor.submit тоже не работает.

Добавлено через 19 минут
Нашел решение. Надо использовать multiprocessing.Manager

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from concurrent.futures import ProcessPoolExecutor
from itertools import repeat
from multiprocessing import Manager
 
N = 5
 
 
def my_func(x, y):
    print(x, y)
 
 
def main():
    queue = Manager().Queue()
    with ProcessPoolExecutor() as executor:
        executor.map(my_func, range(N), repeat(queue, N))
 
 
if __name__ == "__main__":
    main()

Code
1
2
3
4
5
0 <queue.Queue object at 0x0000021A5B663190>
1 <queue.Queue object at 0x0000021A5B663190>
2 <queue.Queue object at 0x0000021A5B663190>
3 <queue.Queue object at 0x0000021A5B663190>
4 <queue.Queue object at 0x0000021A5B663190>

Тему можно закрывать. Но если кто-то объяснит, почему оно в без Manager "глотает", а не валится с ошибкой, но при этом не работает, с удовольствием прочитаю.

Новые блоги и статьи Все статьи Все блоги /
Midnight Chicago Blues kumehtar 24.03.2026 Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .	Контроль уникальности заводского номера - вариант №2 Maks 24.03.2026 В отличие от предыдущего варианта добавлено прерывание циклов, также добавлены новые переменные для сохранения контекста ошибки перед прерыванием цикла: Процедура ПередЗаписью(Отказ, РежимЗаписи,. . .	SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++ 8Observer8 24.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip	Жизнь в неопределённости kumehtar 23.03.2026 Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .
Модель здравоСохранения: работники работают быстрее после её введения. anaschu 23.03.2026 geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .	Контроль уникальности заводского номера - вариант №1 Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью в КА2. Данные берутся из регистра сведений, по которому настроено. . .	Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 22.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git	Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа в КА2. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию. . .