Форум программистов, компьютерный форум, киберфорум
Python
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.67/6: Рейтинг темы: голосов - 6, средняя оценка - 4.67
0 / 0 / 0
Регистрация: 12.10.2017
Сообщений: 9

Multiprocessing в пайтоне

13.10.2017, 01:56. Показов 1235. Ответов 11
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Я постараюсь навести пример.
Есть у нас
a = ["Ваня", "Вася", "Олег"]
b = [1,2,3,4,5,6,7,8,9,10]
И чтоб результат программы выбивал что-то такое:

Ваня - 1
Ваня - 2
Ваня - 3
Ваня - 4
Ваня - 5
Ваня - 6
Ваня - 7
Ваня - 8
Ваня - 9
Ваня - 10

Вася - 1
Вася - 2
Вася - 3
Вася - 4
Вася - 5
Вася - 6
Вася - 7
Вася - 8
Вася - 9
Вася - 10

Олег - 1
Олег - 2
Олег - 3
Олег - 4
Олег - 5
Олег - 6
Олег - 7
Олег - 8
Олег - 9
Олег - 10

Сами цифры могут быть в разном порядке. Главное, чтоб на каждого Ваню, Васю, или Олега запускались пару процессов и оно посчитало в любом порядке от 1 к 10 используя itertools (необязательно) и multiprocessing.
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
13.10.2017, 01:56
Ответы с готовыми решениями:

Multiprocessing Queue vs multiprocessing.Manager Queue
Если кому интересно: обычная Queue из мультитпроцессинга имеет ограничение по размеру, если туда забивать объекты не считывая. а очередь из...

Multiprocessing
if __name__ == '__main__': exe = 'pocketsphinx_continuous.exe -hmm zero_ru_cont_8k_v3\\zero_ru.cd_cont_4000 -dict...

Multiprocessing
В общем и целом, сбахал простейший скрипт для того, чтобы опробовать класс Process() из модуля multiprocessing. Выглядит он так: from...

11
Эксперт Python
 Аватар для dondublon
4653 / 2073 / 366
Регистрация: 17.03.2012
Сообщений: 10,183
Записей в блоге: 6
13.10.2017, 09:36
https://docs.python.org/2/libr... ssing.html
Читали?
0
0 / 0 / 0
Регистрация: 12.10.2017
Сообщений: 9
13.10.2017, 14:14  [ТС]
dondublon, да. Пробовал что-то делать, прям совсем легкое делал. А вот этот пример, что я сейчас написал, то как-то глохну.
Поэтому попросил помощи, чтоб посмотреть, как это приблизительно должно смотреться.
0
Эксперт Python
 Аватар для dondublon
4653 / 2073 / 366
Регистрация: 17.03.2012
Сообщений: 10,183
Записей в блоге: 6
13.10.2017, 14:26
Думаю, для вашего случая подойдёт Pool.
0
0 / 0 / 0
Регистрация: 12.10.2017
Сообщений: 9
13.10.2017, 14:33  [ТС]
dondublon, проблема в реализации. А так, то я использую Pool, по крайней мере стараюсь что-то делать, но пока криво, ибо я очень зеленый и много методом тыка делаю.
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
13.10.2017, 15:15
freedomentest, да не томите, покажите уже, как пробовали, может там и почти правильно все...
0
0 / 0 / 0
Регистрация: 12.10.2017
Сообщений: 9
13.10.2017, 15:41  [ТС]
Jabbson, я плохие реализации удалил уже, так как посчитал это зашкваром) И зашел сюда попросить, чтоб кто-то написал с нуля, чтоб я посмотрел как это должно выглядит.
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
13.10.2017, 16:01
Нам интересно Ваш мыслительный процесс посмотреть в виде кода, может то, что Вы считаете плохой реализацией, только лишь из-за того, что она не до конца делает, что Вы хотите - на самом деле нормальная реализация, где нужно просто поправить одну букву.
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
13.10.2017, 16:54
Можно так:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import multiprocessing
 
class LockedLog:
    def __init__(self):
        self._lock = multiprocessing.Lock()
        print("lock created")
 
    def print(self, text):
        with self._lock:
            print(text)
 
 
def process_funtion(name, digits, log):
    result = [f'{name} - {digit}' for digit in digits]
    log.print("\n".join(result) + "\n")
 
 
def main():
    names = ["Ваня", "Вася", "Олег"]
    digits = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    log = LockedLog()
 
    processes = []
    for name in names:
        process = multiprocessing.Process(target=process_funtion, args=(name, digits, log))
        processes.append(process)
        process.start()
 
    for process in processes:
        process.join()
 
 
if __name__ == '__main__':
    main()
Вероятно можно как то через Pool улучшить но я хз как, там какие-то заморочки которых я не помню
0
Эксперт Python
 Аватар для dondublon
4653 / 2073 / 366
Регистрация: 17.03.2012
Сообщений: 10,183
Записей в блоге: 6
13.10.2017, 17:10
ОМГ.
Чуть-чуть подправить самый первый пример из доки:
Python
1
2
3
4
5
6
7
8
9
10
a = ["Ваня", "Вася", "Олег"]
b = [1,2,3,4,5,6,7,8,9,10]
 
def f(x):
    print(x, b)
 
from multiprocessing import Pool
 
p = Pool()
p.map(f, a)
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
13.10.2017, 17:18
Python
1
2
3
4
5
6
7
8
9
10
from itertools import product
from multiprocessing import Pool
 
def f(x):
    print(*('{} - {}'.format(*x) for x in product([x], range(1, 11))), sep='\n', end='\n\n')
 
a = ["Ваня", "Вася", "Олег"]
 
p = Pool()
p.map(f, a)
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
13.10.2017, 17:26
Вообще то печать через print() (и вообще вывод в консоль) стоит синхронизировать, а то есть все шансы при определенных обстоятельствах получить кашу в выводе.

Так что multiprocessing.Pool лесом ибо не дружит с lock-ами.

Но есть другой вариант через канкарент:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import concurrent.futures
import time
from random import randint
 
 
def process_function(name, digits):
    time.sleep(randint(0,5))
    result = [f'{name} - {digit}' for digit in digits]
    return result
 
 
def main():
    names = ["Ваня", "Вася", "Олег", "Петя"]
    digits = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
 
    with concurrent.futures.ProcessPoolExecutor(max_workers=5) as executor:
        futures = []
        for name in names:
            future = executor.submit(process_function, name, digits)
            futures.append(future)
 
            def done_callback(future_):
                result = future_.result()
                print("\n".join(result)+"\n")
 
            future.add_done_callback(done_callback)
        concurrent.futures.wait(futures)
 
 
if __name__ == '__main__':
    main()
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
13.10.2017, 17:26
Помогаю со студенческими работами здесь

Multiprocessing vs multithreding
Здравствуйте! В python есть такие штуки как multithreding и multiprocessing. Но пока не нашел, где бы писали в каком случае, что лучше...

Multiprocessing mysql
Господа, может кто-то поделиться знаниями и/или примером выполнения параллельного обращения к нескольким (30шт) mysql серверам.

Работа с multiprocessing
Здравствуйте. Хотелось спросить знатоков дела. Я делаю такую структуру приложения: Есть процесс который собирает данные с устройства и...

Использование Multiprocessing
Кто может подсказать, как на данном участке кода задействовать мультипроцессинг ? if self.debug: ...

Медленный multiprocessing Pool
Да, я читал, что с параллельностью в питоне всё совсем хреново. Но тогда не понятно, зачем вообще нужен модуль multiprocessing, если в нем...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
12
Ответ Создать тему
Новые блоги и статьи
Отправка уведомления на почту при изменении наименования справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .
модель ЗдравоСохранения 5. Меньше увольнений- больше дохода!
anaschu 24.03.2026
Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .
Midnight Chicago Blues
kumehtar 24.03.2026
Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .
Контроль уникальности заводского номера - вариант №2
Maks 24.03.2026
В отличие от предыдущего варианта добавлено прерывание циклов, также добавлены новые переменные для сохранения контекста ошибки перед прерыванием цикла: Процедура ПередЗаписью(Отказ, РежимЗаписи,. . .
SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++
8Observer8 24.03.2026
Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip
Жизнь в неопределённости
kumehtar 23.03.2026
Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .
Модель здравоСохранения: работники работают быстрее после её введения.
anaschu 23.03.2026
geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .
Контроль уникальности заводского номера - вариант №1
Maks 23.03.2026
Алгоритм контроля уникальности заводского (или серийного) номера на примере нетипового документа выдачи шин для спецтехники с табличной частью, разработанного в конфигурации КА2. Данные берутся из. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru