Форум программистов, компьютерный форум, киберфорум
Python
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.67/6: Рейтинг темы: голосов - 6, средняя оценка - 4.67
0 / 0 / 0
Регистрация: 12.10.2017
Сообщений: 9

Multiprocessing в пайтоне

13.10.2017, 01:56. Показов 1218. Ответов 11
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Я постараюсь навести пример.
Есть у нас
a = ["Ваня", "Вася", "Олег"]
b = [1,2,3,4,5,6,7,8,9,10]
И чтоб результат программы выбивал что-то такое:

Ваня - 1
Ваня - 2
Ваня - 3
Ваня - 4
Ваня - 5
Ваня - 6
Ваня - 7
Ваня - 8
Ваня - 9
Ваня - 10

Вася - 1
Вася - 2
Вася - 3
Вася - 4
Вася - 5
Вася - 6
Вася - 7
Вася - 8
Вася - 9
Вася - 10

Олег - 1
Олег - 2
Олег - 3
Олег - 4
Олег - 5
Олег - 6
Олег - 7
Олег - 8
Олег - 9
Олег - 10

Сами цифры могут быть в разном порядке. Главное, чтоб на каждого Ваню, Васю, или Олега запускались пару процессов и оно посчитало в любом порядке от 1 к 10 используя itertools (необязательно) и multiprocessing.
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
13.10.2017, 01:56
Ответы с готовыми решениями:

Multiprocessing Queue vs multiprocessing.Manager Queue
Если кому интересно: обычная Queue из мультитпроцессинга имеет ограничение по размеру, если туда забивать объекты не считывая. а очередь из...

Multiprocessing
if __name__ == '__main__': exe = 'pocketsphinx_continuous.exe -hmm zero_ru_cont_8k_v3\\zero_ru.cd_cont_4000 -dict...

Multiprocessing
В общем и целом, сбахал простейший скрипт для того, чтобы опробовать класс Process() из модуля multiprocessing. Выглядит он так: from...

11
Эксперт Python
 Аватар для dondublon
4652 / 2072 / 366
Регистрация: 17.03.2012
Сообщений: 10,182
Записей в блоге: 6
13.10.2017, 09:36
https://docs.python.org/2/libr... ssing.html
Читали?
0
0 / 0 / 0
Регистрация: 12.10.2017
Сообщений: 9
13.10.2017, 14:14  [ТС]
dondublon, да. Пробовал что-то делать, прям совсем легкое делал. А вот этот пример, что я сейчас написал, то как-то глохну.
Поэтому попросил помощи, чтоб посмотреть, как это приблизительно должно смотреться.
0
Эксперт Python
 Аватар для dondublon
4652 / 2072 / 366
Регистрация: 17.03.2012
Сообщений: 10,182
Записей в блоге: 6
13.10.2017, 14:26
Думаю, для вашего случая подойдёт Pool.
0
0 / 0 / 0
Регистрация: 12.10.2017
Сообщений: 9
13.10.2017, 14:33  [ТС]
dondublon, проблема в реализации. А так, то я использую Pool, по крайней мере стараюсь что-то делать, но пока криво, ибо я очень зеленый и много методом тыка делаю.
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
13.10.2017, 15:15
freedomentest, да не томите, покажите уже, как пробовали, может там и почти правильно все...
0
0 / 0 / 0
Регистрация: 12.10.2017
Сообщений: 9
13.10.2017, 15:41  [ТС]
Jabbson, я плохие реализации удалил уже, так как посчитал это зашкваром) И зашел сюда попросить, чтоб кто-то написал с нуля, чтоб я посмотрел как это должно выглядит.
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
13.10.2017, 16:01
Нам интересно Ваш мыслительный процесс посмотреть в виде кода, может то, что Вы считаете плохой реализацией, только лишь из-за того, что она не до конца делает, что Вы хотите - на самом деле нормальная реализация, где нужно просто поправить одну букву.
0
Эксперт С++
 Аватар для Avazart
8484 / 6151 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
13.10.2017, 16:54
Можно так:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import multiprocessing
 
class LockedLog:
    def __init__(self):
        self._lock = multiprocessing.Lock()
        print("lock created")
 
    def print(self, text):
        with self._lock:
            print(text)
 
 
def process_funtion(name, digits, log):
    result = [f'{name} - {digit}' for digit in digits]
    log.print("\n".join(result) + "\n")
 
 
def main():
    names = ["Ваня", "Вася", "Олег"]
    digits = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    log = LockedLog()
 
    processes = []
    for name in names:
        process = multiprocessing.Process(target=process_funtion, args=(name, digits, log))
        processes.append(process)
        process.start()
 
    for process in processes:
        process.join()
 
 
if __name__ == '__main__':
    main()
Вероятно можно как то через Pool улучшить но я хз как, там какие-то заморочки которых я не помню
0
Эксперт Python
 Аватар для dondublon
4652 / 2072 / 366
Регистрация: 17.03.2012
Сообщений: 10,182
Записей в блоге: 6
13.10.2017, 17:10
ОМГ.
Чуть-чуть подправить самый первый пример из доки:
Python
1
2
3
4
5
6
7
8
9
10
a = ["Ваня", "Вася", "Олег"]
b = [1,2,3,4,5,6,7,8,9,10]
 
def f(x):
    print(x, b)
 
from multiprocessing import Pool
 
p = Pool()
p.map(f, a)
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
13.10.2017, 17:18
Python
1
2
3
4
5
6
7
8
9
10
from itertools import product
from multiprocessing import Pool
 
def f(x):
    print(*('{} - {}'.format(*x) for x in product([x], range(1, 11))), sep='\n', end='\n\n')
 
a = ["Ваня", "Вася", "Олег"]
 
p = Pool()
p.map(f, a)
0
Эксперт С++
 Аватар для Avazart
8484 / 6151 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
13.10.2017, 17:26
Вообще то печать через print() (и вообще вывод в консоль) стоит синхронизировать, а то есть все шансы при определенных обстоятельствах получить кашу в выводе.

Так что multiprocessing.Pool лесом ибо не дружит с lock-ами.

Но есть другой вариант через канкарент:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import concurrent.futures
import time
from random import randint
 
 
def process_function(name, digits):
    time.sleep(randint(0,5))
    result = [f'{name} - {digit}' for digit in digits]
    return result
 
 
def main():
    names = ["Ваня", "Вася", "Олег", "Петя"]
    digits = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
 
    with concurrent.futures.ProcessPoolExecutor(max_workers=5) as executor:
        futures = []
        for name in names:
            future = executor.submit(process_function, name, digits)
            futures.append(future)
 
            def done_callback(future_):
                result = future_.result()
                print("\n".join(result)+"\n")
 
            future.add_done_callback(done_callback)
        concurrent.futures.wait(futures)
 
 
if __name__ == '__main__':
    main()
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
13.10.2017, 17:26
Помогаю со студенческими работами здесь

Multiprocessing vs multithreding
Здравствуйте! В python есть такие штуки как multithreding и multiprocessing. Но пока не нашел, где бы писали в каком случае, что лучше...

Multiprocessing mysql
Господа, может кто-то поделиться знаниями и/или примером выполнения параллельного обращения к нескольким (30шт) mysql серверам.

Работа с multiprocessing
Здравствуйте. Хотелось спросить знатоков дела. Я делаю такую структуру приложения: Есть процесс который собирает данные с устройства и...

Использование Multiprocessing
Кто может подсказать, как на данном участке кода задействовать мультипроцессинг ? if self.debug: ...

Медленный multiprocessing Pool
Да, я читал, что с параллельностью в питоне всё совсем хреново. Но тогда не понятно, зачем вообще нужен модуль multiprocessing, если в нем...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
12
Ответ Создать тему
Новые блоги и статьи
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит: токи, напряжения и их 1 и 2 производные при t = 0;. . .
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3
anaschu 06.01.2026
aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru