Многопоточность

@Бабуля · Регистрация: 10.08.2012

Студворк — интернет-сервис помощи студентам

Привет!

Для распараллеливания кода, я использую библиотеку multiprocessing и функцию map,
которая перебирает список и отдает каждое значение в функцию, но я никак не могу
понять каким образом остановить перебор списка, если какое-либо значение удовлетворило
условию в функции func.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
from multiprocessing import Pool
 
file = open('text.lst', 'r')
mylist = [line.strip() for line in file]
 
def func(word):
    if(word == "hello"):
        #Завершить перебор списка в функции map
        #То есть завершить работу библиотеки multiprocessing
 
pool = Pool()
pool.map(func, mylist)
pool.close()
pool.join()

Получается, что если текущий элемент списка hello, то нужно завершить работу, в противном
случае продолжится перебор списка, что совсем не тру, ибо список из нескольких миллионов.

@0x10 · 02.08.2015, 15:48

Сообщение от Бабуля

Получается, что если текущий элемент списка hello, то нужно завершить работу

При параллельной обработке списка некорректно оперировать понятием «текущего элемента»: у каждого обработчика он свой, и порядок обработки элементов не фиксирован.

Как вариант — можно сначала последовательным алгоритмом отфильтровать данные, а затем уже обрабатывать параллельным. Либо параллельным алгоритмом найти позицию элемента, после которого нужно прекратить обработку, и затем в map опять же передать только необходимую часть данных.

@Бабуля · 02.08.2015, 16:03 **[ТС]**

0x10, я привел простой пример, без дополнительной информации и по всей видимости поступил не правильно.
Проблема в том, что мне заранее неизвестно истинное значение. Представь себе перебор паролей админки
какого-нибудь сайта, получается нужно отправлять POST запросы и получать ответ сервера и в случае,
если ответ 302, то, к примеру, это означает, что пароль подобран правильно. Не смог придумать
примера лучше, описал, что делал когда-то, но без многопоточности.

@0x10 · 02.08.2015, 16:42

Бабуля, в этом случае map не подходит по своей семантике. Грубо говоря, map принимает список и возвращает список такого же размера.

В данном случае задача другая: выполнять вычисления до тех пор, пока один из обработчиков не завершится с успехом. Порядок не важен, остальные результаты тоже не важны. В связи с этим кажется, что подход должен быть другим: создание пула, добавление в него задач посредством apply/apply_async. Помимо этого установить взаимодействие между родительским процессом и обработчиками: например, с помощью multiprocessing.Queue. Обработчики по мере выполнения действий отправляют результаты очередь. Родительский процесс их получает. В случае успеха родительский процесс завершает все задачи в пуле (Pool.terminate).

@Бабуля · 03.08.2015, 12:42 **[ТС]**

0x10, спасибо за наводку на нужные функции и определенный алгоритм. Так и сделал, получилось!

Новые блоги и статьи Все статьи Все блоги /
Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .
Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Программное заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .

@Бабуля 72 / 72 / 29 Регистрация: 10.08.2012 Сообщений: 202
	02.08.2015, 16:03 [ТС]
	0x10, я привел простой пример, без дополнительной информации и по всей видимости поступил не правильно. Проблема в том, что мне заранее неизвестно истинное значение. Представь себе перебор паролей админки какого-нибудь сайта, получается нужно отправлять POST запросы и получать ответ сервера и в случае, если ответ 302, то, к примеру, это означает, что пароль подобран правильно. Не смог придумать примера лучше, описал, что делал когда-то, но без многопоточности. 0

@0x10 3258 / 2060 / 351 Регистрация: 24.11.2012 Сообщений: 4,909
	02.08.2015, 16:42
	Сообщение было отмечено Бабуля как решение Решение Бабуля, в этом случае map не подходит по своей семантике. Грубо говоря, map принимает список и возвращает список такого же размера. В данном случае задача другая: выполнять вычисления до тех пор, пока один из обработчиков не завершится с успехом. Порядок не важен, остальные результаты тоже не важны. В связи с этим кажется, что подход должен быть другим: создание пула, добавление в него задач посредством apply/apply_async. Помимо этого установить взаимодействие между родительским процессом и обработчиками: например, с помощью multiprocessing.Queue. Обработчики по мере выполнения действий отправляют результаты очередь. Родительский процесс их получает. В случае успеха родительский процесс завершает все задачи в пуле (Pool.terminate). 0

@Бабуля 72 / 72 / 29 Регистрация: 10.08.2012 Сообщений: 202
	03.08.2015, 12:42 [ТС]
	0x10, спасибо за наводку на нужные функции и определенный алгоритм. Так и сделал, получилось! 0

Многопоточность

Решение