Асинхронное программирование

Не всегда включаюсь в тему асинхронного программирования, рассказали бы в краткой форме, достаточной для 2-3 минутного ответа на вопрос, в чем отличие потоков от процессов, да и как вообще обстоят дела в python с асинхронным программированием? Чем нас ограничивает GIL, в каких случаях применяется модуль threading, да и вообще нужна многопоточность на python, если можно все решить применением правильного алгоритма?

0

так как ответ 2-3 минутный то в подробности не вдаюсь:

Сообщение от AlexMarkov Чем нас ограничивает GIL

гил гарантирует что в любой момент времени у нас работает ровно 1 поток (thread), почему если мы хотим одновременно считать какие-нибудь матрицы то ГИЛ нам помешает, так как считаться будет то одна то вторая (то 1 поток то другой работает). Но ГИЛ НЕ ограничивает любые ИО задачи типа запроса по сети или обращение к диску, то есть распараллелить запросы к сайтам вполне можно. Кроме того, ГИЛ НЕ гарантирует синхронизации между потоками, ее надо обеспечивать.

Сообщение от AlexMarkov в каких случаях применяется модуль threading

когда делаем ИО запросы или нам плевать на то что ГИЛ будет давать работать то одному потоку то второму

Сообщение от AlexMarkov нужна многопоточность на python

нужна. Попробуй ка опросить 100 сайтов или там датчиком последовательно и потом параллельно на 10 скажем потоках. Что впрочем не отменяет необходимости понимать алгоритмы и структуры данных.

Сообщение от AlexMarkov в чем отличие потоков от процессов

потоки работают в рамках одного интерпретатора, у них общая память, они могут без проблем обмениваться переменнымии и писать в одну коллекцию, но над ними нависает ГИЛ и их надо синхронизировать чтобы не было локов и гонок.

процессы это отдельные интерпретаторы, представь что ты несколько версий одной программы открыл, то есть у каждой свой собственный ГИЛ и они друг другу не мешают, запросто распараллеливают работу. НО у них нет общей памяти, надо заморачиваться с передачей данных

Сообщение от AlexMarkov как вообще обстоят дела в python с асинхронным программированием?

хорошо обстоят, вошло в моду. Асинхронка работает вообще в 1 потоке, ГИЛ ее не трогает по этой причине, но у нее свои особенности, она сонована на постоянной передаче работы между участниками (асинхронными функциями), использует неблокирующие вызовы.

Пример - сеанс одновременной игры в шахматы, когда пришло 10 человек и ждут соперников. Вот когда зашло 2-3-5 гроссмейтеров и играют одновременно это распараллеливание. Когда вошел 1 гроссмейстер и быстро делает ход, переходя от одного участника к другому не дожидаясь ответного хода -это асинхронка.

5

Welemir1, ИО запросы?

0

0

input -output

1

Добавлено через 2 минуты
Welemir1, за счёт чего и как обеспечивается синхронизация между потоками?

Добавлено через 10 минут
Блокировка/замки или другая терминология, с чего начать, какие примеры, задачи, статьи?

0

Сообщение от AlexMarkov за счёт чего и как обеспечивается синхронизация между потоками?

блокировками как раз, а лучше еще использовать пул потоков или пул процессов, там уже все под капотом реализовано, знай только раздавай таски для распараллеливания.

Сообщение от AlexMarkov с чего начать, какие примеры, задачи, статьи?

с документации и книг классиков.

1

Welemir1, по конкретнее пожалуйста о книгах классиков, я записываю

0

Mark Lutz "Programming Python" 4 edition
"Fluent Python" Luciano Ramalho
Дэвид Бизли "Python Книга рецептов"

1

Welemir1, "ети книжки" мы знаем, может что-то есть по прогматичнее и попрактичнее по данной теме.
Я про раскрытие именно данной тематики...В идеальном варианте, книга так и должна называться).
В книге Бизли одна глава на 40-50 страниц, Лутц тоже на 100-120 страницах, ай ладно, Лутца прочитаю ещё раз,
ну этого точно не достаточно для понимания и решения практических задач о которых Вы говорили выше...

0

AlexMarkov, так там тебе старт, дальше хватаешь в руки доку и начинаешь эксперименты.

Добавлено через 2 минуты
"Using Asyncio in Python". Caleb Hattingh

1

0

Arsegg, ну я свежее видео от Гвидо конечно смотрел, но про что в данном случае речь не совсем уловил. По сути мультипроцессинг это и есть отдельные параллельно запущенные интерпретаторы, у которых общего нет ничего, если специально не стараться. Такое да- используется.

Есть два английских термина - канкаренси и параллел, так вот асинк и мультитрединг это канкарренси, потому что хотя и создается впечатление параллельной работы, на самом деле идет постоянное переключение между работниками. А вот мультипроцессинг это реально параллел, они на разных ядрах работают и при правильной организации не пересекаются и не мешают друг другу, там и синхронизировать тогда нечего, ибо независимы.

Если у тебя комп как у вашего покорного слуги и хочется загрузить все 10 ядрышек рассчетами то мультипроцессинг, если надо всего лишь запросиками популять в авито, то асинкио или мультитрединг.

1

0

Arsegg, не пробовал, не видел, подождем релиза 3.10 -увидим.

0

Сообщение от AlexMarkov по прогматичнее и попрактичнее по данной теме

смотрите примеры (последний), пишите свой код - засекайте время... тайминги вам всё покажут...
только asyncio используйте совместно с асинхронной библиотекой - aiohttp или aiofiles ! иначе бесполезно

0