Потоки, процессы и асинхронное программирование

Добрый вечер.
Почитал документацию и по моему я только еще больше запутался.

Есть модуль Threadind - который подразумевает разделение программы на потоки. Т.е. задачи выполняются в параллельно друг другу. Перечитав кучу статей, понял что GIL не дает потокам выполнятся параллельно друг другу. вопрос - зачем нужен Threading если потоки все равно выполняются последовательно, т.е. следующий поток, прежде чем начать свою работу, ждет окончания работы текущего потока. Может быть я что то не так понял. В таком случае объясните пожалуйста для каких задач нужен модуль Threading?

Есть модуль multiprocessing - который для каждой задачи создает собственный процесс с выделением области в памяти. И каждая задача оперирует исключительно своими переменными. Для каких задач лучше использовать этот модуль?

Есть модуль asyncio - который создает очередь из задач и при простое(ожидании) текущей задачи переключается на выполнение следующей задачи, а потом снова возвращается к выполнению текущей задачи. В интернете пишут, что данный модуль необходим для того, что бы на уровне программы устанавливать очередность выполнение задач. Где лучше использовать этот модуль?

0

Сообщение от kmvcf Перечитав кучу статей, понял что GIL не дает потокам выполнятся параллельно друг другу. вопрос - зачем нужен Threading если потоки все равно выполняются последовательно, т.е. следующий поток, прежде чем начать свою работу, ждет окончания работы текущего потока. Может быть я что то не так понял. В таком случае объясните пожалуйста для каких задач нужен модуль Threading?

Популярный вопрос на собеседованиях, между прочим
Нужды могут быть различные. Например, сделать "отзывчивый" gui, пока выполняется некий долгий процесс (не в программном смысле). Применение 2 - когда потоки работают с внешними ресурсами. Они медленные, их приходится ждать, всё равно наша программа будет простаивать - так хоть запустим их параллельно, чтобы ждали одновременно.

Сообщение от kmvcf Есть модуль multiprocessing - который для каждой задачи создает собственный процесс с выделением области в памяти. И каждая задача оперирует исключительно своими переменными. Для каких задач лучше использовать этот модуль?

Очевидно, на multiprocessing не распространяется ограничение GIL. То есть имеет смысл, когда надо по серьёзному загрузить все ядра.

0

Если можно, то немного уточнений.
Задача заключается в следующем - я хочу написать web приложение на Pyhton, со следующей логикой:
Клиент отправляет в web приложение данные.
Web приложение получает данные и делает выборку из базы данных или из данных загруженных в память.
На основе выборки web приложение отправляет запрос на сторонний ресурс, получает ответ, обрабатывает его и в итоге отправляет клиенту результат своей работы.

Что лучше использовать для такой задачи?
Threadind
multiprocessing
asyncio

Какая библиотека будет потреблять больше/меньше ресурсов? и каких?
Какая библиотека сможет обработать больше/меньше всего запросов, за одинаковый период времени?

0

aiohttp в тренде, лично я голосую за tornado
https://github.com/tornadoweb/... ster/demos

0

Сообщение от vic5710 aiohttp в тренде, лично я голосую за tornado

В целях самообразования не хочу использовать фреймворки.

0

kmvcf, как я уже отметил, обычно для работы с внешними ресурсами используют threading или asyncio. Между ними уже сложнее выбрать, так что я лучше воздержусь от совета.
Но пока для вашей задачи я вообще не увидел, где там нужна многопоточность в каком бы то ни было виде. Разве что будете писать свой веб-сервер, но это вряд ли. А так - в рамках одного запроса многопоточность пока не просматривается, а одновременно рулить запросами будет программа-вебсервер.

0

Сообщение от dondublon Но пока для вашей задачи я вообще не увидел, где там нужна многопоточность в каком бы то ни было виде. Разве что будете писать свой веб-сервер, но это вряд ли. А так - в рамках одного запроса многопоточность пока не просматривается, а одновременно рулить запросами будет программа-вебсервер.

Задача была обрисована на примере одного клиента, а если их будет 100?

0

kmvcf, ну так я вроде указал, что этим займётся программа-вебсервер.

0

Сообщение от dondublon ну так я вроде указал, что этим займётся программа-вебсервер.

т.е. если есть вебсервер, то разделением на потоки будет заниматься он.
если вебсервера нет, то нужно писать свой вебсервер.
В таком случае как будет происходить взаимодействие:
Сервер принял 100 запросов.
Отправил данные 1 запроса моему приложению.
Мое приложение обрабатывает данные.
В этот момент сервер отправляет моему приложению 2 запрос. Но ведь мое приложение работает в один поток и он уже занят, разве не так?

0

Сообщение от kmvcf если вебсервера нет, то нужно писать свой вебсервер.

Что значит "нет"? Поставьте nginx, в крайнем случае apache. Можно uwsgi, для простых случаев. Оно вам надо - свой сервер писать? Лучше вы всё равно не напишете.

Сообщение от kmvcf Сервер принял 100 запросов. Отправил данные 1 запроса моему приложению.

Настроенный сервер сам будет запускать питоновские процессы и потоки, как нужно, абстрагируя вас от этой работы.

1