Форум программистов, компьютерный форум, киберфорум
Python для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 28.08.2014
Сообщений: 11

Потоки или процессы для многочисленных сессий

04.02.2022, 01:49. Показов 496. Ответов 1

Студворк — интернет-сервис помощи студентам
Доброго времени суток!

Есть необходимость в целях создания нагрузки (сетевая активность определенного рода) запускать множество несложных однотипных заданий в количестве нескольких тысяч и возможно даже десятков тысяч. Необходимо чтобы эти задания обрабатывались насколько возможно единовременно, создавая равномерную нагрузку.

В связи с этим возник вопрос - что лучше использовать для данной цели? multiprocessing или же threading?

Спрашиваю ещё и потому, что до этого имел опыт использования subprocess и эти тысячи запущенных внешних программ легли тяжким бременем на операционную систему, которая оказалась не в состоянии переварить такое количество процессов.

Возможно данный вопрос поставлен некорректно, но так уж вышло исходя из моего текущего уровня понимания.

Добавлено через 1 час 30 минут
Забыл уточнить важный момент - эти задачи должны выполняться на протяжении неопределенно длительного промежутка времени - часы, возможно до суток. Мне важно обеспечить если можно так выразиться "оптимальное исполнение". Важно чтобы все таски выполнялись насколько возможно равномерно. Сами по себе они достаточно легковесные, но их очень много.
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
04.02.2022, 01:49
Ответы с готовыми решениями:

3.7 Процессы или потоки ?
Создал с помощью мультипроцессинга два процесса заполняющие некий сайт параллельно (webdriver), все работает. Но возникли вопросы: 1) У...

Потоки и процессы
Не могу разобраться, точнее не понимаю роцессы и потоки, помогите с 2 заданиями: 1) Ответвляя процессы и вешая их, проверьте назначение...

C++ Процессы и потоки
Ребята, помогите решить задачу плиз. Разработать программу, демонстрирующую механизмы подготовки, создания и управления процессами....

1
155 / 120 / 38
Регистрация: 12.12.2013
Сообщений: 374
05.02.2022, 14:42
Насколько я понимаю, в multiprocessing/subprocess для каждого процесса будет запускаться интерпретатор Python, поэтому можно завалить систему таким количеством процессов.
Имхо, лучше потоки использовать с одним интерпретатором, а еще лучше попробовать асинхронный код. Но насколько они будут хорошо с большим количеством запросов работать не могу сказать.
1
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
05.02.2022, 14:42
Помогаю со студенческими работами здесь

Потоки и процессы
Процесс А инициализирует массив случайными значениями и записывает их в файл, а затем запускает процесс Б в командной строке передается имя...

Процессы и потоки
Народ, помогите пожалуйста! C++(MSVS) Консольная программа. Процессы. Процесс А инициализирует массив случайными значениями и...

процессы и потоки!
Привет! Начинаю изучать процессы и потоки! Возможно кто-то сможет подкинуть код программы на любую тему, главное чтобы она работала с...

Процессы и потоки
Здравствуйте, КиберФорумчане!) Начал разбираться с процессами и потоками. Представление об этом небольшое, потому сразу хотелось бы...

Потоки и процессы
Не могу разобраться, точнее не понимаю роцессы и потоки, помогите с 2 заданиями: 1) Ответвляя процессы и вешая их, проверьте назначение...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru