|
0 / 0 / 0
Регистрация: 14.03.2021
Сообщений: 1
|
|||||||||||
Проблемы с исполнением кода при использовании мультипроцессинга (multiprocessing - Pool)20.03.2021, 10:46. Показов 2801. Ответов 1
Здравствуйте.
Пишу парсер, который парсит посты и сохраняет комментарии указанного пользователя в лист Из-за большого количества постов решил использовать мультипроцессинг, но при его использовании комментарии перестают сохранятся в лист, хотя изменений в самом коде не было. Может быть кто-нибудь сможет подсказать в чем моя ошибка? 1. Код без мультипроцессинга:
Я добавил метки <--, чтобы понимать что срабатывает условие "if users_nicks[i].text == user_need:" Т.е в этом посте найден нужный пользователь
0
|
|||||||||||
| 20.03.2021, 10:46 | |
|
Ответы с готовыми решениями:
1
Медленный multiprocessing Pool Multiprocessing: Value и Pool.map() Производительность multiprocessing.Pool |
|
Заклинатель змей
705 / 560 / 219
Регистрация: 30.04.2016
Сообщений: 2,605
|
|
| 21.03.2021, 12:00 | |
Сообщение было отмечено Welemir1 как решение
Решение
silybum, с IO-bouned задачами (запросы -- одна из них), надо работать через thread Pool executor
Добавлено через 3 минуты А проблема ваша в том, что процессы не используют разделяемую память и у каждого из них свой лист https://stackoverflow.com/a/40682175/12444061
2
|
|
| 21.03.2021, 12:00 | |
|
Помогаю со студенческими работами здесь
2
Multiprocessing.Pool - общая для всех дочерних процессов переменная (список) Проблемы при использовании FOR F/ Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android
8Observer8 26.01.2026
SDL3_mixer - это библиотека я для воспроизведения аудио.
Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и. . .
|
Установка Android SDK, NDK, JDK, CMake и т.д.
8Observer8 25.01.2026
Содержание блога
Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip"
Извлеките архив и вы увидите. . .
|
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf
8Observer8 25.01.2026
Содержание блога
Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д.
Сборка примера
Скачайте. . .
|
Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly
8Observer8 24.01.2026
Содержание блога
Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
|
|
моя боль
iceja 24.01.2026
Выложила интерполяцию кубическими сплайнами www. iceja. net
REST сервисы временно не работают, только через Web.
Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .
|
Модель сукцессии микоризы
anaschu 24.01.2026
Решили писать научную статью с неким РОманом
|
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
|
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма).
На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
|