|
0 / 0 / 0
Регистрация: 10.04.2023
Сообщений: 1
|
||||||
Причина медленного асинхронного парсера?11.04.2023, 00:35. Показов 1042. Ответов 1
Здравствуйте, есть был парсер на питоне который я переписал на асинхрон, но ожидаемый прирост скорости не совпал с действительностью, я подозреваю что проблема в том что само получение страницы стопит поток, но точно сказать не могу. Есть идеи как данный код можно улучшить/дописать/переписать/выкинуть и забыть как страшный сон?
0
|
||||||
| 11.04.2023, 00:35 | |
|
Ответы с готовыми решениями:
1
Причина медленного Создания БД Имитация медленного соединения
|
|
Автоматизируй это!
|
||
| 11.04.2023, 07:59 | ||
Сообщение было отмечено cascadBIT как решение
Решениесам парсинг блокирующий и пока он выполняется -все корутины ждут. Можно разделить задачу на кусочки - асинкио пачкой корутин пусть парсит страницы и кидает их содержимое в некую очередь. В отдельном потоке или процессе из очереди достаются эти данные и парсятся, а результаты куда то собирать, может в результирующую очередь. Скажем если у тебя 8 ядер то можно стартануть 6 воркеров-процессов, которые ждут текстов для парсинга, а в основном потоке асинкио занято чисто тем что бегает по страничкам и собирает ответы в очередь(не парсит содержимое)
1
|
||
| 11.04.2023, 07:59 | |
|
Помогаю со студенческими работами здесь
2
В чём причина причина в бд или в коде?
Эмуляция работы быстрого и медленного клиента Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования.
Часть библиотеки BedvitCOM
Использованы. . .
|
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога
SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
|
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image
8Observer8 27.01.2026
Содержание блога
SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
|
влияние грибов на сукцессию
anaschu 26.01.2026
Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
|
|
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android
8Observer8 26.01.2026
Содержание блога
SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .
|
Установка Android SDK, NDK, JDK, CMake и т.д.
8Observer8 25.01.2026
Содержание блога
Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip"
Извлеките архив и вы увидите. . .
|
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf
8Observer8 25.01.2026
Содержание блога
Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д.
Сборка примера
Скачайте. . .
|
Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly
8Observer8 24.01.2026
Содержание блога
Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
|