|
0 / 0 / 0
Регистрация: 10.04.2023
Сообщений: 1
|
||||||
Причина медленного асинхронного парсера?11.04.2023, 00:35. Показов 1044. Ответов 1
Здравствуйте, есть был парсер на питоне который я переписал на асинхрон, но ожидаемый прирост скорости не совпал с действительностью, я подозреваю что проблема в том что само получение страницы стопит поток, но точно сказать не могу. Есть идеи как данный код можно улучшить/дописать/переписать/выкинуть и забыть как страшный сон?
0
|
||||||
| 11.04.2023, 00:35 | |
|
Ответы с готовыми решениями:
1
Причина медленного Создания БД Имитация медленного соединения
|
|
Автоматизируй это!
|
||
| 11.04.2023, 07:59 | ||
Сообщение было отмечено cascadBIT как решение
Решениесам парсинг блокирующий и пока он выполняется -все корутины ждут. Можно разделить задачу на кусочки - асинкио пачкой корутин пусть парсит страницы и кидает их содержимое в некую очередь. В отдельном потоке или процессе из очереди достаются эти данные и парсятся, а результаты куда то собирать, может в результирующую очередь. Скажем если у тебя 8 ядер то можно стартануть 6 воркеров-процессов, которые ждут текстов для парсинга, а в основном потоке асинкио занято чисто тем что бегает по страничкам и собирает ответы в очередь(не парсит содержимое)
1
|
||
| 11.04.2023, 07:59 | |
|
Помогаю со студенческими работами здесь
2
В чём причина причина в бд или в коде?
Эмуляция работы быстрого и медленного клиента Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
| Опции темы | |
|
|
Новые блоги и статьи
|
|||
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога
Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога
Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
|
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
|
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога
Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
|
|
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога
Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
|
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога
Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
|
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
|
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога
В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
|