|
0 / 0 / 0
Регистрация: 07.12.2022
Сообщений: 9
|
||||||
Отимизация парсера на питоне03.07.2024, 23:48. Показов 680. Ответов 6
Привет, пишу парсер сайта https://stihi.ru/poems/list.html?topic=01. На этом сайте стихи разделены на основе даты публикации и их очень много. Я пытаюсь собрать все стихи за 2011. Вопрос: можно ли как-то отимизировать код так, чтобы парсинг проходил быстрее. Подскажите библиотеки либо методы для оптимизации парсера.
Заранее спасибо ![]()
0
|
||||||
| 03.07.2024, 23:48 | |
|
Ответы с готовыми решениями:
6
Отимизация Scriptlibов
|
|
150 / 120 / 36
Регистрация: 01.11.2019
Сообщений: 425
|
|
| 04.07.2024, 13:28 | |
|
Можно в несколько потоков запустить с помощью библиотеки threading.
0
|
|
|
Любознательный
7404 / 2254 / 360
Регистрация: 10.03.2016
Сообщений: 5,213
|
||||||||
| 04.07.2024, 14:10 | ||||||||
|
И чтобы корректно обрабатывались все дни, а не 11 "месяцев" по 30 дней (февраль, например?), лучше поработать с календарем:
0
|
||||||||
|
2 / 1 / 1
Регистрация: 29.05.2024
Сообщений: 6
|
||||||
| 04.07.2024, 14:49 | ||||||
|
Для оптимизации вашего парсера вы можете использовать несколько подходов и библиотек. Вот некоторые из них:
1.Многопоточность: Используйте модуль `concurrent.futures` для параллельной обработки запросов. Это может значительно ускорить процесс парсинга, так как запросы будут выполняться одновременно, а не последовательно. 2.Асинхронный HTTP-клиент: Используйте асинхронные библиотеки, такие как `aiohttp`, для асинхронного выполнения HTTP-запросов. Это позволит вашему коду не блокироваться во время ожидания ответа от сервера. 3.Кэширование: Если вы парсите одни и те же страницы несколько раз, рассмотрите возможность кэширования ответов, чтобы избежать повторных запросов. 4.Более быстрые парсеры HTML: Вместо `html.parser` используйте `lxml` или `html5lib`, которые могут быть быстрее при обработке больших объемов HTML. Вот пример кода с использованием многопоточности: ```python
0
|
||||||
|
19530 / 11067 / 2931
Регистрация: 21.10.2017
Сообщений: 23,294
|
|
| 04.07.2024, 15:18 | |
|
lookat_me, чатжпт тут не в почете. Своей головой надо думать
0
|
|
|
2 / 1 / 1
Регистрация: 29.05.2024
Сообщений: 6
|
|
| 04.07.2024, 15:28 | |
|
iSmokeJC Молодец правильно , теперь если кому захочешь позвонить не звони, а своими ногами сходи до того с кем хочешь поговорить и компьютер выброси, головой думай.
0
|
|
|
19530 / 11067 / 2931
Регистрация: 21.10.2017
Сообщений: 23,294
|
|
| 04.07.2024, 15:33 | |
|
lookat_me, да уж лучше так, чем за счет ии пытаться за умного сойти.
3
|
|
| 04.07.2024, 15:33 | |
|
Помогаю со студенческими работами здесь
7
Написание парсера Скорость парсера. Написание парсера Настройка парсера C# Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
|
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11
— это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
|
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11
Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
|
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
|
|
Модель микоризы: классовый агентный подход 3
anaschu 06.01.2026
aa0a7f55b50dd51c5ec569d2d10c54f6/
O1rJuneU_ls
https:/ / vkvideo. ru/ video-115721503_456239114
|
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR
ФедосеевПавел 06.01.2026
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR
ВВЕДЕНИЕ
Введу сокращения:
аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .
|
Модель микоризы: классовый агентный подход 2
anaschu 06.01.2026
репозиторий https:/ / github. com/ shumilovas/ fungi
ветка по-частям.
коммит Create переделка под биомассу. txt
вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .
|
Расчёт токов в цепи постоянного тока
igorrr37 05.01.2026
/ *
Дана цепь постоянного тока с сопротивлениями и источниками (напряжения, ЭДС и тока). Найти токи и напряжения во
всех элементах. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и. . .
|