|
0 / 0 / 0
Регистрация: 09.11.2019
Сообщений: 4
|
||||||
Парсинг сайта13.11.2019, 23:08. Показов 6318. Ответов 29
Метки нет (Все метки)
У меня есть парсер цен AliExpress, он на селениуме, проблема в том что он медленный, хотелось более быстрой работы, bs4 не видит нужные элементы (или я тупой( ), вообщем можно как-то побыстрее парсить нужное значение ?
0
|
||||||
| 13.11.2019, 23:08 | |
|
Ответы с готовыми решениями:
29
Парсинг сайта Парсинг сайта парсинг сайта |
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|||||||||||
| 13.08.2020, 05:59 | |||||||||||
|
Этот пример не скачивает картинки. Форум испортил ссылку в коде.
0
|
|||||||||||
|
|
|||
| 13.08.2020, 15:09 | |||
|
Или неверно указан xpath. Или ... еще какая-то неведомая хрень. На такие вопросы нельзя ответить без возможности запустить код. Учись дебажить свой код. Ты содержимое response.text опробовал глазами посмотреть? Нет. Добавлено через 2 минуты
1
|
|||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.08.2020, 16:55 | |
|
Может быть у меня только не работает в конфигурации операционной системы и Пайтона. Вы бы запустили этот код, а то не понятно.
0
|
|
|
|
||
| 13.08.2020, 17:09 | ||
|
Мне что, подставить туда свой url? Ну дак у меня все сработает. Потому что я все сделаю правильно.
0
|
||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.08.2020, 18:10 | |
|
Можно перейти по вашей ссылке на страницу урока и код скопировать оттуда.
0
|
|
|
|
||
| 13.08.2020, 18:36 | ||
|
Ну тогда все просто: там нет картинок. Они подгружаются динамически. http-клиенты типа requests не выполняют javascript для полного рендеринга страницы. Они возвращают только то, что отдает сайт при запросе по данному url. А картинки грузятся в фоновом режиме через AJAX запросы (совсем по другим url), которые скрипты выполняют в браузере после загрузки страницы. Хочешь протестировать этот скрипт - найди сайт, где картинки грузятся сразу же.
0
|
||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.08.2020, 19:30 | |
|
Может Scrapy в таких случаях надо использовать?
Добавлено через 30 секунд url тот же самый.
0
|
|
|
|
||
| 13.08.2020, 19:34 | ||
|
Для рендеринга динамики используют selenium (+ драйвер любого браузера). Или еще есть такая штука как splash (Splash is a javascript rendering service with an HTTP API. It's a lightweight browser with an HTTP API, implemented in Python 3 using Twisted and QT5.).
1
|
||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
||||||
| 13.08.2020, 19:46 | ||||||
|
А в каких случаях надо задействовать этот код, как в следующем примере?
0
|
||||||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.09.2020, 08:32 | |
|
А если надо будет спарсить подгружаемое содержимое, как в комментариях на Youtube?
0
|
|
| 13.09.2020, 08:32 | |
|
Парсинг сайта Парсинг сайта Парсинг сайта Парсинг динамического сайта Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
| Опции темы | |
|
|
Новые блоги и статьи
|
|||
|
сукцессия 6. Питон реализация энилоджиковской модели, картинка про Центральную часть будущей модели
anaschu 26.06.2026
Етить. ИИ мне на основе моего старого файла R создал вот эту вот хмерь на пайтоне.
Это уже новая модель, модель сукцессии грибной.
потоки фосфора, азота. Углерода.
5 видов организмов.
Я даже. . .
|
Как замкнутый ядерный цикл решит проблему недостатки фосфора? Био миграция фосфора со дна океана
anaschu 26.06.2026
Биологический лифт: Концепция подъема фосфора со дна океана с помощью ЗЯТЦ
Предлагаю на обсуждение альтернативу тяжелому промышленному бурению океанического дна. Вместо сложной инженерии мы можем. . .
|
сукцессия 5
anaschu 26.06.2026
ПЛАН РАЗРАБОТКИ математической модели сукцессии микоризных систем
Переход AM → EcM (Endo + ErM) · Шумилов А. С. · ИФХиБПП РАН · Пущино · 2026
. . .
|
сукцессия 4
anaschu 25.06.2026
Более детализированный план разработки
План доработки модели динамики микоризных симбиозов (EcM с гистерезисом)
Цель: Реализовать логику переключения между эрикоидным (ErM) и эктомикоризным. . .
|
|
сукцессия 3
anaschu 25.06.2026
Примерный план работ по модели
|
сукцессия 2
anaschu 25.06.2026
параметризировочная калибровочная таблица будущей модели
|
Многофункциональное здание: как одно здание порождает конфликты требований, которые никто не планировал (мат мет мод 29)
anaschu 23.06.2026
Многофункциональное здание:
как одно здание порождает конфликты требований,
которые никто не планировал
Материалы для обсуждения с МГСУ · 2026
Рисунки внутри приложенного ворд файла.
Что за. . .
|
28. Конкретное развертывание плана номер 1 из поста номер 27
anaschu 22.06.2026
Можно ли из модели получить конкретные строительные требования?
Честно — напрямую из текущей модели такие ответы не получить. Но цепочка логики есть, и она не такая длинная.
Где разрыв
. . .
|