|
0 / 0 / 0
Регистрация: 09.11.2019
Сообщений: 4
|
||||||
Парсинг сайта13.11.2019, 23:08. Показов 6301. Ответов 29
Метки нет (Все метки)
У меня есть парсер цен AliExpress, он на селениуме, проблема в том что он медленный, хотелось более быстрой работы, bs4 не видит нужные элементы (или я тупой( ), вообщем можно как-то побыстрее парсить нужное значение ?
0
|
||||||
| 13.11.2019, 23:08 | |
|
Ответы с готовыми решениями:
29
Парсинг сайта Парсинг сайта парсинг сайта |
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|||||||||||
| 13.08.2020, 05:59 | |||||||||||
|
Этот пример не скачивает картинки. Форум испортил ссылку в коде.
0
|
|||||||||||
|
|
|||
| 13.08.2020, 15:09 | |||
|
Или неверно указан xpath. Или ... еще какая-то неведомая хрень. На такие вопросы нельзя ответить без возможности запустить код. Учись дебажить свой код. Ты содержимое response.text опробовал глазами посмотреть? Нет. Добавлено через 2 минуты
1
|
|||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.08.2020, 16:55 | |
|
Может быть у меня только не работает в конфигурации операционной системы и Пайтона. Вы бы запустили этот код, а то не понятно.
0
|
|
|
|
||
| 13.08.2020, 17:09 | ||
|
Мне что, подставить туда свой url? Ну дак у меня все сработает. Потому что я все сделаю правильно.
0
|
||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.08.2020, 18:10 | |
|
Можно перейти по вашей ссылке на страницу урока и код скопировать оттуда.
0
|
|
|
|
||
| 13.08.2020, 18:36 | ||
|
Ну тогда все просто: там нет картинок. Они подгружаются динамически. http-клиенты типа requests не выполняют javascript для полного рендеринга страницы. Они возвращают только то, что отдает сайт при запросе по данному url. А картинки грузятся в фоновом режиме через AJAX запросы (совсем по другим url), которые скрипты выполняют в браузере после загрузки страницы. Хочешь протестировать этот скрипт - найди сайт, где картинки грузятся сразу же.
0
|
||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.08.2020, 19:30 | |
|
Может Scrapy в таких случаях надо использовать?
Добавлено через 30 секунд url тот же самый.
0
|
|
|
|
||
| 13.08.2020, 19:34 | ||
|
Для рендеринга динамики используют selenium (+ драйвер любого браузера). Или еще есть такая штука как splash (Splash is a javascript rendering service with an HTTP API. It's a lightweight browser with an HTTP API, implemented in Python 3 using Twisted and QT5.).
1
|
||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
||||||
| 13.08.2020, 19:46 | ||||||
|
А в каких случаях надо задействовать этот код, как в следующем примере?
0
|
||||||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.09.2020, 08:32 | |
|
А если надо будет спарсить подгружаемое содержимое, как в комментариях на Youtube?
0
|
|
| 13.09.2020, 08:32 | |
|
Парсинг сайта Парсинг сайта Парсинг сайта Парсинг динамического сайта Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Remote Connection Manager
DevAlt 21.06.2026
Написал для себя небольшую прилагу:
https:/ / github. com/ altbodhi/ ReConMan
По итогу пришел к мысли, что DU не дружат с существующими технологиями.
От сериализации до отображения в реляционную. . .
|
Администрация Хабра удаляет новые энрегоэфективные алгоритмы, которые не западной школы кода, и вовсе никак не сгенерировавны.
Hrethgir 20.06.2026
Делается это, как замечено, при правках - при объявлении концептуальных отличий в алгоримах. Делается это, по линейке событий - после дополнения публикации основными отличиями от основных западных. . .
|
Процесс ориентированная диалектика (не новость - просто системное обновление, философия).
Hrethgir 20.06.2026
Однажды один участник в своём блоге, на этом форуме, сделал запись "О языках замолвите слово". Понимая, что язык - важная вещь, я решил хорошо подумать, прежде чем сказать, и сказал то, что вы видите. . .
|
Контроль уникальности строк в табличной части документа
Maks 18.06.2026
Алгоритм из решения ниже разработан на примере нетипового документа "ПланированиеСпецтехники" с табличной частью "НаличиеОборудования", разработанного в КА2.
Задача: контроль уникальности строк в. . .
|
|
Клиент
Uhbif79 18.06.2026
Здесь простой клиент для работы с сервером.
|
Сервер
Uhbif79 18.06.2026
Выкладываю простейший сервер.
|
Дефенестрация
kumehtar 18.06.2026
Узнал интересное слово. Дефенестрация. Это когда ты выбрасываешь кого-либо или что-либо из окна. Возьму на вооружение)))
|
Дихотомия добра и зла
kumehtar 18.06.2026
Как Дзен-буддисты говорят о добре и зле: не нужно воевать против зла, нужно воевать против невежества. Тогда добро станет ествественным, и поэтому вечным. Но дело в том, что невежество всё время. . .
|