|
0 / 0 / 0
Регистрация: 09.11.2019
Сообщений: 4
|
||||||
Парсинг сайта13.11.2019, 23:08. Показов 6428. Ответов 29
Метки нет (Все метки)
У меня есть парсер цен AliExpress, он на селениуме, проблема в том что он медленный, хотелось более быстрой работы, bs4 не видит нужные элементы (или я тупой( ), вообщем можно как-то побыстрее парсить нужное значение ?
0
|
||||||
| 13.11.2019, 23:08 | |
|
Ответы с готовыми решениями:
29
Парсинг сайта Парсинг сайта парсинг сайта |
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|||||||||||
| 13.08.2020, 05:59 | |||||||||||
|
Этот пример не скачивает картинки. Форум испортил ссылку в коде.
0
|
|||||||||||
|
|
|||
| 13.08.2020, 15:09 | |||
|
Или неверно указан xpath. Или ... еще какая-то неведомая хрень. На такие вопросы нельзя ответить без возможности запустить код. Учись дебажить свой код. Ты содержимое response.text опробовал глазами посмотреть? Нет. Добавлено через 2 минуты
1
|
|||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.08.2020, 16:55 | |
|
Может быть у меня только не работает в конфигурации операционной системы и Пайтона. Вы бы запустили этот код, а то не понятно.
0
|
|
|
|
||
| 13.08.2020, 17:09 | ||
|
Мне что, подставить туда свой url? Ну дак у меня все сработает. Потому что я все сделаю правильно.
0
|
||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.08.2020, 18:10 | |
|
Можно перейти по вашей ссылке на страницу урока и код скопировать оттуда.
0
|
|
|
|
||
| 13.08.2020, 18:36 | ||
|
Ну тогда все просто: там нет картинок. Они подгружаются динамически. http-клиенты типа requests не выполняют javascript для полного рендеринга страницы. Они возвращают только то, что отдает сайт при запросе по данному url. А картинки грузятся в фоновом режиме через AJAX запросы (совсем по другим url), которые скрипты выполняют в браузере после загрузки страницы. Хочешь протестировать этот скрипт - найди сайт, где картинки грузятся сразу же.
0
|
||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.08.2020, 19:30 | |
|
Может Scrapy в таких случаях надо использовать?
Добавлено через 30 секунд url тот же самый.
0
|
|
|
|
||
| 13.08.2020, 19:34 | ||
|
Для рендеринга динамики используют selenium (+ драйвер любого браузера). Или еще есть такая штука как splash (Splash is a javascript rendering service with an HTTP API. It's a lightweight browser with an HTTP API, implemented in Python 3 using Twisted and QT5.).
1
|
||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
||||||
| 13.08.2020, 19:46 | ||||||
|
А в каких случаях надо задействовать этот код, как в следующем примере?
0
|
||||||
|
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,755
|
|
| 13.09.2020, 08:32 | |
|
А если надо будет спарсить подгружаемое содержимое, как в комментариях на Youtube?
0
|
|
| 13.09.2020, 08:32 | |
|
Парсинг сайта Парсинг сайта Парсинг сайта Парсинг динамического сайта Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого
zorxor 21.09.2026
Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .
|
Мобильное приложение ColorStep
pavlinmavlin 17.09.2026
Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#.
Название изменил на ColorStep.
Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .
|
Запрет дублирования строк в табличной части
Maks 13.09.2026
Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами:
- ВидТО (СправочникСсылка. ВидыТО);
- ВидГСМ. . .
|
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Jin X 06.09.2026
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр.
Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала.
Ниже прикреплён. . .
|
|
Программа опроса у.з. расходомера SLS-720F
Argus19 02.09.2026
Программа опроса у. з. расходомера SLS-720F
Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU.
Опрашиваются регистры. . .
|
Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0.
Maks 31.08.2026
При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка:
Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .
|
Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм
anaschu 30.08.2026
Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо
Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .
|
Оттачиваю умение писать js программы.
russiannick 30.08.2026
Проектом выходного дня стало написание Книги шифров Виженера. Итогом стала версия 200, синий туман.
Синий туман назван так, потому что замораживает текст под собой. Нажатие синих кнопок управляют. . .
|