Парсинг сайта после выполнения js подгрузки?

@IronGun · Регистрация: 15.12.2019

Студворк — интернет-сервис помощи студентам

Есть сайт, который нужно запарсить ( https://catalog.onliner.by/mobile ) . Однако он подгружает данные через js. Я использую python библиотеку requests, однако она парсит страницу до запросов(requests.get(url)). Как запарсить страницу полностью или сделать, чтобы парсер оставался на странице?

Python
1
2
3
4
5
6
7
8
import requests
 
f = open ('ind.txt', 'w')
url ='https://catalog.onliner.by/mobile?mfr%5B0%5D=xiaomi'
r = requests.get(url)
f.write(r.text)
print(r.text)
f.close()

Jabbson · 22.04.2020, 22:30

Выполнением js кода занимается движок браузера, нет браузера - нет js.
Нужен js - идем в selenium.

Добавлено через 1 минуту
Ввиду формулировки вопроса, советую поработать над основами сопутствующих технологий.

@Garry Galler · 26.04.2020, 17:03

Сообщение от IronGun

Я использую python библиотеку requests, однако она парсит страницу до запросов

Она ничего не парсит. requests это http клиент. Он запрашивает у сервера некую страницу и просто возвращает ее как есть прочитав данные из ответа сервера.
Страница может из себя представлять вообще пустой шаблон с javascript кодом. Все что на ней будет отображено глазам пользователя после рендеринга страницы браузером уже никакого отношения к requests не имеет.
Попробуйте хоть что-то прочитать про сетевые протоколы перед тем как заниматься парсингом и узнать как вообще работает web.

Новые блоги и статьи Все статьи Все блоги /
Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	22.04.2020, 22:30
	Выполнением js кода занимается движок браузера, нет браузера - нет js. Нужен js - идем в selenium. Добавлено через 1 минуту Ввиду формулировки вопроса, советую поработать над основами сопутствующих технологий. 1