Парсинг сайта после выполнения js подгрузки?

@IronGun · Регистрация: 15.12.2019

Студворк — интернет-сервис помощи студентам

Есть сайт, который нужно запарсить ( https://catalog.onliner.by/mobile ) . Однако он подгружает данные через js. Я использую python библиотеку requests, однако она парсит страницу до запросов(requests.get(url)). Как запарсить страницу полностью или сделать, чтобы парсер оставался на странице?

Python
1
2
3
4
5
6
7
8
import requests
 
f = open ('ind.txt', 'w')
url ='https://catalog.onliner.by/mobile?mfr%5B0%5D=xiaomi'
r = requests.get(url)
f.write(r.text)
print(r.text)
f.close()

Jabbson · 22.04.2020, 22:30

Выполнением js кода занимается движок браузера, нет браузера - нет js.
Нужен js - идем в selenium.

Добавлено через 1 минуту
Ввиду формулировки вопроса, советую поработать над основами сопутствующих технологий.

@Garry Galler · 26.04.2020, 17:03

Сообщение от IronGun

Я использую python библиотеку requests, однако она парсит страницу до запросов

Она ничего не парсит. requests это http клиент. Он запрашивает у сервера некую страницу и просто возвращает ее как есть прочитав данные из ответа сервера.
Страница может из себя представлять вообще пустой шаблон с javascript кодом. Все что на ней будет отображено глазам пользователя после рендеринга страницы браузером уже никакого отношения к requests не имеет.
Попробуйте хоть что-то прочитать про сетевые протоколы перед тем как заниматься парсингом и узнать как вообще работает web.

Новые блоги и статьи Все статьи Все блоги /
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .	Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .
Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	22.04.2020, 22:30
	Выполнением js кода занимается движок браузера, нет браузера - нет js. Нужен js - идем в selenium. Добавлено через 1 минуту Ввиду формулировки вопроса, советую поработать над основами сопутствующих технологий. 1

Опции темы