Как парсить сайт с динамической подгрузкой через скрипты?

@kalambek · Регистрация: 07.04.2015

Студворк — интернет-сервис помощи студентам

Сайт: https://www.soccerstand.com/ru... ch-summary

Необходимо получить значения коэффициентов с этого сайта (1.73, 4.08, 4.92). Коэффициенты подгружаются динамически.
Я нашёл запрос по которому сайт получает эти самые коэффициенты (https://d.soccerstand.com/ru/x... _UZQNJWWl_), но при попытке перейти по ссылке вылазит ошибка: 401 Unauthorized.
Подскажите, как всё таки можно получить значения коэффициентов?

Python
1
2
3
4
5
6
import requests
from bs4 import BeautifulSoup
 
response = requests.get('https://d.soccerstand.com/ru/x/feed/df_dos_1_UZQNJWWl_')
data = response.json()
print(data)

@Welemir1 · 30.11.2021, 16:46

Сообщение от kalambek

Подскажите, как всё таки можно получить значения коэффициентов?

посмотреть какие данные туда передаются и подсунуть их.

@kalambek · 30.11.2021, 16:50 **[ТС]**

Welemir1, а как это реализовать посредством requests и bs4?

@Welemir1 · 30.11.2021, 16:53

kalambek, судя по вопросу ты не стал смотреть что туда уходит) Использовать просто -смотрим что нужно отправлять и отправляем реквестом.

Если не помогает то берем селениум.

@kalambek · 30.11.2021, 16:58 **[ТС]**

Welemir1, я вообще не понял суть ответа. На какие данные нужно смотреть и куда подсовывать?

@Welemir1 · 30.11.2021, 17:06

kalambek, а как ты нашел что он шлет запрос на

Сообщение от kalambek

https://d.soccerstand.com/ru/x/feed/df_dos_1_UZQNJWWl_

???

вот там же и смотреть с какими полями и с каким телом этот запрос идет и попробовать его повторить. Подсовывать в соответствующие хедеры и тело запроса реквестс.

Иначе - селениум, динамику через реквестс не попарсить.

Так понятна суь ответа?

@kalambek · 30.11.2021, 17:18 **[ТС]**

Welemir1, не понятна. Я этот запрос с трудом нашёл через поиск по словам в network браузера. Какие поля там за что отвечают и куда их "подсовывать" мне абсолютно неизвестно.

@Welemir1 · 30.11.2021, 17:45

kalambek, погоди, то есть ты собрался чего то там парсить не понимая как все это работая и не читая документации тех же requests?

Python
1
2
3
4
5
6
7
8
>>> import requests
>>> url = 'https://d.soccerstand.com/ru/x/feed/df_dos_1_UZQNJWWl_'
>>> user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.1 Safari/605.1.15'
>>> x_fsign='SW9D1eZo'
>>> headers = {'User-Agent':user_agent, 'x-fsign':x_fsign}
>>> t=requests.get(url, headers=headers)
>>> t.text
'MX÷453¬MI÷{"453":["1.73","4.08","4.92"]}¬MJ÷{"453":["1.81","4.02","4.46"]}¬.......

@kalambek · 01.12.2021, 00:17 **[ТС]**

Welemir1, Спасибо! Когда ты новичок не так уж и просто найти даже в документации то, что тебе нужно.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .	SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .

@kalambek 0 / 0 / 0 Регистрация: 07.04.2015 Сообщений: 102
	30.11.2021, 16:50 [ТС]
	Welemir1, а как это реализовать посредством requests и bs4? 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,678 Записей в блоге: 29
	30.11.2021, 16:53
	kalambek, судя по вопросу ты не стал смотреть что туда уходит) Использовать просто -смотрим что нужно отправлять и отправляем реквестом. Если не помогает то берем селениум. 0

@kalambek 0 / 0 / 0 Регистрация: 07.04.2015 Сообщений: 102
	30.11.2021, 16:58 [ТС]
	Welemir1, я вообще не понял суть ответа. На какие данные нужно смотреть и куда подсовывать? 0

@kalambek 0 / 0 / 0 Регистрация: 07.04.2015 Сообщений: 102
	30.11.2021, 17:18 [ТС]
	Welemir1, не понятна. Я этот запрос с трудом нашёл через поиск по словам в network браузера. Какие поля там за что отвечают и куда их "подсовывать" мне абсолютно неизвестно. 0

@kalambek 0 / 0 / 0 Регистрация: 07.04.2015 Сообщений: 102
	01.12.2021, 00:17 [ТС]
	Welemir1, Спасибо! Когда ты новичок не так уж и просто найти даже в документации то, что тебе нужно. 0