Парсинг сайта с javascript

@badattitude · Регистрация: 10.04.2018

Студворк — интернет-сервис помощи студентам

Я в этом деле новичок, возникла такая потребность.
С сайта https://1xstavka.ru/results/, нужно вытащить таблицы (раздел "баскетбол") в .csv файл, отдельно по каждой дате или задавать промежутком. Я так понимаю, таблица подгружается после нажатия кнопок на сайте (post/get запросы)
Помогите или подскажите, как в python сформировать такие же запросы, чтобы получить html с развернутыми таблицами для парсинга. Никак не могу разобраться. Спасибо.

Python
1
2
3
4
5
6
7
8
9
from bs4 import BeautifulSoup
import requests
 
url = 'https://1xstavka.ru/results/'
 
r = requests.get(url)
soup = BeautifulSoup(r.text, "html.parser")
 
print(soup)

@Welemir1 · 25.04.2020, 10:08

badattitude, во-первых займись поиском тут, помнб помогали тут человеку с подобным, вроде даже тот же сайт, по крайней мере помню что игры какие-то. Нужно использовать не суп, а селениум если там скриптом все подгружается. Если все-же запросом, то повторяем эти запросы и парсим данные.

@badattitude · 25.04.2020, 13:08 **[ТС]**

Silenium очень долго, там нужен большой интервал по датам.
Вот именно, в формировании запросов проблема. Как их на requests сформировать или где про это подробно прочитать. Все облазил, везде только поверхностно написано, а именно откуда и как брать параметры запроса. В инструментах разработчика, нашёл нужные get - запросы.
Чтобы сайт выдал нужные таблицы, надо по 3 кнопкам пройтись, получается 3 get запроса?

@Welemir1 · 25.04.2020, 13:10

Сообщение от badattitude

Все облазил,

не правда, первая же ссылка в гугле - это доки реквестс
2 поиском в гугле можно посмотреть как с вкладкой Нетворкс работать в инструментах разработчика Хром

Сообщение от badattitude

надо по 3 кнопкам пройтись, получается 3 get запроса?

подожди, дай хрустальный шар достану))) это зависит от сайта, возможно что и 3, посмотри что происходит при нажатии

@badattitude · 25.04.2020, 13:19 **[ТС]**

Чтобы добраться до таблицы, сначала нажимаю кнопку "Баскетбол" (отправляется get запрос), выбор нужной даты (get запрос) и кнопка "развернуть" (get запрос). Только после этого в дереве html можно добраться до таблицы с результатами.

@badattitude · 25.04.2020, 22:38 **[ТС]**

Подскажите, как сформировать запросы или каким образом можно получить html код(кроме selenium'а), чтобы распарсить страницу. Никак не могу разобраться.

@Welemir1 · 26.04.2020, 11:19

badattitude, скопировать те запросы что делаются в хроме

@Garry Galler · 26.04.2020, 17:31

Сайт прекрасно отдает json по всем видам спорта.

Добавлено через 43 секунды

Сообщение от badattitude

from bs4 import BeautifulSoup
import requests
url = 'https://1xstavka.ru/results/'
r = requests.get(url)
soup = BeautifulSoup(r.text, "html.parser")
print(soup)

Никогда так не пишите, если хотите хоть чему-то научиться.

@badattitude · 27.04.2020, 01:18 **[ТС]**

У меня в этом и складывается вся проблема, сайт в контенте html/text, а прочитать функцией r.json() ответ, никак не могу.
Для меня это все в новинку, вот и задаю по видимому глупые вопросы.
Объясните пожалуйста, в чтобы получить нужную страницу для Парсинга, мне какой запрос надо передать и как его сформировать(с заголовками и параметрами?).

@badattitude · 27.04.2020, 23:08 **[ТС]**

Сообщение от Garry Galler

Сайт прекрасно отдает json по всем видам спорта.

Python
1
2
3
4
5
6
7
url = 'https://1xstavka.ru/results/'
params = {'showAll': 'True', 'date': '2020-04-07'}
headers = {'Content-Type':  'application/json'} 
response = requests.get(url, params=params, headers=headers)
 
 
print(response.json())

выдает ошибку:
C:\Users\дом>"C:/Program Files/Python38/python.exe" c:/Users/дом/1xstavka.py
Traceback (most recent call last):
File "c:/Users/дом/1xstavka.py", line 13, in <module>
print(response.json())
File "C:\Program Files\Python38\lib\site-packages\requests\models.py", line 898, in json
return complexjson.loads(self.text, **kwargs)
File "C:\Program Files\Python38\lib\json\__init__.py", line 357, in loads
return _default_decoder.decode(s)
File "C:\Program Files\Python38\lib\json\decoder.py", line 337, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "C:\Program Files\Python38\lib\json\decoder.py", line 355, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

подскажите, в чем проблема или что делаю не так

Jabbson · 27.04.2020, 23:19

может сервер отвечает не json-ом?

@Garry Galler · 27.04.2020, 23:25

Сообщение от Jabbson

может сервер отвечает не json-ом?

Он отвечает json-ом только по соответствующему запросу.
Логично предположить, что такой сайт просто не может работать иначе, оперируя в realtime таким объемом данных.

Но по какому именно запросу - пускай ТС выясняет сам. На форуме это уже приводилось.

@badattitude · 28.04.2020, 00:42 **[ТС]**

Сообщение от Garry Galler

Он отвечает json-ом только по соответствующему запросу.

Он отвечает json' ом при get запросе с параметрами? Или надо запросу передать заголовки? на форуме не могу найти похожего

Jabbson · 28.04.2020, 00:57

Сообщение от badattitude

Он отвечает json' ом при get запросе с параметрами? Или надо запросу передать заголовки? на форуме не могу найти похожего

Не по теме:

https://www.8-ball-magic.com/answer.php?id=340976&lang=ru

@badattitude · 28.04.2020, 16:05 **[ТС]**

Garry Galler,

Сообщение от Garry Galler

Он отвечает json-ом только по соответствующему запросу.

Подскажите как запрос сформировать, не могу никак разобраться.

Python
1
2
3
4
url = 'https://1xstavka.ru/results'
params = {'showAll': 'true', 'date': '2020-04-07'}
 
r = requests.get(url, params=params)

ответ всегда в виде html/text.
И заголовки все тоже пробовал передавать, исход тот же

Добавлено через 30 минут
Garry Galler,

Сообщение от Garry Galler

Он отвечает json-ом только по соответствующему запросу.

Подскажите как запрос сформировать, не могу никак разобраться.

Python
1
2
3
4
url = 'https://1xstavka.ru/results'
params = {'showAll': 'true', 'date': '2020-04-07'}
 
r = requests.get(url, params=params)

ответ всегда в виде html/text.
И заголовки все тоже пробовал передавать, исход тот же

@Garry Galler · 28.04.2020, 16:08

Поиск по форуму в разделе Python: 1xstavka.ru

@badattitude · 28.04.2020, 16:24 **[ТС]**

Надеюсь последний вопрос.
Каким образом формировать такие запросы и передавать им параметры?
Большое спасибо за уже оказанную помощь.

@Garry Galler · 28.04.2020, 17:25

Вы что так и не нашли готовый пример?
Проблема с массивами JSON в python)

@badattitude · 28.04.2020, 17:46 **[ТС]**

Нашел, спасибо большое.
Но, все равно не могу разобраться с параметрами, как их задать, чтобы выдавал json с нужной датой

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
url = 'https://1xstavka.ru'
rs = requests.get(
    url + '/LineFeed/Get1x2_VZip',
    params={
        'sports': '1',
        'count': 10,
        'tf': 2200000,
        'tz': 7,
        'mode': 4,
        'subGames': 175162887,
        'country': 1,
        'partner': 51,
        'getEmpty': 'true'
    }
 
)

@Garry Galler · 28.04.2020, 17:53

Сообщение от badattitude

се равно не могу разобраться с параметрами

А как вы думаете кто еще это должен делать? У меня нет задания парсить ставки. Оно есть у вас.
Разобраться в этих параметрах нельзя никаким иным способом, кроме самостоятельного тестирования каждого параметра.
Потому что никакой открытой документации по ним не существует.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .	делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	25.04.2020, 10:08
	badattitude, во-первых займись поиском тут, помнб помогали тут человеку с подобным, вроде даже тот же сайт, по крайней мере помню что игры какие-то. Нужно использовать не суп, а селениум если там скриптом все подгружается. Если все-же запросом, то повторяем эти запросы и парсим данные. 0

@badattitude 0 / 0 / 0 Регистрация: 10.04.2018 Сообщений: 13
	25.04.2020, 13:08 [ТС]
	Silenium очень долго, там нужен большой интервал по датам. Вот именно, в формировании запросов проблема. Как их на requests сформировать или где про это подробно прочитать. Все облазил, везде только поверхностно написано, а именно откуда и как брать параметры запроса. В инструментах разработчика, нашёл нужные get - запросы. Чтобы сайт выдал нужные таблицы, надо по 3 кнопкам пройтись, получается 3 get запроса? 0

@badattitude 0 / 0 / 0 Регистрация: 10.04.2018 Сообщений: 13
	25.04.2020, 13:19 [ТС]
	Чтобы добраться до таблицы, сначала нажимаю кнопку "Баскетбол" (отправляется get запрос), выбор нужной даты (get запрос) и кнопка "развернуть" (get запрос). Только после этого в дереве html можно добраться до таблицы с результатами. 0

@badattitude 0 / 0 / 0 Регистрация: 10.04.2018 Сообщений: 13
	25.04.2020, 22:38 [ТС]
	Подскажите, как сформировать запросы или каким образом можно получить html код(кроме selenium'а), чтобы распарсить страницу. Никак не могу разобраться. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	26.04.2020, 11:19
	badattitude, скопировать те запросы что делаются в хроме 0

@badattitude 0 / 0 / 0 Регистрация: 10.04.2018 Сообщений: 13
	27.04.2020, 01:18 [ТС]
	У меня в этом и складывается вся проблема, сайт в контенте html/text, а прочитать функцией r.json() ответ, никак не могу. Для меня это все в новинку, вот и задаю по видимому глупые вопросы. Объясните пожалуйста, в чтобы получить нужную страницу для Парсинга, мне какой запрос надо передать и как его сформировать(с заголовками и параметрами?). 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	27.04.2020, 23:19
	может сервер отвечает не json-ом? 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	28.04.2020, 16:08
	Поиск по форуму в разделе Python: 1xstavka.ru 0

@badattitude 0 / 0 / 0 Регистрация: 10.04.2018 Сообщений: 13
	28.04.2020, 16:24 [ТС]
	Надеюсь последний вопрос. Каким образом формировать такие запросы и передавать им параметры? Большое спасибо за уже оказанную помощь. 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	28.04.2020, 17:25
	Вы что так и не нашли готовый пример? Проблема с массивами JSON в python) 0