Парсинг сайта с javascript

@badattitude · Регистрация: 10.04.2018

Студворк — интернет-сервис помощи студентам

Я в этом деле новичок, возникла такая потребность.
С сайта https://1xstavka.ru/results/, нужно вытащить таблицы (раздел "баскетбол") в .csv файл, отдельно по каждой дате или задавать промежутком. Я так понимаю, таблица подгружается после нажатия кнопок на сайте (post/get запросы)
Помогите или подскажите, как в python сформировать такие же запросы, чтобы получить html с развернутыми таблицами для парсинга. Никак не могу разобраться. Спасибо.

Python
1
2
3
4
5
6
7
8
9
from bs4 import BeautifulSoup
import requests
 
url = 'https://1xstavka.ru/results/'
 
r = requests.get(url)
soup = BeautifulSoup(r.text, "html.parser")
 
print(soup)

@Welemir1 · 25.04.2020, 10:08

badattitude, во-первых займись поиском тут, помнб помогали тут человеку с подобным, вроде даже тот же сайт, по крайней мере помню что игры какие-то. Нужно использовать не суп, а селениум если там скриптом все подгружается. Если все-же запросом, то повторяем эти запросы и парсим данные.

@badattitude · 25.04.2020, 13:08 **[ТС]**

Silenium очень долго, там нужен большой интервал по датам.
Вот именно, в формировании запросов проблема. Как их на requests сформировать или где про это подробно прочитать. Все облазил, везде только поверхностно написано, а именно откуда и как брать параметры запроса. В инструментах разработчика, нашёл нужные get - запросы.
Чтобы сайт выдал нужные таблицы, надо по 3 кнопкам пройтись, получается 3 get запроса?

@Welemir1 · 25.04.2020, 13:10

Сообщение от badattitude

Все облазил,

не правда, первая же ссылка в гугле - это доки реквестс
2 поиском в гугле можно посмотреть как с вкладкой Нетворкс работать в инструментах разработчика Хром

Сообщение от badattitude

надо по 3 кнопкам пройтись, получается 3 get запроса?

подожди, дай хрустальный шар достану))) это зависит от сайта, возможно что и 3, посмотри что происходит при нажатии

@badattitude · 25.04.2020, 13:19 **[ТС]**

Чтобы добраться до таблицы, сначала нажимаю кнопку "Баскетбол" (отправляется get запрос), выбор нужной даты (get запрос) и кнопка "развернуть" (get запрос). Только после этого в дереве html можно добраться до таблицы с результатами.

@badattitude · 25.04.2020, 22:38 **[ТС]**

Подскажите, как сформировать запросы или каким образом можно получить html код(кроме selenium'а), чтобы распарсить страницу. Никак не могу разобраться.

@Welemir1 · 26.04.2020, 11:19

badattitude, скопировать те запросы что делаются в хроме

@Garry Galler · 26.04.2020, 17:31

Сайт прекрасно отдает json по всем видам спорта.

Добавлено через 43 секунды

Сообщение от badattitude

from bs4 import BeautifulSoup
import requests
url = 'https://1xstavka.ru/results/'
r = requests.get(url)
soup = BeautifulSoup(r.text, "html.parser")
print(soup)

Никогда так не пишите, если хотите хоть чему-то научиться.

@badattitude · 27.04.2020, 01:18 **[ТС]**

У меня в этом и складывается вся проблема, сайт в контенте html/text, а прочитать функцией r.json() ответ, никак не могу.
Для меня это все в новинку, вот и задаю по видимому глупые вопросы.
Объясните пожалуйста, в чтобы получить нужную страницу для Парсинга, мне какой запрос надо передать и как его сформировать(с заголовками и параметрами?).

@badattitude · 27.04.2020, 23:08 **[ТС]**

Сообщение от Garry Galler

Сайт прекрасно отдает json по всем видам спорта.

Python
1
2
3
4
5
6
7
url = 'https://1xstavka.ru/results/'
params = {'showAll': 'True', 'date': '2020-04-07'}
headers = {'Content-Type':  'application/json'} 
response = requests.get(url, params=params, headers=headers)
 
 
print(response.json())

выдает ошибку:
C:\Users\дом>"C:/Program Files/Python38/python.exe" c:/Users/дом/1xstavka.py
Traceback (most recent call last):
File "c:/Users/дом/1xstavka.py", line 13, in <module>
print(response.json())
File "C:\Program Files\Python38\lib\site-packages\requests\models.py", line 898, in json
return complexjson.loads(self.text, **kwargs)
File "C:\Program Files\Python38\lib\json\__init__.py", line 357, in loads
return _default_decoder.decode(s)
File "C:\Program Files\Python38\lib\json\decoder.py", line 337, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "C:\Program Files\Python38\lib\json\decoder.py", line 355, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

подскажите, в чем проблема или что делаю не так

Jabbson · 27.04.2020, 23:19

может сервер отвечает не json-ом?

@Garry Galler · 27.04.2020, 23:25

Сообщение от Jabbson

может сервер отвечает не json-ом?

Он отвечает json-ом только по соответствующему запросу.
Логично предположить, что такой сайт просто не может работать иначе, оперируя в realtime таким объемом данных.

Но по какому именно запросу - пускай ТС выясняет сам. На форуме это уже приводилось.

@badattitude · 28.04.2020, 00:42 **[ТС]**

Сообщение от Garry Galler

Он отвечает json-ом только по соответствующему запросу.

Он отвечает json' ом при get запросе с параметрами? Или надо запросу передать заголовки? на форуме не могу найти похожего

Jabbson · 28.04.2020, 00:57

Сообщение от badattitude

Он отвечает json' ом при get запросе с параметрами? Или надо запросу передать заголовки? на форуме не могу найти похожего

Не по теме:

https://www.8-ball-magic.com/answer.php?id=340976&lang=ru

@badattitude · 28.04.2020, 16:05 **[ТС]**

Garry Galler,

Сообщение от Garry Galler

Он отвечает json-ом только по соответствующему запросу.

Подскажите как запрос сформировать, не могу никак разобраться.

Python
1
2
3
4
url = 'https://1xstavka.ru/results'
params = {'showAll': 'true', 'date': '2020-04-07'}
 
r = requests.get(url, params=params)

ответ всегда в виде html/text.
И заголовки все тоже пробовал передавать, исход тот же

Добавлено через 30 минут
Garry Galler,

Сообщение от Garry Galler

Он отвечает json-ом только по соответствующему запросу.

Подскажите как запрос сформировать, не могу никак разобраться.

Python
1
2
3
4
url = 'https://1xstavka.ru/results'
params = {'showAll': 'true', 'date': '2020-04-07'}
 
r = requests.get(url, params=params)

ответ всегда в виде html/text.
И заголовки все тоже пробовал передавать, исход тот же

@Garry Galler · 28.04.2020, 16:08

Поиск по форуму в разделе Python: 1xstavka.ru

@badattitude · 28.04.2020, 16:24 **[ТС]**

Надеюсь последний вопрос.
Каким образом формировать такие запросы и передавать им параметры?
Большое спасибо за уже оказанную помощь.

@Garry Galler · 28.04.2020, 17:25

Вы что так и не нашли готовый пример?
Проблема с массивами JSON в python)

@badattitude · 28.04.2020, 17:46 **[ТС]**

Нашел, спасибо большое.
Но, все равно не могу разобраться с параметрами, как их задать, чтобы выдавал json с нужной датой

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
url = 'https://1xstavka.ru'
rs = requests.get(
    url + '/LineFeed/Get1x2_VZip',
    params={
        'sports': '1',
        'count': 10,
        'tf': 2200000,
        'tz': 7,
        'mode': 4,
        'subGames': 175162887,
        'country': 1,
        'partner': 51,
        'getEmpty': 'true'
    }
 
)

@Garry Galler · 28.04.2020, 17:53

Сообщение от badattitude

се равно не могу разобраться с параметрами

А как вы думаете кто еще это должен делать? У меня нет задания парсить ставки. Оно есть у вас.
Разобраться в этих параметрах нельзя никаким иным способом, кроме самостоятельного тестирования каждого параметра.
Потому что никакой открытой документации по ним не существует.

Новые блоги и статьи Все статьи Все блоги /
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.
Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .	Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .	Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	25.04.2020, 10:08
	badattitude, во-первых займись поиском тут, помнб помогали тут человеку с подобным, вроде даже тот же сайт, по крайней мере помню что игры какие-то. Нужно использовать не суп, а селениум если там скриптом все подгружается. Если все-же запросом, то повторяем эти запросы и парсим данные. 0

@badattitude 0 / 0 / 0 Регистрация: 10.04.2018 Сообщений: 13
	25.04.2020, 13:08 [ТС]
	Silenium очень долго, там нужен большой интервал по датам. Вот именно, в формировании запросов проблема. Как их на requests сформировать или где про это подробно прочитать. Все облазил, везде только поверхностно написано, а именно откуда и как брать параметры запроса. В инструментах разработчика, нашёл нужные get - запросы. Чтобы сайт выдал нужные таблицы, надо по 3 кнопкам пройтись, получается 3 get запроса? 0

@badattitude 0 / 0 / 0 Регистрация: 10.04.2018 Сообщений: 13
	25.04.2020, 13:19 [ТС]
	Чтобы добраться до таблицы, сначала нажимаю кнопку "Баскетбол" (отправляется get запрос), выбор нужной даты (get запрос) и кнопка "развернуть" (get запрос). Только после этого в дереве html можно добраться до таблицы с результатами. 0

@badattitude 0 / 0 / 0 Регистрация: 10.04.2018 Сообщений: 13
	25.04.2020, 22:38 [ТС]
	Подскажите, как сформировать запросы или каким образом можно получить html код(кроме selenium'а), чтобы распарсить страницу. Никак не могу разобраться. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	26.04.2020, 11:19
	badattitude, скопировать те запросы что делаются в хроме 0

@badattitude 0 / 0 / 0 Регистрация: 10.04.2018 Сообщений: 13
	27.04.2020, 01:18 [ТС]
	У меня в этом и складывается вся проблема, сайт в контенте html/text, а прочитать функцией r.json() ответ, никак не могу. Для меня это все в новинку, вот и задаю по видимому глупые вопросы. Объясните пожалуйста, в чтобы получить нужную страницу для Парсинга, мне какой запрос надо передать и как его сформировать(с заголовками и параметрами?). 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	27.04.2020, 23:19
	может сервер отвечает не json-ом? 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	28.04.2020, 16:08
	Поиск по форуму в разделе Python: 1xstavka.ru 0

@badattitude 0 / 0 / 0 Регистрация: 10.04.2018 Сообщений: 13
	28.04.2020, 16:24 [ТС]
	Надеюсь последний вопрос. Каким образом формировать такие запросы и передавать им параметры? Большое спасибо за уже оказанную помощь. 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	28.04.2020, 17:25
	Вы что так и не нашли готовый пример? Проблема с массивами JSON в python) 0