Парсинг на bs4

@David77755 · Регистрация: 10.10.2018

Author24 — интернет-сервис помощи студентам

есть вот такой код

Python

import requests
from bs4 import BeautifulSoup as bs
url = 'https://1xstavka.ru/live/'
page = requests.get(url)
soup = bs(page.text, 'lxml')
match = soup.find_all(class_="c-events__teams")
print(match)

и вот на выводе по идее он мне должен дать все объекты match с классом c-events__teams.
но почему то он выводит не все, а лишь некоторые, а именно первые 15 строк. Можете проверить

С чем это может быть связано, никто не может подсказать?

@Welemir1 · 29.11.2019, 18:47

Сообщение от David77755

С чем это может быть связано, никто не может подсказать?

могу, по-умолчанию грузятся только 15, остальное только с помощью джаваскрипта, чтобы такие сайты парсить нужен селениум и почитать еще основы веба.

@David77755 · 29.11.2019, 18:51 **[ТС]**

про селениум знаю , просто так удобнее(так как там еще с вебдрайвером все связано, а как вебдрайвер на сервере разворачивать вообще хз)
А так спасибо, думал все таки что с bs можно парсить

@Welemir1 · 29.11.2019, 18:54

Сообщение от David77755

так как там еще с вебдрайвером все связано, а как вебдрайвер на сервере разворачивать вообще хз

ты видимо не знаешь что такое селениум вебдрайвер, нет там никаких серверов, драйвер качаешь себе на комп и все.

Сообщение от David77755

А так спасибо, думал все таки что с bs можно парсить

все что не использует джаваскрипт для формирования верстки

@David77755 · 29.11.2019, 18:59 **[ТС]**

Сообщение от Welemir1

ты видимо не знаешь что такое селениум вебдрайвер, нет там никаких серверов, драйвер качаешь себе на комп и все

это я знаю, но если я например захочу свой скрипт не на компе запустить, а например на каком то сайте развернуть, то что делать? туда что ли качать драйвер? тем более там открываются всякие окна и без компа я не понимаю как это будет работать. Можешь просветить

@Welemir1 · 29.11.2019, 19:02

David77755, не надо просто на таком уровне знаний что-то на какие-то сервера запускать) Научись грамотно на родном компе сначала парсить, обычно даже на этом этапе большинство отсеивается, про сервера потом подумаешь.

@David77755 · 29.11.2019, 19:07 **[ТС]**

ладно друг. я конечно новичок, но у меня уже была готовая прога которая на компе работала как надо, хотел на pythonanywhere закинуть , но понял из за драйвера этого все будет сложно. Решил с помощью bs но и тут как видишь свои нюансы. Спасибо за ответ, думаю про вебдрайвер я в другом посте спрошу, а то уже немного не по теме получается)

@Garry Galler · 29.11.2019, 21:55

Зачем вообще что-то парсить? Сайт прекрасно отдает json по всем видам спорта.
https://1xstavka.ru/LineFeed/Get1x2_VZip?sports=1&count=10&mode=1&partner=51&getEmpty=true
Специально с параметрами не разбирался, но и ежу понятно, что sports это вид спорта, где у каждого своей номер, count это скока вернуть результатов.

@Welemir1 Автоматизируй это! 7106 / 4609 / 1215 Регистрация: 30.03.2015 Сообщений: 13,234 Записей в блоге: 29
	29.11.2019, 18:47	2
	Сообщение от David77755 С чем это может быть связано, никто не может подсказать? могу, по-умолчанию грузятся только 15, остальное только с помощью джаваскрипта, чтобы такие сайты парсить нужен селениум и почитать еще основы веба. 1

@David77755 0 / 0 / 0 Регистрация: 10.10.2018 Сообщений: 5
	29.11.2019, 18:51 [ТС]	3
	про селениум знаю , просто так удобнее(так как там еще с вебдрайвером все связано, а как вебдрайвер на сервере разворачивать вообще хз) А так спасибо, думал все таки что с bs можно парсить 0

@Welemir1 Автоматизируй это! 7106 / 4609 / 1215 Регистрация: 30.03.2015 Сообщений: 13,234 Записей в блоге: 29
	29.11.2019, 18:54	4
	Сообщение от David77755 так как там еще с вебдрайвером все связано, а как вебдрайвер на сервере разворачивать вообще хз ты видимо не знаешь что такое селениум вебдрайвер, нет там никаких серверов, драйвер качаешь себе на комп и все. Сообщение от David77755 А так спасибо, думал все таки что с bs можно парсить все что не использует джаваскрипт для формирования верстки 1

@David77755 0 / 0 / 0 Регистрация: 10.10.2018 Сообщений: 5
	29.11.2019, 18:59 [ТС]	5
	Сообщение от Welemir1 ты видимо не знаешь что такое селениум вебдрайвер, нет там никаких серверов, драйвер качаешь себе на комп и все это я знаю, но если я например захочу свой скрипт не на компе запустить, а например на каком то сайте развернуть, то что делать? туда что ли качать драйвер? тем более там открываются всякие окна и без компа я не понимаю как это будет работать. Можешь просветить 0

@Welemir1 Автоматизируй это! 7106 / 4609 / 1215 Регистрация: 30.03.2015 Сообщений: 13,234 Записей в блоге: 29
	29.11.2019, 19:02	6
	David77755, не надо просто на таком уровне знаний что-то на какие-то сервера запускать) Научись грамотно на родном компе сначала парсить, обычно даже на этом этапе большинство отсеивается, про сервера потом подумаешь. 0

@David77755 0 / 0 / 0 Регистрация: 10.10.2018 Сообщений: 5
	29.11.2019, 19:07 [ТС]	7
	ладно друг. я конечно новичок, но у меня уже была готовая прога которая на компе работала как надо, хотел на pythonanywhere закинуть , но понял из за драйвера этого все будет сложно. Решил с помощью bs но и тут как видишь свои нюансы. Спасибо за ответ, думаю про вебдрайвер я в другом посте спрошу, а то уже немного не по теме получается) 0

@Garry Galler 5418 / 3842 / 1214 Регистрация: 28.10.2013 Сообщений: 9,554 Записей в блоге: 1
	29.11.2019, 21:55	8
	Зачем вообще что-то парсить? Сайт прекрасно отдает json по всем видам спорта. https://1xstavka.ru/LineFeed/Get1x2_VZip?sports=1&count=10&mode=1&partner=51&getEmpty=true Специально с параметрами не разбирался, но и ежу понятно, что sports это вид спорта, где у каждого своей номер, count это скока вернуть результатов. 0

Опции темы