Как распарсить динамическую таблицу?

@m0nte-cr1st0 · Регистрация: 15.01.2019

Студворк — интернет-сервис помощи студентам

Здравствуйте. Пытаюсь разобраться в парсинге страниц. Остановился пока на простой BeautifulSoup4 (Python3). Позже думаю на Scrapy перейти.
В общем, хочу написать парсера для поиска букмекерских вилок. В общем, наткнулся на следующую проблему.

Нужно получить информацию из таблицы на странице https://<i>https://www.oddspor... i6gO5P</i>

Я получаю HTML, но это исходный код страницы (Ctrl+U), данной таблицы там вовсе нет (когда я смотрю через Firebug (Ctrl+Shift+C), то эта таблица есть).

Я знаю, что как-то её можно распарсить, именно с этого сайта и пишутся роботы в основном.
Подскажите, в какую сторону смотреть хоть, чтобы получить эту таблицу. Может, BS для данной задачи не подходит?.. И да, данные в таблице изменяются, но я думаю это уже потом решится..

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
    
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}
url = 'https://www.oddsportal.com/soccer/england/premier-league/tottenham-newcastle-utd-dWi6gO5P'
    
def main(url):
    html = get_html(url)
    get_page_data(html)
    
def get_html(url):
    r = requests.get(url, headers=headers)
    return r.text
    
data = {}
 
def get_page_data(html):
    soup = BeautifulSoup(html, 'lxml')
    # rows = soup.find_all('tr', class_ = 'lo')
 
    # for row in rows:
    #     col = row.find_all('td', class_ = None).find('div', class_='l').find('a', class_='name').text.strip()
    #     data[col] = col
    write_csv(soup)

@Garry Galler · 02.02.2019, 19:55

Сообщение от m0nte-cr1st0

AttributeError: 'list' object has no attribute

Поисковые функции в имени которых написано elements (множественное число слова элемент) возвращают список элементов, а не скаляр (один элемент).

Добавлено через 3 минуты
xpath также возвращает список.

@m0nte-cr1st0 · 03.02.2019, 03:56 **[ТС]**

так мне и нужно получить список строк, чтоб потом можно было проходиться по нему циклом for и вытаскивать ячейки с каждой строки.
или я что-то не так понимаю?

Добавлено через 1 минуту

Сообщение от Garry Galler

xpath также возвращает список.

то есть нужно сначала получить tbody с помощью html.find_element... и потом с помощью elements получить список trows?

Добавлено через 13 минут

Сообщение от m0nte-cr1st0

то есть нужно сначала получить tbody с помощью html.find_element.

тоже не оно(

Добавлено через 7 часов 44 минуты
Как получить данные, разобрался.
Тут ещё такой вопрос появился... Можно как-то узнать, откуда эти данные поступают, с каких страниц/сайтов?
Создавать новую тему не охота как-то... Если нужно, создам ~~вы только скажите~~

@IRIP · 03.02.2019, 10:31

Сообщение от m0nte-cr1st0

Можно как-то узнать, откуда эти данные поступают, с каких страниц/сайтов?

Есть одна поучительная история - почему булочки для хотдогов продаются в упаковках по 8 штук, а сосиски - по 10?

Ответ простой: не важно, в каком количестве продаются булочки и сосиски, главное, что у тебя всегда есть в руках хотдог =)

@m0nte-cr1st0 · 03.02.2019, 14:37 **[ТС]**

Сообщение от IRIP

Есть одна поучительная история - почему булочки для хотдогов продаются в упаковках по 8 штук, а сосиски - по 10?
Ответ простой: не важно, в каком количестве продаются булочки и сосиски, главное, что у тебя всегда есть в руках хотдог =)

жаль. мне бы это помогло

Новые блоги и статьи Все статьи Все блоги /
Запустил конкурс "тем и промптов для текстовых квестов созданных почти чисто ИИ" Adler 06.10.2026 Всем привет! За последние три-четыре дня я создал более 16 текстовых квестовых игр используя преимущественно по одному запросу к ИИ на игру. Мне так понравилось смотреть все ветки/ сцены во всех. . .	ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .	Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .