Парсинг HTML

------------------------
ATP - ОДИНОЧНЫЙ РАЗРЯД
------------------------
Тиафо Ф. (Сша)
Бублик А. (Каз)
------------------------
ATP - ОДИНОЧНЫЙ РАЗРЯД
------------------------
Эдмунд К. (Вел)
Харрис Дж. (Южн)
------------------------
ITF - ОДИНОЧНЫЙ РАЗРЯД
------------------------

from bs4 import BeautifulSoup
import codecs
 
f = codecs.open("html_score.html", 'r', 'utf-8') # читаем код html из файла
html = f.read() # записываем его в переменную 
 
soup = BeautifulSoup(html, "lxml")
 
list_matchs = soup.find_all("div", {"title":"Подробности матча!"}) # получаем все матчи
list_ligs = soup.find_all("div", {"class":"event__header"}) # получаем все родительские лиги матчей
 
# Перебор родительских лиг
for ligs in list_ligs:
 
    name_lig = ligs.find("span", {"class":"event__title--type"}) # получаем название лиги 
 
    print(name_lig.text)
 
# Перебор матчей
for match in list_matchs:
 
    name_player = match.find_all("div", {"class":"event__participant"}) # получаем название матча
    name_player_one = name_player[0].text
    name_player_two = name_player[1].text
 
    print(name_player_one)
    print(name_player_two)

for ligs in list_ligs:
 
    name_lig = ligs.find("span", {"class":"event__title--type"}) # получаем название лиги 
 
    print(name_lig.text)
    for match in list_matchs:
          name_player = match.find_all("div", {"class":"event__participant"}) # получаем название матча
          name_player_one = name_player[0].text
          name_player_two = name_player[1].text
 
          print(name_player_one)
          print(name_player_two)

#text = open('page.html',encoding="utf-8").read()
# так как документ не полный html - корневые элементы создаст библиотека
#root = lxml.html.fragment_fromstring(text,create_parent=True) 
# или используем встроенный метод для чтения и разбора
root = lxml.html.parse(
    'page.html',
    parser = lxml.html.HTMLParser(encoding='utf-8')
    ).getroot()
divs = root.xpath('.//div[@class="sportName tennis"]/div')
header = "event__header event__header--no-my-games"
data = []
cnt = -1
for div in divs:
    if div.attrib['class'] == header:
        cnt+=1
        type_m = div.xpath("//span[@class='event__title--type']/text()")
        name_m = div.xpath("//span[@class='event__title--name']/text()")
        liga = '|'.join([type_m[0],name_m[0]])
        data.append([])
        data[cnt].append(liga) 
    else:
        matches = []
        for match in div.xpath('div'):
            match_text = match.text_content().strip() 
            if match_text != '':
               matches.append(match_text) 
        # или без цикла - сразу все текстовые ноды всех внутренних div
        # matches = div.text_content().strip() 
        data[cnt].append(matches) # matches[1:3]  - только для имен
         
    
pprint(data)
print(len(data))  # 27 лиг

# прочитать файл и распарсить. Так как напрямую передать сюда кодироку файла нельзя
# передаем ее объекте в парсера класса HTMLParser
root = lxml.html.parse(
    'page.html',
    parser = lxml.html.HTMLParser(encoding='utf-8')
    ).getroot() 
# чистый XPATH - получить все вложенные в родительский div указанного класса другие div    
divs = root.xpath('.//div[@class="sportName tennis"]/div')
header = "event__header event__header--no-my-games"
data = []
cnt = -1
for div in divs:
    # проверяем что этот div - div c нужным классом, то есть c заголовком - названием лиги
    if div.attrib['class'] == header:
        # счетчик для div c загловками лиг
        cnt+=1
        # получеаем обе части названия лиги, то есть элементы span c указанными классами
        # и сразу берем содержимое текстовой ноды, так как XPATH позволяет это сделать
        type_m = div.xpath("//span[@class='event__title--type']/text()")
        name_m = div.xpath("//span[@class='event__title--name']/text()")
        liga = '|'.join([type_m[0],name_m[0]]) # просто конкатенируем обе части
        data.append([])  # создаем для каждой лиги пустой список в основном списке 
        # доавляем  в пустой список название лиги
        data[cnt].append(liga)  
    else:
        # если это не div c заголовком, значит это div c матчами
        matches = []
        # извлекаем из div c конкретынм матчем все вложенные div и получаем их текст 
        # (включая текст всех вложенных элементов) через text_content()
        # записываем текствые данные в виде списка
        for match in div.xpath('div'):
            match_text = match.text_content().strip() 
            if match_text != '':
               matches.append(match_text) 
        # или без цикла - сразу все текстовые ноды всех внутренних div
        # matches = div.text_content().strip() 
        #  полученный список записываем после имени лиги в список лиг по индексу лиги 
        data[cnt].append(matches) # matches[1:3]  - только для имен
        # таким образом все матчи запишутся поочередно - каждый в свой субмассив лиги

cnt

data[cnt].append(liga)

data.append([])  # создаем для каждой лиги пустой список в основном списке

------------------------
ATP - ОДИНОЧНЫЙ РАЗРЯД
------------------------
Тиафо Ф. (Сша)
Бублик А. (Каз)
------------------------
ATP - ОДИНОЧНЫЙ РАЗРЯД
------------------------
Эдмунд К. (Вел)
Харрис Дж. (Южн)
------------------------
ITF - ОДИНОЧНЫЙ РАЗРЯД
------------------------

        type_m = div.xpath("//span[@class='event__title--type']/text()")
        #name_m = div.xpath("//span[@class='event__title--name']/text()")
        #liga = '|'.join([type_m[0],name_m[0]]) # просто конкатенируем обе части
        data.append([])  # создаем для каждой лиги пустой список в основном списке 
        # добавляем  в пустой список название лиги
        data[cnt].append(type_m[0])

data[cnt].append('\n'.join(matches[1:3]))

for d in data:
    print('-' * 25)
    print(d[0])
    print('-' * 25)
    print(*d[1:],sep='\n')

-------------------------
ATP - ОДИНОЧНЫЙ РАЗРЯД
-------------------------
Тиафо Ф. (Сша)
Бублик А. (Каз)
Эдмунд К. (Вел)
Харрис Дж. (Южн)
Фратанджело Б. (Сша)
Медведев Д. (Рос)
Рублёв А. (Рос)
Томич Б. (Авс)
Рублёв А. (Рос)
Гоёвчик П. (Гер)
Цонга Ж. (Фра)
Хачанов К. (Рос)
Чилич М. (Хор)
Копил M. (Рум)
Квятковски Т. (Сша)
Кирьос Н. (Авс)
Гомбош Н. (Сла)
Маннарино А. (Фра)
Андерсон K. (Южн)
Маннарино А. (Фра)
Кецманович М. (Сер)
Эрбер П. (Фра)
Гуркач Х. (Пол)
Изнер Д. (Сша)
-------------------------
ATP - ОДИНОЧНЫЙ РАЗРЯД
-------------------------
Шарди Ж. (Фра)
Лайович Д. (Сер)
Рууд К. (Нор)
Бахингер М. (Гер)
Рамос А. (Исп)
Муньяр Х. (Исп)
Новак Д. (Авт)
Куэвас П. (Уру)
Карбальес Баэна Р. (Исп)
Сонего Л. (Ита)
Вердаско Ф. (Исп)
Ковалик Й. (Сла)
Кольшрайбер Ф. (Гер)
Андухар П. (Исп)
Тим Д. (Авт)
Офнер С. (Авт)
-------------------------
ATP - ОДИНОЧНЫЙ РАЗРЯД
-------------------------
Типсаревич Я. (Сер)
Албот Р. (Мол)
Гарин К. (Чил)
Лондеро Х. И. (Арг)
Дэниел Т. (Япо)
Сандгрен Т. (Сша)
Штебе С.-М. (Гер)
Квон Сун В. (Кор)
Димитров Г. (Бог)
Джонсон С. (Сша)
Баррер Г. (Фра)
Норри К. (Вел)
Кёпфер Д. (Гер)
Фриц Т. (Сша)

for liga in data:
    for pair in liga[1:]:
        print('-' * 25)
        print(liga[0])
        print('-' * 25)
        print(pair)

type_m = div.xpath("div/div/span[@class='event__title--type']/text()")