Как извлекать текст с вебстраницы (BeautifulSoup)?

@supmener · Регистрация: 26.06.2013

Студворк — интернет-сервис помощи студентам

Анализирую файл html, который имеет однотипные блоки кода. Извлекаю текст из них кодом:

Python
1
title = link_tag.img['alt'] if link_tag.img and 'alt' in link_tag.img.attrs else "Без названия"

А как извлекать не из alt, а из текста, который отображается на вебстранице? То есть отсюда:

HTML5
1
>ГРУЗИМСЯ НА ВОРОНЕЖ, СЛЕПАЯ ЗОНА НА ГРУЗОВИКЕ, МКАД НАКИПЕЛО</a>

Файл имеет блоки кода такого вида:

HTML5
1
<div data-testid="grid-item" class="vkitGridItem__root--6OepO"><div class="vkitVideoCardLayout__card--i7sFT" role="button" tabindex="0"><div class="vkitVideoCardLayout__videoContainer--0nunZ vkitOverlay__rootAfter--2nYMH vkuiAspectRatio vkuiAspectRatio--mode-stretch vkuiRootComponent" style="--vkui_internal--aspect_ratio: 1.7777777777777777;"><div><a class="vkitVideoCardThumb__thumb--OBLna vkuiTappable vkuiTappable--hasPointer-none vkuiClickable__resetLinkStyle vkuiClickable__host vkuiClickable__realClickable vkui-focus-visible vkuiRootComponent" href="/video-227419342_456239589" data-testid="video_card_thumb"><div class="vkitVideoCardPreview__preview--fV4kv" role="button" tabindex="0"><div class="vkitVideoCardPreviewImage__container--a3XbD vkitVideoCardPreviewImage__fullSize--tKnNd vkitVideoCardPreviewImage__containerVisible--0l7hr"><img class="vkitVideoCardPreviewImage__img--arJyY vkitVideoCardPreviewImage__fullSize--tKnNd" src="https://sun9-80.userapi.com/9RZ-XZEVgw_dMajQAhtK7fraxNX4sh0SVOhaIw/n5NdwVIEzms.jpg" alt="ГРУЗИМСЯ НА ВОРОНЕЖ, СЛЕПАЯ ЗОНА НА ГРУЗОВИКЕ, МКАД НАКИПЕЛО" loading="lazy"><div class="vkitVideoCardOverlayIcon__overlayIcon--Edafr"><svg aria-hidden="true" display="block" class="vkuiIcon vkuiIcon--36 vkuiIcon--w-36 vkuiIcon--h-36 vkuiIcon--play_36" width="36" height="36" viewBox="0 0 36 36" style="width: 36px; height: 36px;"><use xlink:href="#play_36" style="fill: currentcolor;"></use></svg></div></div><video loop="" crossorigin="anonymous" aria-label="ГРУЗИМСЯ НА ВОРОНЕЖ, СЛЕПАЯ ЗОНА НА ГРУЗОВИКЕ, МКАД НАКИПЕЛО" class="vkitVideoCardTrailerPlayer__trailer--ckOd3" src="https://vkvd446.okcdn.ru/?expires=1735685081527&amp;srcIp=185.2.104.125&amp;srcAg=CHROME_YA&amp;ms=185.226.52.161&amp;type=1&amp;subId=7298639071975&amp;sig=DjtyT3l3cNQ&amp;ct=19&amp;urls=45.136.21.181&amp;clientType=13&amp;appId=512000384397&amp;zs=14&amp;id=7458883832551"></video><div class="vkitVideoCardPreview__footer--D2CvT"></div><span class="vkui--vkBase--light vkuiTokensClassProvider--default-color vkitVideoCardBadge__badge--FW4fM vkitVideoCardBadge__durationBadge--D7q8C vkuiFootnote vkuiTypography vkuiTypography--normalize vkuiTypography--weight-2 vkuiRootComponent" data-testid="video_card_duration">31:51</span></div><span aria-hidden="true" class="vkuiTappable__stateLayer vkuiTappable__ripple"></span></a><div class="vkitVideoCardControls__controls--lVxzZ"><svg aria-hidden="true" display="block" class="vkuiIcon vkuiIcon--16 vkuiIcon--w-16 vkuiIcon--h-16 vkuiIcon--clock_outline_16 vkitVideoCardIconControl__controlIcon--qWrWU" width="16" height="16" viewBox="0 0 16 16" type="0" data-testid="video_card_watch_later_button" style="width: 16px; height: 16px;"><use xlink:href="#clock_outline_16" style="fill: currentcolor;"></use></svg><div class="vkitVideoCardExpandingControl__tappable--Sp36W vkuiTappable vkuiTappable--hasPointer-none vkuiClickable__host vkuiRootComponent" aria-expanded="false"><div class="vkitVideoCardExpandingControl__container--QlWRD"><svg aria-hidden="true" display="block" class="vkuiIcon vkuiIcon--16 vkuiIcon--w-16 vkuiIcon--h-16 vkuiIcon--add_16" width="16" height="16" viewBox="0 0 16 16" style="width: 16px; height: 16px;"><use xlink:href="#add_16" style="fill: currentcolor;"></use></svg></div></div></div></div></div><div class="vkitVideoCardInfoLayout__container--pkEj6"><a class="vkitVideoCardInfoLayout__avatar--ijqSA" href="/@club227419342" data-testid="video_card_author"><div class="vkuiAvatar vkuiInternalRichAvatar vkuiImageBase vkuiImageBase--loaded vkuiClickable__host vkuiRootComponent" style="width: 36px; height: 36px;"><img class="vkuiImageBase__img vkuiImageBase__img--objectFit-cover" src="https://sun3-20.userapi.com/s/v1/ig2/1pDMfViYvWVdp2tJFln-y1z4qG97uUaMKVOMXf_ZASlK_hmBWNTiYhmToxGZPlypJLmHkjKu1dGW-l3B1PHvA93a.jpg?quality=95&amp;crop=229,39,1093,1093&amp;as=32x32,48x48,72x72,108x108,160x160,240x240,360x360,480x480,540x540,640x640,720x720,1080x1080&amp;ava=1&amp;u=K6ZIOFxIIvhbCKMmJOMV3UVwrxKwxEm1wBUO6ls2Ddw&amp;cs=50x50"><div class="vkuiImageBase__children"></div><div aria-hidden="true" class="vkuiImageBase__border"></div></div></a><div class="vkitVideoCardInfoLayout__content--BTSZK"><div data-testid="video_card_title" class="vkitVideoCardInfoLayout__info--ptxDJ vkitVideoCardInfoLayout__infoWithAction--SKdKO"><a class="vkitTextClamp__root--23kcq vkitVideoCardInfoLayout__title--fcKfk vkitVideoCardInfoLayout__titleLink--B644E vkuiSubhead vkuiSubhead--sizeY-compact vkuiTypography vkuiTypography--normalize vkuiTypography--weight-2 vkuiRootComponent" href="/video-227419342_456239589" title="ГРУЗИМСЯ НА ВОРОНЕЖ, СЛЕПАЯ ЗОНА НА ГРУЗОВИКЕ, МКАД НАКИПЕЛО" style="--vkui_internal--textclamp-lines: 2;">ГРУЗИМСЯ НА ВОРОНЕЖ, СЛЕПАЯ ЗОНА НА ГРУЗОВИКЕ, МКАД НАКИПЕЛО</a><div class="vkitVideoCardInfoLayout__action--AfE5m"><svg aria-hidden="true" display="block" class="vkuiIcon vkuiIcon--24 vkuiIcon--w-24 vkuiIcon--h-24 vkuiIcon--more_horizontal_24 vkitVideoCardMenu__icon--C5gWM" width="24" height="24" viewBox="0 0 24 24" data-testid="video_card_more" aria-expanded="false" style="width: 24px; height: 24px;"><use xlink:href="#more_horizontal_24" style="fill: currentcolor;"></use></svg></div></div><span class="vkitTextClamp__root--23kcq vkitTextClamp__rootSingleLine--Ib0gz vkitVideoCardOwners__owner--Q4jJc vkuiFootnote vkuiTypography vkuiTypography--normalize vkuiRootComponent" data-testid="video_card_owner" style="--vkui_internal--textclamp-lines: 1;"><a class="vkitVideoCardOwnerItem__link--506KO vkuiTappable vkuiTappable--hasPointer-none vkuiClickable__resetLinkStyle vkuiClickable__host vkuiClickable__realClickable vkui-focus-visible vkuiRootComponent" href="/@club227419342">Max48TV</a></span><div class="vkitTextClamp__root--23kcq vkitTextClamp__rootSingleLine--Ib0gz vkitVideoCardInfoLayout__additionalInfo--kCmhz vkuiFootnote vkuiTypography vkuiTypography--normalize vkuiRootComponent" data-testid="video_card_additional_info" style="--vkui_internal--textclamp-lines: 1;">724 просмотра · 3 месяца назад</div></div></div></div></div>

Добавлено через 1 минуту
Отформатировал образец блока кода HTML:

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
<div data-testid="grid-item" class="vkitGridItem__root--6OepO">
    <div class="vkitVideoCardLayout__card--i7sFT" role="button" tabindex="0">
        <div class="vkitVideoCardLayout__videoContainer--0nunZ vkitOverlay__rootAfter--2nYMH vkuiAspectRatio vkuiAspectRatio--mode-stretch vkuiRootComponent" style="--vkui_internal--aspect_ratio: 1.7777777777777777;">
            <div>
                <a class="vkitVideoCardThumb__thumb--OBLna vkuiTappable vkuiTappable--hasPointer-none vkuiClickable__resetLinkStyle vkuiClickable__host vkuiClickable__realClickable vkui-focus-visible vkuiRootComponent" href="/video-227419342_456239589" data-testid="video_card_thumb">
                    <div class="vkitVideoCardPreview__preview--fV4kv" role="button" tabindex="0">
                        <div class="vkitVideoCardPreviewImage__container--a3XbD vkitVideoCardPreviewImage__fullSize--tKnNd vkitVideoCardPreviewImage__containerVisible--0l7hr">
                            <img class="vkitVideoCardPreviewImage__img--arJyY vkitVideoCardPreviewImage__fullSize--tKnNd" src="https://sun9-80.userapi.com/9RZ-XZEVgw_dMajQAhtK7fraxNX4sh0SVOhaIw/n5NdwVIEzms.jpg" alt="ГРУЗИМСЯ НА ВОРОНЕЖ, СЛЕПАЯ ЗОНА НА ГРУЗОВИКЕ, МКАД НАКИПЕЛО" loading="lazy">
                                <div class="vkitVideoCardOverlayIcon__overlayIcon--Edafr">
                                    <svg aria-hidden="true" display="block" class="vkuiIcon vkuiIcon--36 vkuiIcon--w-36 vkuiIcon--h-36 vkuiIcon--play_36" width="36" height="36" viewBox="0 0 36 36" style="width: 36px; height: 36px;">
                                        <use xlink:href="#play_36" style="fill: currentcolor;"/>
                                    </svg>
                                </div>
                            </div>
                            <video loop="" crossorigin="anonymous" aria-label="ГРУЗИМСЯ НА ВОРОНЕЖ, СЛЕПАЯ ЗОНА НА ГРУЗОВИКЕ, МКАД НАКИПЕЛО" class="vkitVideoCardTrailerPlayer__trailer--ckOd3" src="https://vkvd446.okcdn.ru/?expires=1735685081527&amp;srcIp=185.2.104.125&amp;srcAg=CHROME_YA&amp;ms=185.226.52.161&amp;type=1&amp;subId=7298639071975&amp;sig=DjtyT3l3cNQ&amp;ct=19&amp;urls=45.136.21.181&amp;clientType=13&amp;appId=512000384397&amp;zs=14&amp;id=7458883832551"/>
                            <div class="vkitVideoCardPreview__footer--D2CvT"/>
                            <span class="vkui--vkBase--light vkuiTokensClassProvider--default-color vkitVideoCardBadge__badge--FW4fM vkitVideoCardBadge__durationBadge--D7q8C vkuiFootnote vkuiTypography vkuiTypography--normalize vkuiTypography--weight-2 vkuiRootComponent" data-testid="video_card_duration">31:51</span>
                        </div>
                        <span aria-hidden="true" class="vkuiTappable__stateLayer vkuiTappable__ripple"/>
                    </a>
                    <div class="vkitVideoCardControls__controls--lVxzZ">
                        <svg aria-hidden="true" display="block" class="vkuiIcon vkuiIcon--16 vkuiIcon--w-16 vkuiIcon--h-16 vkuiIcon--clock_outline_16 vkitVideoCardIconControl__controlIcon--qWrWU" width="16" height="16" viewBox="0 0 16 16" type="0" data-testid="video_card_watch_later_button" style="width: 16px; height: 16px;">
                            <use xlink:href="#clock_outline_16" style="fill: currentcolor;"/>
                        </svg>
                        <div class="vkitVideoCardExpandingControl__tappable--Sp36W vkuiTappable vkuiTappable--hasPointer-none vkuiClickable__host vkuiRootComponent" aria-expanded="false">
                            <div class="vkitVideoCardExpandingControl__container--QlWRD">
                                <svg aria-hidden="true" display="block" class="vkuiIcon vkuiIcon--16 vkuiIcon--w-16 vkuiIcon--h-16 vkuiIcon--add_16" width="16" height="16" viewBox="0 0 16 16" style="width: 16px; height: 16px;">
                                    <use xlink:href="#add_16" style="fill: currentcolor;"/>
                                </svg>
                            </div>
                        </div>
                    </div>
                </div>
            </div>
            <div class="vkitVideoCardInfoLayout__container--pkEj6">
                <a class="vkitVideoCardInfoLayout__avatar--ijqSA" href="/@club227419342" data-testid="video_card_author">
                    <div class="vkuiAvatar vkuiInternalRichAvatar vkuiImageBase vkuiImageBase--loaded vkuiClickable__host vkuiRootComponent" style="width: 36px; height: 36px;">
                        <img class="vkuiImageBase__img vkuiImageBase__img--objectFit-cover" src="https://sun3-20.userapi.com/s/v1/ig2/1pDMfViYvWVdp2tJFln-y1z4qG97uUaMKVOMXf_ZASlK_hmBWNTiYhmToxGZPlypJLmHkjKu1dGW-l3B1PHvA93a.jpg?quality=95&amp;crop=229,39,1093,1093&amp;as=32x32,48x48,72x72,108x108,160x160,240x240,360x360,480x480,540x540,640x640,720x720,1080x1080&amp;ava=1&amp;u=K6ZIOFxIIvhbCKMmJOMV3UVwrxKwxEm1wBUO6ls2Ddw&amp;cs=50x50">
                            <div class="vkuiImageBase__children"/>
                            <div aria-hidden="true" class="vkuiImageBase__border"/>
                        </div>
                    </a>
                    <div class="vkitVideoCardInfoLayout__content--BTSZK">
                        <div data-testid="video_card_title" class="vkitVideoCardInfoLayout__info--ptxDJ vkitVideoCardInfoLayout__infoWithAction--SKdKO">
                            <a class="vkitTextClamp__root--23kcq vkitVideoCardInfoLayout__title--fcKfk vkitVideoCardInfoLayout__titleLink--B644E vkuiSubhead vkuiSubhead--sizeY-compact vkuiTypography vkuiTypography--normalize vkuiTypography--weight-2 vkuiRootComponent" href="/video-227419342_456239589" title="ГРУЗИМСЯ НА ВОРОНЕЖ, СЛЕПАЯ ЗОНА НА ГРУЗОВИКЕ, МКАД НАКИПЕЛО" style="--vkui_internal--textclamp-lines: 2;">ГРУЗИМСЯ НА ВОРОНЕЖ, СЛЕПАЯ ЗОНА НА ГРУЗОВИКЕ, МКАД НАКИПЕЛО</a>
                            <div class="vkitVideoCardInfoLayout__action--AfE5m">
                                <svg aria-hidden="true" display="block" class="vkuiIcon vkuiIcon--24 vkuiIcon--w-24 vkuiIcon--h-24 vkuiIcon--more_horizontal_24 vkitVideoCardMenu__icon--C5gWM" width="24" height="24" viewBox="0 0 24 24" data-testid="video_card_more" aria-expanded="false" style="width: 24px; height: 24px;">
                                    <use xlink:href="#more_horizontal_24" style="fill: currentcolor;"/>
                                </svg>
                            </div>
                        </div>
                        <span class="vkitTextClamp__root--23kcq vkitTextClamp__rootSingleLine--Ib0gz vkitVideoCardOwners__owner--Q4jJc vkuiFootnote vkuiTypography vkuiTypography--normalize vkuiRootComponent" data-testid="video_card_owner" style="--vkui_internal--textclamp-lines: 1;">
                            <a class="vkitVideoCardOwnerItem__link--506KO vkuiTappable vkuiTappable--hasPointer-none vkuiClickable__resetLinkStyle vkuiClickable__host vkuiClickable__realClickable vkui-focus-visible vkuiRootComponent" href="/@club227419342">Max48TV</a>
                        </span>
                        <div class="vkitTextClamp__root--23kcq vkitTextClamp__rootSingleLine--Ib0gz vkitVideoCardInfoLayout__additionalInfo--kCmhz vkuiFootnote vkuiTypography vkuiTypography--normalize vkuiRootComponent" data-testid="video_card_additional_info" style="--vkui_internal--textclamp-lines: 1;">724 просмотра · 3 месяца назад</div>
                    </div>
                </div>
            </div>
        </div>

@Ashki · 29.12.2024, 16:22

вот попробуй:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
from bs4 import BeautifulSoup
import requests
 
url = 'https://example.com/page'
response = requests.get(url)
html_content = response.text
 
soup = BeautifulSoup(html_content, 'html.parser')
video_blocks = soup.find_all('div', {'data-testid': 'grid-item'})
 
for block in video_blocks:
    title_tag = block.find('a', {'data-testid': 'video_card_title'})
    title = title_tag.get_text(strip=True) if title_tag else "Без названия"
    
    author_tag = block.find('a', {'data-testid': 'video_card_owner'})
    author = author_tag.get_text(strip=True) if author_tag else "Неизвестный автор"
    
    additional_info_tag = block.find('div', {'data-testid': 'video_card_additional_info'})
    additional_info = additional_info_tag.get_text(strip=True) if additional_info_tag else "Нет информации"
    
    print(f"Заголовок: {title}")
    print(f"Автор: {author}")
    print(f"Дополнительно: {additional_info}")
    print("-" * 40)

@supmener · 29.12.2024, 17:22 **[ТС]**

Благодарю. Получилось.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
from bs4 import BeautifulSoup
 
# Путь к входному HTML-файлу и выходному текстовому файлу
input_file_path = r"G:\gruz2\vk_html\Видеозаписи Max48TV.html"
output_file_path = r"C:\123\rezulthtml4.txt"
 
# Функция для определения кодировки и чтения файла
def read_file_with_encoding_detection(file_path):
    encodings = ['utf-8', 'windows-1251', 'cp1251', 'latin1']  # Возможные кодировки
    for encoding in encodings:
        try:
            with open(file_path, 'r', encoding=encoding) as file:
                return file.read()
        except (UnicodeDecodeError, FileNotFoundError):
            continue
    raise Exception("Не удалось открыть файл с доступными кодировками.")
 
# Чтение содержимого HTML-файла
try:
    html_content = read_file_with_encoding_detection(input_file_path)
except Exception as e:
    print(f"Ошибка при чтении файла: {e}")
    exit()
 
# Парсинг HTML с помощью BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
 
# Открываем выходной файл для записи
with open(output_file_path, 'w', encoding='utf-8') as output_file:
    # Ищем все блоки с заданным классом
    grid_items = soup.find_all('div', attrs={'data-testid': 'grid-item', 'class': 'vkitGridItem__root--6OepO'})
    
    for item in grid_items:
        # Находим ссылку с заголовком
        title_tag = item.find('a', class_='vkitTextClamp__root--23kcq vkitVideoCardInfoLayout__title--fcKfk vkitVideoCardInfoLayout__titleLink--B644E vkuiSubhead vkuiSubhead--sizeY-compact vkuiTypography vkuiTypography--normalize vkuiTypography--weight-2 vkuiRootComponent')
        
        # Если тег &lt;a&gt; найден, извлекаем ссылку и заголовок
        if title_tag:
            href = title_tag.get('href')
            title = title_tag.get_text(strip=True)  # Извлекаем видимый текст
 
            # Приведение title к нижнему регистру для игнорирования регистра
            title_lower = title.lower()
 
            # Проверяем условия для записи ссылки без учета регистра
            if (("ремонт" in title_lower or "замен" in title_lower) and
                not ("варпвсрс" in title_lower or "аоплпдпаа35d" in title_lower)):
                # Записываем ссылку (href) в выходной файл
                output_file.write(f'{href}\n')
 
print("Ссылки успешно извлечены и записаны в файл.")

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .