Парсинг html

@soberfrog · Регистрация: 03.12.2015

Студворк — интернет-сервис помощи студентам

Доброго времени суток, столкнулся с такой проблемой, как парсить теги h2 которые находятся в классе post__content typeset, при этом точно такой-же тег игнорировать в классах uagb-post-grid, делать с помощью bs4

делаю так, но получаю вообще все h2
name_category = soup.find(class_="post__content typeset").find_all("h2")

@Welemir1 · 01.12.2020, 13:39

soberfrog, погадать по картинке? или давай сайт или кусок верстки с обоими классами, чтобы попробовать, я бы через lxml сделал по xpath локатору

Добавлено через 6 минут
а дивы не вложенные? вроде все норм

Python
1
2
3
4
5
>>> from bs4 import BeautifulSoup
>>> text = '<div class="a"><h2>TEXT_1</h2></div><div class="b"><h2>TEXT_2</h2></div>'
>>> soup = BeautifulSoup(text)
>>> soup.find(class_='a').findAll('h2')
[<h2>TEXT_1</h2>]

Добавлено через 1 минуту
сам спросил и сам отвечаю по твоей картинке - вложенный же второй то див! конечно он тебе и его H2 дает, ты же сам просишь findAll то есть перебрать всех потомков первого дива, а второй див лежит внутри

@soberfrog · 01.12.2020, 13:46 **[ТС]**

Вот сайт: https://mobilelegends.metaplay.ru/geroi

Добавлено через 5 минут

Python
1
2
name_category = soup.find(class_="post__content typeset").findAll('h2')
print(name_category)

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
[<h2><span id="Tanki">Танки</span></h2>, <h2 class="uagb-post__title"><span id="Atlas">
<a href="hero/tank/atlas.html" rel="bookmark noopener noreferrer" target="_self">Атлас</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Baksij">
<a href="hero/tank/baksii.html" rel="bookmark noopener noreferrer" target="_self">Баксий</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Hufra">
<a href="hero/tank/hufra.html" rel="bookmark noopener noreferrer" target="_self">Хуфра</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Esmeralda">
<a href="hero/tank/jesmeralda.html" rel="bookmark noopener noreferrer" target="_self">Эсмеральда</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Uranus">
<a href="hero/tank/uranus.html" rel="bookmark noopener noreferrer" target="_self">Уранус</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Tigril">
<a href="hero/tank/tigril.html" rel="bookmark noopener noreferrer" target="_self">Тигрил</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Dzonson">
<a href="hero/tank/dzhonson.html" rel="bookmark noopener noreferrer" target="_self">Джонсон</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Hilos">
<a href="hero/tank/hilos.html" rel="bookmark noopener noreferrer" target="_self">Хилос</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Grok">
<a href="hero/tank/grok.html" rel="bookmark noopener noreferrer" target="_self">Грок</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Gatotkaca">
<a href="hero/tank/gatotkacha.html" rel="bookmark noopener noreferrer" target="_self">Гатоткача</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Franko">
<a href="hero/tank/franko.html" rel="bookmark noopener noreferrer" target="_self">Франко</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Belerik">
<a href="hero/tank/belerik.html" rel="bookmark noopener noreferrer" target="_self">Белерик</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Akaj">
<a href="hero/tank/akaj.html" rel="bookmark noopener noreferrer" target="_self">Акай</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Minotavr"> и т.д.

а мне нужно только получить:

HTML5
1
2
3
4
5
6
<h2><span id="Tanki">Танки</span></h2>
<h2><span id="Tanki">Боец</span></h2>
<h2><span id="Boec">Убийца</span></h2>
<h2><span id="Mag">Маг</span></h2>
<h2><span id="Strelok">Стрелок</span></h2>
<h2><span id="Podderzka">Поддержка</span></h2>

@Welemir1 · 01.12.2020, 13:50

вот как достать потомков и их контент https://www.crummy.com/softwar... d-children

Добавлено через 3 минуты
берешь прямых потомков первого дива, отфильтровываешь только Н2 и достаешь их контент

@soberfrog · 01.12.2020, 14:00 **[ТС]**

Как это сделать в коде?

@Welemir1 · 01.12.2020, 14:14

Сообщение от soberfrog

Как это сделать в коде?

как минимум почитать по ссылке и посмотреть как потомков дочтают там. сделать также - находим первый див, достаем его потомков, фильтруем только х2 и вперед. Жду кода попыток

@soberfrog · 01.12.2020, 15:47 **[ТС]**

первый див, Вы этот имеете ввиду?:

@soberfrog · 01.12.2020, 17:17 **[ТС]**

Фууух... все получилось, вот так:

Python
1
2
3
4
5
name_category = soup.find(class_="post__content typeset")
children = name_category.findChildren("h2", recursive=False)
 
for child in children:
    print(child)

Результат:

HTML5
1
2
3
4
5
6
<h2><span id="Tanki">Танки</span></h2>
<h2><span id="Boec">Боец</span></h2>
<h2><span id="Ubijca">Убийца</span></h2>
<h2><span id="Mag">Маг</span></h2>
<h2><span id="Strelok">Стрелок</span></h2>
<h2><span id="Podderzka">Поддержка</span></h2>

Добавлено через 57 минут
Можно даже сократить:

Python
1
2
3
name_category = soup.find(class_="post__content typeset").findAll("h2", recursive=False)
for name in name_category:
    print(name)

Новые блоги и статьи Все статьи Все блоги /
Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .	Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .
Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .

@soberfrog 1 / 1 / 0 Регистрация: 03.12.2015 Сообщений: 126

	Парсинг html 01.12.2020, 13:24. Показов 1710. Ответов 7 Метки нет (Все метки) Доброго времени суток, столкнулся с такой проблемой, как парсить теги h2 которые находятся в классе post__content typeset, при этом точно такой-же тег игнорировать в классах uagb-post-grid, делать с помощью bs4 делаю так, но получаю вообще все h2 name_category = soup.find(class_="post__content typeset").find_all("h2") 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	01.12.2020, 13:50
	вот как достать потомков и их контент https://www.crummy.com/softwar... d-children Добавлено через 3 минуты берешь прямых потомков первого дива, отфильтровываешь только Н2 и достаешь их контент 0

@soberfrog 1 / 1 / 0 Регистрация: 03.12.2015 Сообщений: 126
	01.12.2020, 14:00 [ТС]
	Как это сделать в коде? 0

@soberfrog 1 / 1 / 0 Регистрация: 03.12.2015 Сообщений: 126
	01.12.2020, 15:47 [ТС]
	первый див, Вы этот имеете ввиду?: 0