Парсинг html

@soberfrog · Регистрация: 03.12.2015

Студворк — интернет-сервис помощи студентам

Доброго времени суток, столкнулся с такой проблемой, как парсить теги h2 которые находятся в классе post__content typeset, при этом точно такой-же тег игнорировать в классах uagb-post-grid, делать с помощью bs4

делаю так, но получаю вообще все h2
name_category = soup.find(class_="post__content typeset").find_all("h2")

@Welemir1 · 01.12.2020, 13:39

soberfrog, погадать по картинке? или давай сайт или кусок верстки с обоими классами, чтобы попробовать, я бы через lxml сделал по xpath локатору

Добавлено через 6 минут
а дивы не вложенные? вроде все норм

Python
1
2
3
4
5
>>> from bs4 import BeautifulSoup
>>> text = '<div class="a"><h2>TEXT_1</h2></div><div class="b"><h2>TEXT_2</h2></div>'
>>> soup = BeautifulSoup(text)
>>> soup.find(class_='a').findAll('h2')
[<h2>TEXT_1</h2>]

Добавлено через 1 минуту
сам спросил и сам отвечаю по твоей картинке - вложенный же второй то див! конечно он тебе и его H2 дает, ты же сам просишь findAll то есть перебрать всех потомков первого дива, а второй див лежит внутри

@soberfrog · 01.12.2020, 13:46 **[ТС]**

Вот сайт: https://mobilelegends.metaplay.ru/geroi

Добавлено через 5 минут

Python
1
2
name_category = soup.find(class_="post__content typeset").findAll('h2')
print(name_category)

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
[<h2><span id="Tanki">Танки</span></h2>, <h2 class="uagb-post__title"><span id="Atlas">
<a href="hero/tank/atlas.html" rel="bookmark noopener noreferrer" target="_self">Атлас</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Baksij">
<a href="hero/tank/baksii.html" rel="bookmark noopener noreferrer" target="_self">Баксий</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Hufra">
<a href="hero/tank/hufra.html" rel="bookmark noopener noreferrer" target="_self">Хуфра</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Esmeralda">
<a href="hero/tank/jesmeralda.html" rel="bookmark noopener noreferrer" target="_self">Эсмеральда</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Uranus">
<a href="hero/tank/uranus.html" rel="bookmark noopener noreferrer" target="_self">Уранус</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Tigril">
<a href="hero/tank/tigril.html" rel="bookmark noopener noreferrer" target="_self">Тигрил</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Dzonson">
<a href="hero/tank/dzhonson.html" rel="bookmark noopener noreferrer" target="_self">Джонсон</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Hilos">
<a href="hero/tank/hilos.html" rel="bookmark noopener noreferrer" target="_self">Хилос</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Grok">
<a href="hero/tank/grok.html" rel="bookmark noopener noreferrer" target="_self">Грок</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Gatotkaca">
<a href="hero/tank/gatotkacha.html" rel="bookmark noopener noreferrer" target="_self">Гатоткача</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Franko">
<a href="hero/tank/franko.html" rel="bookmark noopener noreferrer" target="_self">Франко</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Belerik">
<a href="hero/tank/belerik.html" rel="bookmark noopener noreferrer" target="_self">Белерик</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Akaj">
<a href="hero/tank/akaj.html" rel="bookmark noopener noreferrer" target="_self">Акай</a>
</span></h2>, <h2 class="uagb-post__title"><span id="Minotavr"> и т.д.

а мне нужно только получить:

HTML5
1
2
3
4
5
6
<h2><span id="Tanki">Танки</span></h2>
<h2><span id="Tanki">Боец</span></h2>
<h2><span id="Boec">Убийца</span></h2>
<h2><span id="Mag">Маг</span></h2>
<h2><span id="Strelok">Стрелок</span></h2>
<h2><span id="Podderzka">Поддержка</span></h2>

@Welemir1 · 01.12.2020, 13:50

вот как достать потомков и их контент https://www.crummy.com/softwar... d-children

Добавлено через 3 минуты
берешь прямых потомков первого дива, отфильтровываешь только Н2 и достаешь их контент

@soberfrog · 01.12.2020, 14:00 **[ТС]**

Как это сделать в коде?

@Welemir1 · 01.12.2020, 14:14

Сообщение от soberfrog

Как это сделать в коде?

как минимум почитать по ссылке и посмотреть как потомков дочтают там. сделать также - находим первый див, достаем его потомков, фильтруем только х2 и вперед. Жду кода попыток

@soberfrog · 01.12.2020, 15:47 **[ТС]**

первый див, Вы этот имеете ввиду?:

@soberfrog · 01.12.2020, 17:17 **[ТС]**

Фууух... все получилось, вот так:

Python
1
2
3
4
5
name_category = soup.find(class_="post__content typeset")
children = name_category.findChildren("h2", recursive=False)
 
for child in children:
    print(child)

Результат:

HTML5
1
2
3
4
5
6
<h2><span id="Tanki">Танки</span></h2>
<h2><span id="Boec">Боец</span></h2>
<h2><span id="Ubijca">Убийца</span></h2>
<h2><span id="Mag">Маг</span></h2>
<h2><span id="Strelok">Стрелок</span></h2>
<h2><span id="Podderzka">Поддержка</span></h2>

Добавлено через 57 минут
Можно даже сократить:

Python
1
2
3
name_category = soup.find(class_="post__content typeset").findAll("h2", recursive=False)
for name in name_category:
    print(name)

Новые блоги и статьи Все статьи Все блоги /
Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.

@soberfrog 1 / 1 / 0 Регистрация: 03.12.2015 Сообщений: 126

	Парсинг html 01.12.2020, 13:24. Показов 1713. Ответов 7 Метки нет (Все метки) Доброго времени суток, столкнулся с такой проблемой, как парсить теги h2 которые находятся в классе post__content typeset, при этом точно такой-же тег игнорировать в классах uagb-post-grid, делать с помощью bs4 делаю так, но получаю вообще все h2 name_category = soup.find(class_="post__content typeset").find_all("h2") 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,695 Записей в блоге: 29
	01.12.2020, 13:50
	вот как достать потомков и их контент https://www.crummy.com/softwar... d-children Добавлено через 3 минуты берешь прямых потомков первого дива, отфильтровываешь только Н2 и достаешь их контент 0

@soberfrog 1 / 1 / 0 Регистрация: 03.12.2015 Сообщений: 126
	01.12.2020, 14:00 [ТС]
	Как это сделать в коде? 0

@soberfrog 1 / 1 / 0 Регистрация: 03.12.2015 Сообщений: 126
	01.12.2020, 15:47 [ТС]
	первый див, Вы этот имеете ввиду?: 0

Опции темы