Beautiful Soup. Как задать несколько условий поиска?

@invectro · Регистрация: 13.11.2017

Студворк — интернет-сервис помощи студентам

Всем привет!

Пытаюсь спарсить страницу с вакансией headhunter'а с помощью Beautiful Soup. Мне нужно получить список обязанностей для нужной вакансии.

Списки обязанностей заключаются в тегах "<ul>" без классов.

Выглядит это так:

HTML5
1
<p><span>Обязанности:</span></p><ul> ....</ul>

Т.к. у ul нет классов, то я решил искать по предыдущему тексту "Обязанности" и после список "<ul>"

Написал вот такой код, он находит нужный мне список, который идет после текста "Обязанности":

Python
1
soup.find("p", text=re.compile("Обязанности")).find_next().find_next().find_all("li")

Проблема заключается в том, что каждый работодатель по разному называет и оформляет свои вакансии:

Например, вариант 1 (здесь мой код не работает потому что 2 тега span):

HTML5
1
<p><span>обязанности</span><span>:</span></p><ul> ....</ul>

Например, вариант 2 (здесь текст совсем другой и 2 strong/span):

HTML5
1
<p><strong><span>Что предстоит делать</span></strong><strong><span>:</span></strong></p><ul> ....</ul>

Например, вариант 3 (здесь текст другой и список нумерованный):

HTML5
1
<p>Твои задачи:</p><ol> ....</ol>

Как мне доработать свой код, чтобы можно было найти все 3 варианта?

Чтобы я мог в словарь записывать варианты текста после которых нужно искать список ul/ol, например:

["Обязанности", "задачи", "предстоит делать", "выполнять"]

@iSmokeJC · 26.06.2023, 14:54

Втупую
re.compile("Обязанности|задачи|предстоит делать|выполнять")

Новые блоги и статьи Все статьи Все блоги /
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .	Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	26.06.2023, 14:54
	Сообщение было отмечено invectro как решение Решение Втупую re.compile("Обязанности\|задачи\|предстоит делать\|выполнять") 1

Beautiful Soup. Как задать несколько условий поиска?

Решение