Парсинг BeautifulSoup

@Bunnyone · Регистрация: 13.08.2016

Студворк — интернет-сервис помощи студентам

Добрый день. Имеется веб страница из которой нужно спарсить даты, имена и комментарии в формате:
23 мар. UserName: комментарий
24 мар. UserName: комментарий
и т.д

Помогите настроить поиск BeautifulSoup. Пошуршал в документации модуля, похожего не нашел, ну или не сообразил.
Как осуществить поиск только в определенном блоке, либо поиск в подродительском отделе. Так как все классы и атрибуты повторяются в других блоках.
Могу в лс скинуть саму html страницу

Кликните здесь для просмотра всего текста

Для основы:

Python
1
2
3
4
5
6
7
soup = BeautifulSoup(requiredHtml, 'html5lib')
main_date = soup.find_all(тут поиск даты)
main_name = soup.find_all(тут поиск имен)
main_comment = soup.find_all(а тут комменты)
 
print '\n'.join(' '.join( [item[0].text.strip() + ' .', item[1].text.strip()+ ': ', item[2].text.strip()])
                     for item in zip(main_date , main_name, main_comment))

Jabbson · 13.04.2020, 15:57

Если дадите html или ссылку - посмотрю.

@ARHAT_99 · 13.04.2020, 16:21

Так ты же можешь взять подкласс и его значение когда уже получил родительский-класс, наподобие такого

Code
1
ink_is_true = link_is_true.find('td', class_=comment_data).get('data-o_id')

Jabbson · 13.04.2020, 16:31

Послал ответ в ЛС.

@Gebekov-MP · 13.04.2020, 17:00

Смотря чем будете пользоваться CSS или Xpath или HTML в запросах, проще всего наверно, HTML. Находите классы и атрибуты к нужной инфе. посмотрите образец ниже:

Python
1
2
3
soup_post.find(class_='text-md text-muted m-r-md').attrs.get('datetime') 
soup_post.find(class_='text-lg text-dark').text
soup_post.find(style="text-decoration:none;").attrs.get('href')

запросы хорошо проверять в терминале, и так вы найдете нужные классы и атрибуты.

@Garry Galler · 13.04.2020, 18:07

Сообщение от Bunnyone

Пошуршал в документации модуля

Не там шуршишь. Изучи XPATH и забудь BeautifulSoup, так как она все равно его не поддерживает.
Но для этого есть lxml.

Jabbson · 13.04.2020, 18:43

Сообщение от Garry Galler

Изучи XPATH и забудь BeautifulSoup

Или изучи особенности обоих и реши, что подходит тебе больше для тех задач, которые ты решаешь.

Новые блоги и статьи Все статьи Все блоги /
Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	13.04.2020, 15:57
	Если дадите html или ссылку - посмотрю. 1

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	13.04.2020, 16:31
	Послал ответ в ЛС. 1

Опции темы