Парсинг BeautifulSoup

@Bunnyone · Регистрация: 13.08.2016

Студворк — интернет-сервис помощи студентам

Добрый день. Имеется веб страница из которой нужно спарсить даты, имена и комментарии в формате:
23 мар. UserName: комментарий
24 мар. UserName: комментарий
и т.д

Помогите настроить поиск BeautifulSoup. Пошуршал в документации модуля, похожего не нашел, ну или не сообразил.
Как осуществить поиск только в определенном блоке, либо поиск в подродительском отделе. Так как все классы и атрибуты повторяются в других блоках.
Могу в лс скинуть саму html страницу

Кликните здесь для просмотра всего текста

Для основы:

Python
1
2
3
4
5
6
7
soup = BeautifulSoup(requiredHtml, 'html5lib')
main_date = soup.find_all(тут поиск даты)
main_name = soup.find_all(тут поиск имен)
main_comment = soup.find_all(а тут комменты)
 
print '\n'.join(' '.join( [item[0].text.strip() + ' .', item[1].text.strip()+ ': ', item[2].text.strip()])
                     for item in zip(main_date , main_name, main_comment))

Jabbson · 13.04.2020, 15:57

Если дадите html или ссылку - посмотрю.

@ARHAT_99 · 13.04.2020, 16:21

Так ты же можешь взять подкласс и его значение когда уже получил родительский-класс, наподобие такого

Code
1
ink_is_true = link_is_true.find('td', class_=comment_data).get('data-o_id')

Jabbson · 13.04.2020, 16:31

Послал ответ в ЛС.

@Gebekov-MP · 13.04.2020, 17:00

Смотря чем будете пользоваться CSS или Xpath или HTML в запросах, проще всего наверно, HTML. Находите классы и атрибуты к нужной инфе. посмотрите образец ниже:

Python
1
2
3
soup_post.find(class_='text-md text-muted m-r-md').attrs.get('datetime') 
soup_post.find(class_='text-lg text-dark').text
soup_post.find(style="text-decoration:none;").attrs.get('href')

запросы хорошо проверять в терминале, и так вы найдете нужные классы и атрибуты.

@Garry Galler · 13.04.2020, 18:07

Сообщение от Bunnyone

Пошуршал в документации модуля

Не там шуршишь. Изучи XPATH и забудь BeautifulSoup, так как она все равно его не поддерживает.
Но для этого есть lxml.

Jabbson · 13.04.2020, 18:43

Сообщение от Garry Galler

Изучи XPATH и забудь BeautifulSoup

Или изучи особенности обоих и реши, что подходит тебе больше для тех задач, которые ты решаешь.

Новые блоги и статьи Все статьи Все блоги /
моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом	http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	13.04.2020, 15:57
	Если дадите html или ссылку - посмотрю. 1

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	13.04.2020, 16:31
	Послал ответ в ЛС. 1