Парсинг сайта

@hihihihihi · Регистрация: 02.03.2020

Студворк — интернет-сервис помощи студентам

Здравствуйте! Хотел вытащить ссылки из главного меня сайта, но получается вытащить все.

Python
1
2
for link in soup.find_all('a'):
    print(link.get('href'))

Подскажите, пожалуйста, как вытащить только необходимые ссылки? /authors/, /poems/, /boards/

@Welemir1 · 05.11.2020, 13:57

hihihihihi, ну так бери первые 3 из полученного списка

@hihihihihi · 05.11.2020, 14:36 **[ТС]**

Сообщение от Welemir1

бери первые 3 из полученног

Там до необходимых мне ссылок, есть еще ссылки.

@Welemir1 · 05.11.2020, 14:37

hihihihihi, бери все и отфильтруй только те, где хреф содержит authors, poems или boards

@hihihihihi · 05.11.2020, 14:42 **[ТС]**

Сообщение от Welemir1

отфильтруй только те, где хреф содержит

Я не знаю как это сделать(

@АмигоСП · 05.11.2020, 15:14

hihihihihi, ну вам же уважаемый Welemir1 уже все расписал. Ну как может быть непонятна такая элементарщина? Вот для примера вам. Разбирайтесь.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import requests
from bs4 import BeautifulSoup
 
response = requests.get('https://stihi.ru/')
soup = BeautifulSoup(response.text, 'lxml')
# Вариант №1
tag_a = soup.find_all('a')
check = ('Авторы','Произведения','Рецензии')
need_links = set()
for a_link in tag_a:
    if a_link.text in check:
        need_links.add(a_link['href'])
print(need_links)
# Вариант №2
rawdata = soup.find('ul', attrs={'class':'headmenu'})
links = rawdata.find_all('a')[:3]
for link in links:
    print(link['href'])

@Alli_Lupin · 06.11.2020, 15:04

Сообщение от АмигоСП

Ну как может быть непонятна такая элементарщина

да-да, а 2 книжки по теме и 8 книжек по смежным темам, которые вы прочитали перед таким оценочным суждением, мы опустим как несущественные)))

@Welemir1 · 06.11.2020, 15:08

Alli_Lupin, с козырей зашел))

@Alli_Lupin · 06.11.2020, 15:11

Welemir1, да несколько шокируют меня ребята, которые с криком "это же элементарно!" Хреначат по столу инструкцией к синхрофазотрону)

@Welemir1 · 06.11.2020, 15:18

Alli_Lupin,

прямо вживую представил )))
как рассказывал один знакомый - им профессор, исписав 4 доску формулами (чего то там Виноградова) говорил:
"Это должен знать каждый интиллигентный человек!"

а по сути он верно пожурил халявщика, ему ж все объяснили, просто не хочет сам решать.

@Alli_Lupin · 06.11.2020, 15:25

Не по теме:

Welemir1, о да) представим, что человек никогда не видел паяльник, не знает где он греется, как им пользоваться, никогда не видел в живую радиоэлементов в smd-корпусах, а ему говорят: вон, спаяй по трафарету. Всё ж просто. Если вы подобного не видели, то я вам опишу что будет.
1. ожог на пальцах
2. не хватило элементов
3. элементы пропаяны в случайном порядке
4. часть элементов сгорела от такой пайки.

аналогия грубая, но достаточно точно описывает происходящее. Человек взялся за задачу явно не по уровню, а вы в него общими словами. Естественно он рад готовому решению.

@Welemir1 · 06.11.2020, 15:38

Alli_Lupin, сразу видно, что ты отдохнул, из отпуска. Ничего, порешаешь задачки яндексоидам, через пару недель поговорим)))

@Alli_Lupin · 06.11.2020, 15:48

Welemir1, я их не решаю)))

Новые блоги и статьи Все статьи Все блоги /
Отправка уведомления на почту при изменении наименования справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере изменения наименования справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи. . .	модель ЗдравоСохранения 5. Меньше увольнений- больше дохода! anaschu 24.03.2026 Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .	Midnight Chicago Blues kumehtar 24.03.2026 Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .	Контроль уникальности заводского номера - вариант №2 Maks 24.03.2026 В отличие от предыдущего варианта добавлено прерывание циклов, также добавлены новые переменные для сохранения контекста ошибки перед прерыванием цикла: Процедура ПередЗаписью(Отказ, РежимЗаписи,. . .
SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++ 8Observer8 24.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip	Жизнь в неопределённости kumehtar 23.03.2026 Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .	Модель здравоСохранения: работники работают быстрее после её введения. anaschu 23.03.2026 geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .	Контроль уникальности заводского номера - вариант №1 Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью в конфигурации КА2. Данные берутся из регистра сведений, по. . .

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	05.11.2020, 13:57
	hihihihihi, ну так бери первые 3 из полученного списка 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	05.11.2020, 14:37
	hihihihihi, бери все и отфильтруй только те, где хреф содержит authors, poems или boards 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	06.11.2020, 15:08
	Alli_Lupin, с козырей зашел)) 0

@Alli_Lupin 5042 / 1069 / 149 Регистрация: 29.01.2013 Сообщений: 6,242
	06.11.2020, 15:11
	Welemir1, да несколько шокируют меня ребята, которые с криком "это же элементарно!" Хреначат по столу инструкцией к синхрофазотрону) 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	06.11.2020, 15:18
	Alli_Lupin, прямо вживую представил ))) как рассказывал один знакомый - им профессор, исписав 4 доску формулами (чего то там Виноградова) говорил: "Это должен знать каждый интиллигентный человек!" а по сути он верно пожурил халявщика, ему ж все объяснили, просто не хочет сам решать. 0

@Alli_Lupin
	06.11.2020, 15:25
	Не по теме: Welemir1, о да) представим, что человек никогда не видел паяльник, не знает где он греется, как им пользоваться, никогда не видел в живую радиоэлементов в smd-корпусах, а ему говорят: вон, спаяй по трафарету. Всё ж просто. Если вы подобного не видели, то я вам опишу что будет. 1. ожог на пальцах 2. не хватило элементов 3. элементы пропаяны в случайном порядке 4. часть элементов сгорела от такой пайки. аналогия грубая, но достаточно точно описывает происходящее. Человек взялся за задачу явно не по уровню, а вы в него общими словами. Естественно он рад готовому решению. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	06.11.2020, 15:38
	Alli_Lupin, сразу видно, что ты отдохнул, из отпуска. Ничего, порешаешь задачки яндексоидам, через пару недель поговорим))) 0

@Alli_Lupin 5042 / 1069 / 149 Регистрация: 29.01.2013 Сообщений: 6,242
	06.11.2020, 15:48
	Welemir1, я их не решаю))) 1

Парсинг сайта

Решение