Парсинг сайта

@hihihihihi · Регистрация: 02.03.2020

Студворк — интернет-сервис помощи студентам

Здравствуйте! Хотел вытащить ссылки из главного меня сайта, но получается вытащить все.

Python
1
2
for link in soup.find_all('a'):
    print(link.get('href'))

Подскажите, пожалуйста, как вытащить только необходимые ссылки? /authors/, /poems/, /boards/

@Welemir1 · 05.11.2020, 13:57

hihihihihi, ну так бери первые 3 из полученного списка

@hihihihihi · 05.11.2020, 14:36 **[ТС]**

Сообщение от Welemir1

бери первые 3 из полученног

Там до необходимых мне ссылок, есть еще ссылки.

@Welemir1 · 05.11.2020, 14:37

hihihihihi, бери все и отфильтруй только те, где хреф содержит authors, poems или boards

@hihihihihi · 05.11.2020, 14:42 **[ТС]**

Сообщение от Welemir1

отфильтруй только те, где хреф содержит

Я не знаю как это сделать(

@АмигоСП · 05.11.2020, 15:14

hihihihihi, ну вам же уважаемый Welemir1 уже все расписал. Ну как может быть непонятна такая элементарщина? Вот для примера вам. Разбирайтесь.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import requests
from bs4 import BeautifulSoup
 
response = requests.get('https://stihi.ru/')
soup = BeautifulSoup(response.text, 'lxml')
# Вариант №1
tag_a = soup.find_all('a')
check = ('Авторы','Произведения','Рецензии')
need_links = set()
for a_link in tag_a:
    if a_link.text in check:
        need_links.add(a_link['href'])
print(need_links)
# Вариант №2
rawdata = soup.find('ul', attrs={'class':'headmenu'})
links = rawdata.find_all('a')[:3]
for link in links:
    print(link['href'])

@Alli_Lupin · 06.11.2020, 15:04

Сообщение от АмигоСП

Ну как может быть непонятна такая элементарщина

да-да, а 2 книжки по теме и 8 книжек по смежным темам, которые вы прочитали перед таким оценочным суждением, мы опустим как несущественные)))

@Welemir1 · 06.11.2020, 15:08

Alli_Lupin, с козырей зашел))

@Alli_Lupin · 06.11.2020, 15:11

Welemir1, да несколько шокируют меня ребята, которые с криком "это же элементарно!" Хреначат по столу инструкцией к синхрофазотрону)

@Welemir1 · 06.11.2020, 15:18

Alli_Lupin,

прямо вживую представил )))
как рассказывал один знакомый - им профессор, исписав 4 доску формулами (чего то там Виноградова) говорил:
"Это должен знать каждый интиллигентный человек!"

а по сути он верно пожурил халявщика, ему ж все объяснили, просто не хочет сам решать.

@Alli_Lupin · 06.11.2020, 15:25

Не по теме:

Welemir1, о да) представим, что человек никогда не видел паяльник, не знает где он греется, как им пользоваться, никогда не видел в живую радиоэлементов в smd-корпусах, а ему говорят: вон, спаяй по трафарету. Всё ж просто. Если вы подобного не видели, то я вам опишу что будет.
1. ожог на пальцах
2. не хватило элементов
3. элементы пропаяны в случайном порядке
4. часть элементов сгорела от такой пайки.

аналогия грубая, но достаточно точно описывает происходящее. Человек взялся за задачу явно не по уровню, а вы в него общими словами. Естественно он рад готовому решению.

@Welemir1 · 06.11.2020, 15:38

Alli_Lupin, сразу видно, что ты отдохнул, из отпуска. Ничего, порешаешь задачки яндексоидам, через пару недель поговорим)))

@Alli_Lupin · 06.11.2020, 15:48

Welemir1, я их не решаю)))

Новые блоги и статьи Все статьи Все блоги /
http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит переходные токи и напряжения на элементах схемы. . . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,667 Записей в блоге: 29
	05.11.2020, 13:57
	hihihihihi, ну так бери первые 3 из полученного списка 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,667 Записей в блоге: 29
	05.11.2020, 14:37
	hihihihihi, бери все и отфильтруй только те, где хреф содержит authors, poems или boards 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,667 Записей в блоге: 29
	06.11.2020, 15:08
	Alli_Lupin, с козырей зашел)) 0

@Alli_Lupin 5036 / 1063 / 149 Регистрация: 29.01.2013 Сообщений: 6,209
	06.11.2020, 15:11
	Welemir1, да несколько шокируют меня ребята, которые с криком "это же элементарно!" Хреначат по столу инструкцией к синхрофазотрону) 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,667 Записей в блоге: 29
	06.11.2020, 15:18
	Alli_Lupin, прямо вживую представил ))) как рассказывал один знакомый - им профессор, исписав 4 доску формулами (чего то там Виноградова) говорил: "Это должен знать каждый интиллигентный человек!" а по сути он верно пожурил халявщика, ему ж все объяснили, просто не хочет сам решать. 0

@Alli_Lupin
	06.11.2020, 15:25
	Не по теме: Welemir1, о да) представим, что человек никогда не видел паяльник, не знает где он греется, как им пользоваться, никогда не видел в живую радиоэлементов в smd-корпусах, а ему говорят: вон, спаяй по трафарету. Всё ж просто. Если вы подобного не видели, то я вам опишу что будет. 1. ожог на пальцах 2. не хватило элементов 3. элементы пропаяны в случайном порядке 4. часть элементов сгорела от такой пайки. аналогия грубая, но достаточно точно описывает происходящее. Человек взялся за задачу явно не по уровню, а вы в него общими словами. Естественно он рад готовому решению. 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,667 Записей в блоге: 29
	06.11.2020, 15:38
	Alli_Lupin, сразу видно, что ты отдохнул, из отпуска. Ничего, порешаешь задачки яндексоидам, через пару недель поговорим))) 0

@Alli_Lupin 5036 / 1063 / 149 Регистрация: 29.01.2013 Сообщений: 6,209
	06.11.2020, 15:48
	Welemir1, я их не решаю))) 1

Парсинг сайта

Решение