Извлекаются не все ссылки с сайта

@alexs2007 · Регистрация: 02.03.2019

Студворк — интернет-сервис помощи студентам

Пытаюсь вытащить ссылки на фотографии с yahoo

Python
1
2
3
4
5
6
7
8
9
10
11
import requests
from bs4 import BeautifulSoup
 
url = 'https://ca.sports.yahoo.com/nhl/teams/pit/roster/'
reqs = requests.get(url)
#soup = BeautifulSoup(reqs.text, 'html.parser')
soup = BeautifulSoup(reqs.text, 'lxml')
 
urls = []
for link in soup.find_all('a'):
    print(link.get('href'))

вытаскивается:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
#Navigation
#Main
#Aside
https://ca.yahoo.com/
https://ca.mail.yahoo.com/?.intl=ca&.lang=en-CA
https://ca.news.yahoo.com/
https://ca.sports.yahoo.com/
https://ca.finance.yahoo.com/
https://ca.news.yahoo.com/celebrity/
https://ca.style.yahoo.com/
https://ca.movies.yahoo.com/
https://ca.news.yahoo.com/weather/
https://ca.mobile.yahoo.com/
https://ca.yahoo.com/sports
https://mail.yahoo.com/?activity=uh-mail&.intl=ca&.lang=en-CA&.partner=none&.src
=sports&pspid=973508587
https://ca.sports.yahoo.com
https://ca.sports.yahoo.com/fantasy/
https://ca.sports.yahoo.com/nhl/
https://ca.sports.yahoo.com/nba/
https://ca.sports.yahoo.com/nfl/
https://ca.sports.yahoo.com/mlb/
https://ca.sports.yahoo.com/soccer/
https://ca.sports.yahoo.com/cfl/
https://ca.sports.yahoo.com/videos/
https://ca.sports.yahoo.com/podcasts/
https://ca.sports.yahoo.com/tennis/
https://ca.sports.yahoo.com/golf/
https://ca.sports.yahoo.com/mma/
https://ca.sports.yahoo.com/college-football/
https://ca.sports.yahoo.com/college-basketball/
https://ca.sports.yahoo.com/formula-1/
https://ca.sports.yahoo.com/nascar/
https://ca.sports.yahoo.com/cycling/
https://ca.sports.yahoo.com/nhl/
https://ca.sports.yahoo.com/nhl/scoreboard/
https://ca.sports.yahoo.com/nhl/standings/
https://ca.sports.yahoo.com/nhl/stats/
https://ca.sports.yahoo.com/nhl/teams/
https://ca.sports.yahoo.com/nhl/players/
https://sports.yahoo.com/nhl/experts/
https://ca.sports.yahoo.com/junior-hockey/
https://fanatics.ncw6.net/c/2342002/586570/9663?u=https://www.fanatics.com/?quer
y=Pittsburgh%20Penguins&subid1=cart
https://sports.yahoo.com/nhl/standings/
https://sports.yahoo.com/nhl/stats/team/?sortStatId=GOALS&selectedTable=0
https://sports.yahoo.com/nhl/stats/team/?sortStatId=GOALS_AGAINST&selectedTable=
1
https://sports.yahoo.com/nhl/stats/team/?sortStatId=POWER_PLAY_PERCENTAGE&select
edTable=0
https://sports.yahoo.com/nhl/stats/team/?sortStatId=PENALTY_KILL_PERCENTAGE&sele
ctedTable=1
https://sports.yahoo.com/nhl/stats/team/?sortStatId=PENALTY_MINUTES&selectedTabl
e=2
/nhl/teams/pit/
/nhl/teams/pit/schedule
/nhl/teams/pit/roster
/nhl/teams/pit/stats
/nhl/teams/pit/injuries
/nhl/teams/pit/transactions
/nhl/teams/pit/shop
/nhl/teams/carolina/
/nhl/teams/washington/
/nhl/teams/ny-rangers/
/nhl/teams/philadelphia/
/nhl/teams/columbus/
/nhl/teams/new-jersey/
/nhl/teams/pittsburgh/
/nhl/teams/ny-islanders/
https://www.facebook.com/YahooCanada
https://www.twitter.com/YahooCASports
https://ca.help.yahoo.com/kb/sports-news
https://yahoo.uservoice.com/forums/585178
https://legal.yahoo.com/ca/en/yahoo/privacy/index.html
https://legal.yahoo.com/ca/en/yahoo/privacy/adinfo/index.html
https://legal.yahoo.com/ca/en/yahoo/terms/otos/index.html

и всё

а ссылки на фотки имеют вид

Code
1
https://s.yimg.com/it/api/res/1.2/xZhnTzRU1BFHXBClH5hWig--~A/YXBwaWQ9eW5ld3M7dz0xMDA7aD02NztxPTEwMA--/https://s.yimg.com/xe/i/us/sp/v/nhl_cutout/players_l/11182021/7473.png

или на большое фото

Code
1
https://s.yimg.com/xe/i/us/sp/v/nhl_cutout/players_l/11182021/7473.png

@Welemir1 · 21.11.2021, 09:52

alexs2007, взялся за парсинг - изучи тему подробно. Что такое динамические сайты, что такое панель разработчика, как там смотреть запросы? они кстати тут тебе помогут и парсить не надо ибо возвращает все фотки в жсоне нормальном. Но для этого надо немного освоить основы как питона так и веба.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

@Welemir1 Автоматизируй это! 7391 / 4818 / 1246 Регистрация: 30.03.2015 Сообщений: 13,693 Записей в блоге: 29
	21.11.2021, 09:52
	alexs2007, взялся за парсинг - изучи тему подробно. Что такое динамические сайты, что такое панель разработчика, как там смотреть запросы? они кстати тут тебе помогут и парсить не надо ибо возвращает все фотки в жсоне нормальном. Но для этого надо немного освоить основы как питона так и веба. 1