Ошибка парсера AttributeError: 'NoneType' object has no attribute 'get_text'

@marginald · Регистрация: 24.11.2019

Студворк — интернет-сервис помощи студентам

Хочу получить имена криптовалют на первой странице, выводит только первые десять, а потом ошибка.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
from bs4 import BeautifulSoup as Bs
import requests
 
import csv
 
 
def get_page_data(html):
    soup = Bs(html, 'lxml')
    trs = soup.find('table', class_='h7vnx2-2').find('tbody').find_all('tr')
    
    for tr in trs:
        tds = tr.find_all('td')
        name = tds[2].find('p',class_='sc-1eb5slv-0 iJjGCS').get_text()
        #link = 'https://coinmarketcap.com' + tds[2].find('a').get('href')
        #short_name = tds[2].find('p',class_='coin-item-symbol').get_text()
        cost = tds[3].get_text()
        
        print(name)
        
    
            
    
    
 
def write_csv(data):
    with open('cmc.csv','a') as f:
        writer = csv.writer(f)
        pass
    
def main():
    r = requests.get('https://coinmarketcap.com/')
    print(r)
    get_page_data(r.text)
 
 
main()

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
<Response [200]>
Bitcoin
Ethereum
Tether
Binance Coin
Cardano
Dogecoin
XRP
USD Coin
Polkadot
Uniswap
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-83-d637224d7a3c> in <module>
     34 
     35 
---> 36 main()
 
<ipython-input-83-d637224d7a3c> in main()
     31     r = requests.get('https://coinmarketcap.com/')
     32     print(r)
---> 33     get_page_data(r.text)
     34 
     35 
 
<ipython-input-83-d637224d7a3c> in get_page_data(html)
     11     for tr in trs:
     12         tds = tr.find_all('td')
---> 13         name = tds[2].find('p',class_='sc-1eb5slv-0 iJjGCS').get_text()
     14         #link = 'https://coinmarketcap.com' + tds[2].find('a').get('href')
     15         #short_name = tds[2].find('p',class_='coin-item-symbol').get_text()
 
AttributeError: 'NoneType' object has no attribute 'get_text'

Добавлено через 58 минут
может это своего рода ограничения ради производительности

@iSmokeJC · 04.07.2021, 15:11

marginald, остальные элементы таблицы выстраиваются динамически, по мере прокрутки страницы вниз.

@АмигоСП · 04.07.2021, 15:19

Если только названия - то они там немного по другому запрятаны просто.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
import requests
import lxml.html as lxml_parser
 
url = 'https://coinmarketcap.com/'
 
resp_page = requests.get(url)
tree = lxml_parser.fromstring(resp_page.content)
all_name = tree.xpath('//p[@color="text"][@font-size="1"][@font-weight="semibold"]/text()')
hide_name = tree.xpath('//a[contains(@href, "/currencies/")][@class="cmc-link"]')
for name in hide_name[40:]:
    hide_name = name.getchildren()
    all_name.append(hide_name[1].text)
print(all_name)

@marginald · 04.07.2021, 15:43 **[ТС]**

Сообщение от АмигоСП

Если только названия - то они там немного по другому запрятаны просто.

спасибо за пример
а почему не работает мой пример, он же вроде правильно прописан

@Garry Galler · 04.07.2021, 16:34

Сообщение от marginald

он же вроде правильно прописан

Нет, неправильно. Даже не вдаваясь в селекторы скажу так: те, кто использует bs4 все делает изначально неправильно.
Ты получил список tds = tr.find_all('td')
Почему ты не проверяешь, что он не пустой? К пустой ~~голове~~ списку индексы не прикладывают. Если не проверять - будет IndexError.
Ты якобы что-то получил через name = tds[2].find(...)
Почему ты не проверяешь, что name не None? Если не проверять - будет AttributeError.

@marginald · 04.07.2021, 18:50 **[ТС]**

Сообщение от Garry Galler

Нет, неправильно

а почему тогда вывелись первые 10? объясните пожалуйста

Добавлено через 13 минут

Python
1
2
3
<tr><td><span class="sc-80eeb0-1 iuAjRY"><span class="icon-Star"></span></span></td><td style="text-align:left"><p class="sc-1eb5slv-0 etpvrL" color="text2" font-size="0">5</p></td><td style="text-align:left"><div class="sc-16r8icm-0 bjdvWe" display="flex"><a class="cmc-link" href="/currencies/cardano/"><div class="sc-16r8icm-0 sc-1teo54s-0 jDQqmt"><img class="coin-logo" src="https://s2.coinmarketcap.com/static/img/coins/64x64/2010.png"/><div class="sc-16r8icm-0 sc-1teo54s-1 cPNAgw"><p class="sc-1eb5slv-0 iJjGCS" color="text" font-size="1" font-weight="semibold">Cardano</p><div class="sc-1teo54s-2 fZIJcI"><div class="sc-1teo54s-3 etWhyV">5</div><p class="sc-1eb5slv-0 gGIpIK coin-item-symbol" color="text3" font-size="1">ADA</p></div></div></div></a></div></td><td><div class="sc-131di3y-0 cLgOOr"><a class="cmc-link" href="/currencies/cardano/markets/">$1.44</a></div></td><td style="text-align:right"><span class="sc-15yy2pl-0 kAXKAX"><span class="icon-Caret-up"></span>0.96<!-- -->%</span></td><td style="text-align:right"><span class="sc-15yy2pl-0 kAXKAX"><span class="icon-Caret-up"></span>14.12<!-- -->%</span></td><td style="text-align:right"><p class="sc-1eb5slv-0 kDEzev" color="text" font-size="1" style="white-space:nowrap"><span class="sc-1ow4cwt-0 iosgXe">$45.92B</span><span class="sc-1ow4cwt-1 ieFnWP">$45,915,042,343</span></p></td><td style="text-align:right"><div class="sc-16r8icm-0 j3nwcd-0 dPuGsC"><a class="cmc-link" href="/currencies/cardano/markets/"><p class="sc-1eb5slv-0 kDEzev font_weight_500___2Lmmi" color="text" font-size="1">$1,675,270,898</p></a><p class="sc-1eb5slv-0 etpvrL" color="text2" font-size="0">1,165,603,936 ADA</p></div></td><td style="text-align:right"><div class="sc-16r8icm-0 g5oqcc-0 ebjmWp"><div class="sc-16r8icm-0 g5oqcc-1 fuJsZs"><div class="g5oqcc-4 gQCXde"><span class="icon-Info"></span></div><p class="sc-1eb5slv-0 hNpJqV" color="text" font-size="1" font-weight="medium">31,946,328,269 ADA</p></div><div class="qlsl66-0 jrRnei" width="160"><div class="qlsl66-1 gntVua" width="114"></div></div></div></td><td style="text-align:right"><a class="cmc-link" href="/currencies/cardano/"><img alt="2010-price-graph" class="h7vnx2-0 bHRava" src="https://s3.coinmarketcap.com/generated/sparklines/web/7d/usd/2010.png"/></a></td><td><div class="sc-16r8icm-0 dOJIkS"><button class="x0o17e-0 ftvUnY sc-7pvt85-0 hmFKKb"><span class="icon-More-Vertical"></span></button></div></td></tr>
--
<tr class="sc-1rqmhtg-0 jUUSMS"><td><span></span></td><td><span></span></td><td><a class="cmc-link" href="/currencies/bitcoin-cash/"><span class="circle"></span><span>Bitcoin Cash</span><span class="crypto-symbol">BCH</span></a></td><td><span>$<!-- -->533.65</span></td><td><span></span></td></tr>

почему разный по обьему код 4-ой и 11-ой строки

@Garry Galler · 04.07.2021, 18:52

Сообщение от marginald

а почему тогда вывелись первые 10?

Сообщение от iSmokeJC

остальные элементы таблицы выстраиваются динамически,

Почитай по AJAX. Сайты с постоянно обновляющимися данными работают исключительно по API.
Они не рендерят сразу 100500 значений. Запросом request ты получаешь только минимальный шаблон страницы.
Все остальное достраивается динамически - уже после того как браузер отобразил стартовый шаблон страницы - javascript-ом, который делает запросы на сервер и получает в ответ данные в виде JSON.

P.S. У этого сайта есть, кстати, бесплатное (с ограничениями) публичное API (JSON). Ключ выдается сразу после регистрации. Есть подробная документацию с примерами на Python.

@marginald · 04.07.2021, 18:57 **[ТС]**

понял, спасибо большое

Новые блоги и статьи Все статьи Все блоги /
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Нашел на реддите интересную статью под названием «Кто-нибудь знает, где получить бесплатный компьютер или. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	04.07.2021, 15:11
	marginald, остальные элементы таблицы выстраиваются динамически, по мере прокрутки страницы вниз. 0

@marginald 0 / 0 / 1 Регистрация: 24.11.2019 Сообщений: 312
	04.07.2021, 18:57 [ТС]
	понял, спасибо большое 0