Ошибка парсера AttributeError: 'NoneType' object has no attribute 'get_text'

@marginald · Регистрация: 24.11.2019

Студворк — интернет-сервис помощи студентам

Хочу получить имена криптовалют на первой странице, выводит только первые десять, а потом ошибка.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
from bs4 import BeautifulSoup as Bs
import requests
 
import csv
 
 
def get_page_data(html):
    soup = Bs(html, 'lxml')
    trs = soup.find('table', class_='h7vnx2-2').find('tbody').find_all('tr')
    
    for tr in trs:
        tds = tr.find_all('td')
        name = tds[2].find('p',class_='sc-1eb5slv-0 iJjGCS').get_text()
        #link = 'https://coinmarketcap.com' + tds[2].find('a').get('href')
        #short_name = tds[2].find('p',class_='coin-item-symbol').get_text()
        cost = tds[3].get_text()
        
        print(name)
        
    
            
    
    
 
def write_csv(data):
    with open('cmc.csv','a') as f:
        writer = csv.writer(f)
        pass
    
def main():
    r = requests.get('https://coinmarketcap.com/')
    print(r)
    get_page_data(r.text)
 
 
main()

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
<Response [200]>
Bitcoin
Ethereum
Tether
Binance Coin
Cardano
Dogecoin
XRP
USD Coin
Polkadot
Uniswap
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-83-d637224d7a3c> in <module>
     34 
     35 
---> 36 main()
 
<ipython-input-83-d637224d7a3c> in main()
     31     r = requests.get('https://coinmarketcap.com/')
     32     print(r)
---> 33     get_page_data(r.text)
     34 
     35 
 
<ipython-input-83-d637224d7a3c> in get_page_data(html)
     11     for tr in trs:
     12         tds = tr.find_all('td')
---> 13         name = tds[2].find('p',class_='sc-1eb5slv-0 iJjGCS').get_text()
     14         #link = 'https://coinmarketcap.com' + tds[2].find('a').get('href')
     15         #short_name = tds[2].find('p',class_='coin-item-symbol').get_text()
 
AttributeError: 'NoneType' object has no attribute 'get_text'

Добавлено через 58 минут
может это своего рода ограничения ради производительности

@iSmokeJC · 04.07.2021, 15:11

marginald, остальные элементы таблицы выстраиваются динамически, по мере прокрутки страницы вниз.

@АмигоСП · 04.07.2021, 15:19

Если только названия - то они там немного по другому запрятаны просто.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
import requests
import lxml.html as lxml_parser
 
url = 'https://coinmarketcap.com/'
 
resp_page = requests.get(url)
tree = lxml_parser.fromstring(resp_page.content)
all_name = tree.xpath('//p[@color="text"][@font-size="1"][@font-weight="semibold"]/text()')
hide_name = tree.xpath('//a[contains(@href, "/currencies/")][@class="cmc-link"]')
for name in hide_name[40:]:
    hide_name = name.getchildren()
    all_name.append(hide_name[1].text)
print(all_name)

@marginald · 04.07.2021, 15:43 **[ТС]**

Сообщение от АмигоСП

Если только названия - то они там немного по другому запрятаны просто.

спасибо за пример
а почему не работает мой пример, он же вроде правильно прописан

@Garry Galler · 04.07.2021, 16:34

Сообщение от marginald

он же вроде правильно прописан

Нет, неправильно. Даже не вдаваясь в селекторы скажу так: те, кто использует bs4 все делает изначально неправильно.
Ты получил список tds = tr.find_all('td')
Почему ты не проверяешь, что он не пустой? К пустой ~~голове~~ списку индексы не прикладывают. Если не проверять - будет IndexError.
Ты якобы что-то получил через name = tds[2].find(...)
Почему ты не проверяешь, что name не None? Если не проверять - будет AttributeError.

@marginald · 04.07.2021, 18:50 **[ТС]**

Сообщение от Garry Galler

Нет, неправильно

а почему тогда вывелись первые 10? объясните пожалуйста

Добавлено через 13 минут

Python
1
2
3
<tr><td><span class="sc-80eeb0-1 iuAjRY"><span class="icon-Star"></span></span></td><td style="text-align:left"><p class="sc-1eb5slv-0 etpvrL" color="text2" font-size="0">5</p></td><td style="text-align:left"><div class="sc-16r8icm-0 bjdvWe" display="flex"><a class="cmc-link" href="/currencies/cardano/"><div class="sc-16r8icm-0 sc-1teo54s-0 jDQqmt"><img class="coin-logo" src="https://s2.coinmarketcap.com/static/img/coins/64x64/2010.png"/><div class="sc-16r8icm-0 sc-1teo54s-1 cPNAgw"><p class="sc-1eb5slv-0 iJjGCS" color="text" font-size="1" font-weight="semibold">Cardano</p><div class="sc-1teo54s-2 fZIJcI"><div class="sc-1teo54s-3 etWhyV">5</div><p class="sc-1eb5slv-0 gGIpIK coin-item-symbol" color="text3" font-size="1">ADA</p></div></div></div></a></div></td><td><div class="sc-131di3y-0 cLgOOr"><a class="cmc-link" href="/currencies/cardano/markets/">$1.44</a></div></td><td style="text-align:right"><span class="sc-15yy2pl-0 kAXKAX"><span class="icon-Caret-up"></span>0.96<!-- -->%</span></td><td style="text-align:right"><span class="sc-15yy2pl-0 kAXKAX"><span class="icon-Caret-up"></span>14.12<!-- -->%</span></td><td style="text-align:right"><p class="sc-1eb5slv-0 kDEzev" color="text" font-size="1" style="white-space:nowrap"><span class="sc-1ow4cwt-0 iosgXe">$45.92B</span><span class="sc-1ow4cwt-1 ieFnWP">$45,915,042,343</span></p></td><td style="text-align:right"><div class="sc-16r8icm-0 j3nwcd-0 dPuGsC"><a class="cmc-link" href="/currencies/cardano/markets/"><p class="sc-1eb5slv-0 kDEzev font_weight_500___2Lmmi" color="text" font-size="1">$1,675,270,898</p></a><p class="sc-1eb5slv-0 etpvrL" color="text2" font-size="0">1,165,603,936 ADA</p></div></td><td style="text-align:right"><div class="sc-16r8icm-0 g5oqcc-0 ebjmWp"><div class="sc-16r8icm-0 g5oqcc-1 fuJsZs"><div class="g5oqcc-4 gQCXde"><span class="icon-Info"></span></div><p class="sc-1eb5slv-0 hNpJqV" color="text" font-size="1" font-weight="medium">31,946,328,269 ADA</p></div><div class="qlsl66-0 jrRnei" width="160"><div class="qlsl66-1 gntVua" width="114"></div></div></div></td><td style="text-align:right"><a class="cmc-link" href="/currencies/cardano/"><img alt="2010-price-graph" class="h7vnx2-0 bHRava" src="https://s3.coinmarketcap.com/generated/sparklines/web/7d/usd/2010.png"/></a></td><td><div class="sc-16r8icm-0 dOJIkS"><button class="x0o17e-0 ftvUnY sc-7pvt85-0 hmFKKb"><span class="icon-More-Vertical"></span></button></div></td></tr>
--
<tr class="sc-1rqmhtg-0 jUUSMS"><td><span></span></td><td><span></span></td><td><a class="cmc-link" href="/currencies/bitcoin-cash/"><span class="circle"></span><span>Bitcoin Cash</span><span class="crypto-symbol">BCH</span></a></td><td><span>$<!-- -->533.65</span></td><td><span></span></td></tr>

почему разный по обьему код 4-ой и 11-ой строки

@Garry Galler · 04.07.2021, 18:52

Сообщение от marginald

а почему тогда вывелись первые 10?

Сообщение от iSmokeJC

остальные элементы таблицы выстраиваются динамически,

Почитай по AJAX. Сайты с постоянно обновляющимися данными работают исключительно по API.
Они не рендерят сразу 100500 значений. Запросом request ты получаешь только минимальный шаблон страницы.
Все остальное достраивается динамически - уже после того как браузер отобразил стартовый шаблон страницы - javascript-ом, который делает запросы на сервер и получает в ответ данные в виде JSON.

P.S. У этого сайта есть, кстати, бесплатное (с ограничениями) публичное API (JSON). Ключ выдается сразу после регистрации. Есть подробная документацию с примерами на Python.

@marginald · 04.07.2021, 18:57 **[ТС]**

понял, спасибо большое

Новые блоги и статьи Все статьи Все блоги /
Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	04.07.2021, 15:11
	marginald, остальные элементы таблицы выстраиваются динамически, по мере прокрутки страницы вниз. 0

@marginald 0 / 0 / 1 Регистрация: 24.11.2019 Сообщений: 312
	04.07.2021, 18:57 [ТС]
	понял, спасибо большое 0