Парсинг страницы

@Моргарита · Регистрация: 29.04.2018

Студворк — интернет-сервис помощи студентам

Добрый вечер) Может кто подсказать. Я пытаюсь вытащить из страницы вот этот тег:

HTML5
1
<dd class="ng-star-inserted">680</dd>

На странице я смотрю код, этот тег там есть, но когда я пытаюсь вытащить его, программа выдает "None". Я попробовала проверить, а что видит программа (какие теги страницы). Получилось так, что этот тег программа не видит.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
with req.Session() as s:
    url = 'https://e.lanbook.com/api/v2/signin'
 
    datas = { 
    "login":"****",
    "password":"****",
    "type":"UserCredentials"
        }
    
    s.get(url)
    y = s.post(url, data = datas)   
    url2 = "https://e.lanbook.com/book/135669"
    resp = s.get(url2)
    soup = BeautifulSoup(resp.text, 'lxml')
   #пытаюсь вытащить из страницы тег   --> None 
    print(soup.find("dd", {"class":"ng-star-inserted"})) 
    #пытаюсь вытащить все теги
    print(soup)

Во вложении я показала, где должен быть мой тег. Но получается, что программа даже не видит, что содержится между этими тегами. Можно ли это как то исправить? Ведь если я захожу на сайт и проверяю код страницы, то там отображается тот тег. На втором и третьем рисунке я показала кусочек кода страницы. Помогите, пожалуйста, решить данную проблему, если это возможно)

@Welemir1 · 11.05.2020, 17:10

Моргарита, и имя не можешь без ошибки написать и парсингом занялась не понимая что делаешь. Не нужна тебе веб страница, кидай запрос на https://e.lanbook.com/api/v2/catalog/book/135669 и там все в жсоне красивом есть

Python
1
2
3
>>> resp = requests.get('https://e.lanbook.com/api/v2/catalog/book/135669')
>>> resp.json()['body']['pages']
680

@Моргарита · 11.05.2020, 17:20 **[ТС]**

Имя я специально так написала, если вам глаза режет, можете не смотреть на имя) А ссылку я кинула такую, потому что в программе предполагается, что все будут загружать файл с такими ссылками, а не искать ссылки такого вида https://e.lanbook.com/api/v2/catalog/book/135669. Поэтому и нужна помощь именно вот с этим(((

@Welemir1 · 11.05.2020, 17:24

Моргарита, а в чем сложность преобразовать
https://e.lanbook.com/book/135669 в https://e.lanbook.com/api/v2/catalog/book/135669
закономерность не видите?

Не, если конечно хочется долго и мучительно, то используй селениум, и там парсь страницу, реквест не сможет, ибо джаваскриптом все подгружается.

@Моргарита · 11.05.2020, 17:39 **[ТС]**

Я вижу закономерность, думаю, смогу разделить и склеить ссылку) Но мне нужно сказать еще сколько страниц доступно. Вот, например, в той ссылке сказано, что страниц 680, но на самом деле, доступно только 10. А вот в этой ссылке https://e.lanbook.com/book/38399 страниц 169, и они все доступны. Я хотела вытащить параметр, где написано, что чтение книги недоступно, это значит, что в книге от силы страниц 10-15.

@Моргарита · 11.05.2020, 17:43 **[ТС]**

Оооо, там есть параметр available. Я по нему и буду ориентироваться. Спасибо)

@Welemir1 · 11.05.2020, 17:49

Моргарита, БИНГО! там в жсоне есть все

Новые блоги и статьи Все статьи Все блоги /
Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .	Фото: Daniel Greenwood kumehtar 13.11.2025

@Моргарита 1 / 1 / 0 Регистрация: 29.04.2018 Сообщений: 26
	11.05.2020, 17:20 [ТС]
	Имя я специально так написала, если вам глаза режет, можете не смотреть на имя) А ссылку я кинула такую, потому что в программе предполагается, что все будут загружать файл с такими ссылками, а не искать ссылки такого вида https://e.lanbook.com/api/v2/catalog/book/135669. Поэтому и нужна помощь именно вот с этим((( 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,664 Записей в блоге: 29
	11.05.2020, 17:24
	Моргарита, а в чем сложность преобразовать https://e.lanbook.com/book/135669 в https://e.lanbook.com/api/v2/catalog/book/135669 закономерность не видите? Не, если конечно хочется долго и мучительно, то используй селениум, и там парсь страницу, реквест не сможет, ибо джаваскриптом все подгружается. 0

@Моргарита 1 / 1 / 0 Регистрация: 29.04.2018 Сообщений: 26
	11.05.2020, 17:39 [ТС]
	Я вижу закономерность, думаю, смогу разделить и склеить ссылку) Но мне нужно сказать еще сколько страниц доступно. Вот, например, в той ссылке сказано, что страниц 680, но на самом деле, доступно только 10. А вот в этой ссылке https://e.lanbook.com/book/38399 страниц 169, и они все доступны. Я хотела вытащить параметр, где написано, что чтение книги недоступно, это значит, что в книге от силы страниц 10-15. Миниатюры 0

@Моргарита 1 / 1 / 0 Регистрация: 29.04.2018 Сообщений: 26
	11.05.2020, 17:43 [ТС]
	Оооо, там есть параметр available. Я по нему и буду ориентироваться. Спасибо) 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,664 Записей в блоге: 29
	11.05.2020, 17:49
	Моргарита, БИНГО! там в жсоне есть все 0

Парсинг страницы

Решение