Немного не понимаю bs4

@Shipverty · Регистрация: 06.10.2016

Студворк — интернет-сервис помощи студентам

напишите пожалуйста код, чтобы стянуть текст из блока через bs4 и requests

HTML5
1
2
3
4
5
6
7
8
9
<div class="child-selector">
    <div class="js-child-name">
    "
        Ваши данные:  Борнашов
                      Валентин
                      Евгеньевич
      "
    </div>
</div>

Jabbson · 10.10.2017, 02:40

Python
1
2
3
4
5
6
7
8
9
from lxml import html
 
with open('yourtext.txt') as f_in:
    s = f_in.read()
 
h = html.fromstring(s)
d = h.xpath('//div[@class="js-child-name"]')
 
print(d[0].text.strip())

Добавлено через 41 секунду
вот так через lxml, если будет время и никто не опередит - позже напишу как через bs

Добавлено через 1 час 34 минуты

Python
1
2
3
4
5
6
7
8
from bs4 import BeautifulSoup as bs
 
with open('yourtext.txt') as f_in:
    s = f_in.read()
 
soup = bs(s, 'lxml')
text = soup.find('div', {'class': 'js-child-name'})
print(text.getText().strip())

@Shipverty · 10.10.2017, 16:20 **[ТС]**

Мне кажется или я что-то тут делаю не так...

Python
1
2
3
4
    url_journal = requests.get("https://sd.tom.ru/pages/journal")
    soup = BeautifulSoup(url_journal.text, "html.parser")
    p = soup.find('div', class_="child-selector").text
    print(p)

выводится ошибка

Python
1
2
p = soup.find('div', class_="child-selector").text
AttributeError: 'NoneType' object has no attribute 'text'

с другими типо: GetText, Get_text, string и т.п. тоже самое

@Garry Galler · 10.10.2017, 16:31

Сообщение от Shipverty

NoneType' object has no attribute 'text

Библиотека сказала, что "я ниче по этому селектору не нашла".
Какие к ней претензии?

@Shipverty · 10.10.2017, 16:39 **[ТС]**

Окей, немного поменял

Python
1
2
3
4
    url_journal = requests.get("https://sd.tom.ru/pages/journal")
    soup = BeautifulSoup(url_journal.text, "html.parser")
    p = soup.find('div', class_="js-child-name").text
    print(p)

код с сайта:

HTML5
1
2
3
4
5
6
7
8
9
<div class="child-selector">
    <div class="js-child-name">
    "
        Ваши данные:  Борнашов
                      Валентин
                      Евгеньевич
      "
    </div>
</div>

но всё равно тоже самое
P.S. Извините за мою тупость, если она есть

Jabbson · 10.10.2017, 17:03

не нужно создавать кучу тем про одно и тоже.

Сообщение от Shipverty

requests.get("https://sd.tom.ru/pages/journal")

страница у меня не открывается. точно урл указали?

Добавлено через 31 секунду
Если нужна авторизация - точно авторизовались?

Добавлено через 29 секунд
Если все выше верно - точно данные не генерируются javascript-ом?

@Shipverty · 10.10.2017, 17:07 **[ТС]**

Да, авторизация пройдена
Про javascript я не знаю...

Jabbson · 10.10.2017, 17:09

Cделайте get запрос страницы (r = requests.get(url)) через скрипт и выведите текст (r.content/r.text). Посмотрите, если там этот текст. Если нет - то его не выпарсить так, как это делаете Вы.

@Shipverty · 10.10.2017, 17:42 **[ТС]**

Этот текст там есть

Jabbson · 10.10.2017, 18:34

Значит все должно работать

Добавлено через 44 минуты
Если что-то не работает, нам бы немного больше деталей.

@Shipverty · 11.10.2017, 15:52 **[ТС]**

Добрый вечер. У меня есть код, который авторизирует меня на сайте. Как через него перейти на ссылку кнопки ? (ссылка есть)

Jabbson · 11.10.2017, 16:24

Через кого, него?
Если есть кнопка - считывайте значение href и делайте следующий get запрос.

@Shipverty · 11.10.2017, 16:52 **[ТС]**

Там нет тега а, я ссылку посмотрел через Network. А как делать следующий get запрос ?

Jabbson · 11.10.2017, 16:58

requests.get(url)

@Shipverty · 11.10.2017, 17:02 **[ТС]**

а как тогда если например, у меня уже есть урл от личного кабинета (переменная r) мне нужно именно через него по ссылке перейти?

Jabbson · 11.10.2017, 17:15

зачем? ничего не нужно. если нужно сохранить авторизацию - используйте сессию.
http://docs.python-requests.or... on-objects

@izuchaju_python · 11.10.2017, 17:17

Shipverty,

Python
1
2
3
4
    url_journal = requests.get("https://sd.tom.ru/pages/journal")
    soup = BeautifulSoup(url_journal.text, "html.parser")
    p = soup.find('div', class_="js-child-name")
    print(p)

а так что выводит?

Добавлено через 16 секунд
Shipverty,

Python
1
2
3
4
    url_journal = requests.get("https://sd.tom.ru/pages/journal")
    soup = BeautifulSoup(url_journal.text, "html.parser")
    p = soup.find('div', class_="js-child-name")
    print(p)

а так что выводит?

@Garry Galler · 11.10.2017, 17:26

Сообщение от izuchaju_python

а так что выводит?

Написано же в ошибке:NoneType-> None
А не получается у него, потому что ТС понятия не имеет о сессии.
Он авторизовался одним запросом, а запрашивает данные - другим.
Раз сессии нет (http не сохраняет состояние - это, думаю, всем известно?) - между запросами нет никакой связи.
---------------------------------------
requests.Session() нужно юзать.

@Erzed · 13.10.2017, 08:21

верно:

Python
1
p = soup.find('div', {"class"_="js-child-name"}).text

@Garry Galler · 13.10.2017, 12:22

Сообщение от Erzed

soup.find('div', {"class"_="js-child-name"}).text

Чего-то вы какую-то фигню написали. Нижнее подчеркивание тут для чего?
---------------------
А вообще читайте документацию. В bs4 параметры в find\find_all можно передавать как именованными (class_, id), так и словарем с именем attrs={param:value}; также просто словарем атрибутов вторым параметром, либо строкой с именем класса - также вторым параметром.

Новые блоги и статьи Все статьи Все блоги /
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .	Фото: Daniel Greenwood kumehtar 13.11.2025	Расскажи мне о Мире, бродяга kumehtar 12.11.2025 — Расскажи мне о Мире, бродяга, Ты же видел моря и метели. Как сменялись короны и стяги, Как эпохи стрелою летели. - Этот мир — это крылья и горы, Снег и пламя, любовь и тревоги, И бескрайние. . .

@Shipverty 0 / 0 / 0 Регистрация: 06.10.2016 Сообщений: 72
	10.10.2017, 17:07 [ТС]
	Да, авторизация пройдена Про javascript я не знаю... 0

Jabbson 5906 / 3358 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	10.10.2017, 17:09
	Cделайте get запрос страницы (r = requests.get(url)) через скрипт и выведите текст (r.content/r.text). Посмотрите, если там этот текст. Если нет - то его не выпарсить так, как это делаете Вы. 0

@Shipverty 0 / 0 / 0 Регистрация: 06.10.2016 Сообщений: 72
	10.10.2017, 17:42 [ТС]
	Этот текст там есть 0

Jabbson 5906 / 3358 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	10.10.2017, 18:34
	Сообщение было отмечено Shipverty как решение Решение Значит все должно работать Добавлено через 44 минуты Если что-то не работает, нам бы немного больше деталей. 1

@Shipverty 0 / 0 / 0 Регистрация: 06.10.2016 Сообщений: 72
	11.10.2017, 15:52 [ТС]
	Добрый вечер. У меня есть код, который авторизирует меня на сайте. Как через него перейти на ссылку кнопки ? (ссылка есть) 0

Jabbson 5906 / 3358 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	11.10.2017, 16:24
	Через кого, него? Если есть кнопка - считывайте значение href и делайте следующий get запрос. 0

@Shipverty 0 / 0 / 0 Регистрация: 06.10.2016 Сообщений: 72
	11.10.2017, 16:52 [ТС]
	Там нет тега а, я ссылку посмотрел через Network. А как делать следующий get запрос ? 0

Jabbson 5906 / 3358 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	11.10.2017, 16:58
	requests.get(url) 0

@Shipverty 0 / 0 / 0 Регистрация: 06.10.2016 Сообщений: 72
	11.10.2017, 17:02 [ТС]
	а как тогда если например, у меня уже есть урл от личного кабинета (переменная r) мне нужно именно через него по ссылке перейти? 0

Jabbson 5906 / 3358 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	11.10.2017, 17:15
	зачем? ничего не нужно. если нужно сохранить авторизацию - используйте сессию. http://docs.python-requests.or... on-objects 0

Немного не понимаю bs4

Решение