Как работать с BeautifulSoup?

@supmener · Регистрация: 26.06.2013

Студворк — интернет-сервис помощи студентам

Не могу понять эту конструкцию.

Python
1
print(soup.html.nextSibling == None) # True

Полный код:

Python
1
2
3
4
5
6
7
doc = ['<html><head><title>Page title</title></head>',
       '<body><p id="firstpara" align="center">This is paragraph <b>one</b>.',
       '<p id="secondpara" align="blah">This is paragraph <b>two</b>.',
       '</html>']
soup = BeautifulSoup(''.join(doc))
print(soup.html.nextSibling == None) # True
# Источник http://wiki.python.su/Документации/BeautifulSoup

@iSmokeJC · 17.08.2022, 13:23

supmener, ты совсем плох? Прям по твоей же ссылке, прям сверху над этим вот кодом все написано. Подробно и по русски.

Добавлено через 1 минуту
Или ты принципиально не понимаешь структуру html-документа?

Не по теме:

Впрочем, это нужно было писать утвердительно

@supmener · 17.08.2022, 13:43 **[ТС]**

Сейчас понял. Если правильно подумал, это значит, что далее в документе больше нет конструкции с тегом html.

@iSmokeJC · 17.08.2022, 13:46

Сообщение от supmener

Если правильно подумал

Нет, неправильно

@supmener · 17.08.2022, 14:30 **[ТС]**

Почему не правильно, если закрывающий тег пропускается?

Ещё не понял, что делать, чтобы писалось на диск:

Python
1
2
3
4
5
6
7
soup1 = soup.find_all('table')
#print(soup1[2])
#print(sys.getsizeof(soup1)) # 136
 
f = open('text.txt', 'w')
f.write(soup1)
f.close()

Code
1
2
    f.write(soup1)
TypeError: write() argument must be str, not ResultSet

Добавлено через 4 минуты
Или Вы имели в виду, что в своем ответе не упомянул вложенность или её отсутствие?

@iSmokeJC · 17.08.2022, 14:32

Сообщение от supmener

TypeError: write() argument must be str, not ResultSet

Перевожу : "изучите основы, в конце-то концов!!!"

@supmener · 17.08.2022, 14:59 **[ТС]**

str это тип строки. ResultSet переводится "Набор результатов".

Python
1
2
print(type(soup1))
#<class 'bs4.element.ResultSet'>

Как говорят в видео, если правильно запомнил, это объект класса BeautifulSoup. Или по фрагменту кода не понятно, как поправить и надо показать полностью листинг?

@iSmokeJC · 17.08.2022, 15:04

Сообщение от supmener

Или по фрагменту кода не понятно, как поправить

По фрагменту кода, равно как и по тексту ошибки все ясно как Божий день. Для тех, кто знает основы, разумеется. И поправить это элементарно. Причем несколькими способами. Настолько элементарно, что аж смешно

Добавлено через 46 секунд
При том, что для исправления данной ошибки можно не знать что такое bs от слова совсем

@supmener · 17.08.2022, 20:08 **[ТС]**

Теперь понял, в чем был неправ, ориентируясь на этот текст:

Элемент nextSibling объекта <BODY> Tag равен None, поскольку в нем больше нет вложенных по отношению к объекту <HTML> Tag элементов.

Только не понимаю пока, для чего и как это может быть практически нужно.

@supmener · 18.08.2022, 06:33 **[ТС]**

Сообщение от iSmokeJC

По фрагменту кода, равно как и по тексту ошибки все ясно как

Очень хорошо, что Вам ясно и понятно.

Python
1
soup2 = str(soup1[2])

Добавлено через 1 час 51 минуту

Сообщение от supmener

Элемент nextSibling объекта <BODY> Tag равен None, поскольку в нем больше нет вложенных по отношению к объекту <HTML> Tag элементов.
Только не понимаю пока, для чего и как это может быть практически нужно.

Возможно это как то связано с необходимостью проверки существования удаленного ранее тега.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
from bs4 import BeautifulSoup
soup = BeautifulSoup("<a1></a1><a><b>Amazing content<c><d></a><a2></a2>")
soup.a1.nextSibling
# <a><b>Amazing content<c><d></d></c></b></a>
soup.a2.previousSibling
# <a><b>Amazing content<c><d></d></c></b></a>
 
subtree = soup.a
subtree.extract()
 
print(soup)
# <a1></a1><a2></a2>
soup.a1.nextSibling
# <a2></a2>
soup.a2.previousSibling
# <a1></a1>
 
soup.a1.nextSibling
# <a2></a2>
soup.a2.previousSibling
# <a1></a1>
subtree.previousSibling == None
# True
subtree.parent == None
# True

@supmener · 18.08.2022, 21:17 **[ТС]**

Удалил. Нашел ошибку.

Jabbson · 18.08.2022, 21:23

Python
1
2
3
4
5
6
7
8
9
10
11
import requests
from bs4 import BeautifulSoup
 
req = requests.get('https://www.mobileshop.eu/apple/tablets')
soup = BeautifulSoup(req.text, 'html.parser')
items = soup.select('.product-module')
 
for i in items:
    print(i.select_one('.product-name').text.strip())
    print(i.select_one('.price').text.strip())
    print()

Добавлено через 51 секунду
но да, break не помогал ни разу получить больше результатов

@supmener · 18.08.2022, 22:34 **[ТС]**

А не знаете, почему в int не изменяется?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import requests
from bs4 import BeautifulSoup
 
 
url = "https://www.mobileshop.eu/apple/tablets/"
 
cookie = {"cookie": "saved_currency=EUR; saved_lang=1; GdprAccept=true"}
 
response = requests.get(url, cookies=cookie)
 
html = response.text
 
soup = BeautifulSoup(html, "html.parser")
 
conteiner = soup.find_all("div", {"class":"product-module"})
print(len(conteiner)) # 12
 
for product in conteiner:
    name = product.find_all("a")[1].text
    print(name)
    price = product.find("div", class_="price").text[:-2] # удаляем пробел и знак евро в конце # 652.00 €
    print(int(price)) # Удаляем нули на конце 664.00

Code
1
2
3
4
5
6
12
Apple iPad Pro 12.9 (2021) WiFi 128GB 8GB RAM Silver
Traceback (most recent call last):
  File "путь удалил\main_1.py", line 29, in <module>
    print(int(price)) # Удаляем нули на конце 664.00
ValueError: invalid literal for int() with base 10: '\n1124.00\xa0'

Jabbson · 19.08.2022, 00:05

Сообщение от supmener

ValueError: invalid literal for int() with base 10: '\n1124.00\xa0'

мне кажется, ошибка имеет в себе ответ на Ваш вопрос.

питон не знает, как превратить '\n1124.00\xa0' в число.

Добавлено через 1 минуту
попробуйте

Python
1
print(int(price.strip()))

@supmener · 19.08.2022, 05:58 **[ТС]**

Python
1
2
    price = product.find("div", class_="price").text[:-2] # удаляем пробел и знак евро в конце # 652.00 €
    print(int(price.strip()))

Code
1
2
    print(int(price.strip()))
ValueError: invalid literal for int() with base 10: '1124.00'

Jabbson · 19.08.2022, 05:59

float()?

@supmener · 19.08.2022, 06:05 **[ТС]**

Так тоже не работает

Python
1
print(int(str(price.strip())))

Вот так получилось

Python
1
print(int(eval(price.strip())))

Добавлено через 1 минуту
Так тоже работает

Python
1
    print(int(float(price.strip())))

@supmener · 01.01.2023, 17:34 **[ТС]**

Сейчас изучаю документацию https://www.crummy.com/softwar... bs4ru.html

Python
1
2
3
4
5
from bs4 import BeautifulSoup
soup = BeautifulSoup('<b id = "boldest">', 'html.parser')
tag = soup.b
t = soup.tag['id']
print(t)

Code
1
2
3
4
Traceback (most recent call last):
  File "l:\Python\parsing\1 BeautifulSoup\Документация Beautiful Soup, русский перевод\a5 тэг с id.py", line 4, in <module>
    t = soup.tag['id']
TypeError: 'NoneType' object is not subscriptable

soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
tag = soup.b
type(tag)
# <class 'bs4.element.Tag'>
У объекта Tag (далее «тег») много атрибутов и методов, и я расскажу о большинстве из них в разделах Навигация по дереву и Поиск по дереву. На данный момент наиболее важными особенностями тега являются его имя и атрибуты.

Имя
У каждого тега есть имя, доступное как .name:

tag.name
# u'b'
Если вы измените имя тега, это изменение будет отражено в любой HTML- разметке, созданной Beautiful Soup:

tag.name = "blockquote"
tag
# <blockquote class="boldest">Extremely bold</blockquote>
Атрибуты
У тега может быть любое количество атрибутов. Тег <b id = "boldest"> имеет атрибут “id”, значение которого равно “boldest”. Вы можете получить доступ к атрибутам тега, обращаясь с тегом как со словарем:

tag['id']
# u'boldest'

Рыжий Лис · 01.01.2023, 18:17

3 строка - неиспользуемая переменная
4 строка - сам догадаешься?

@supmener · 01.01.2023, 22:24 **[ТС]**

Заработало

Python
1
2
3
4
from bs4 import BeautifulSoup
soup = BeautifulSoup('<b id = "boldest">', 'html.parser')
tag = soup.b 
print(tag['id']) # boldest

Добавлено через 2 часа 10 минут
Там написано:

Вряд ли вам это пригодится, но если все-таки будет нужно, руководствуйтесь значениями по умолчанию. Они реализуют правила, описанные в спецификации HTML:

from bs4.builder import builder_registry
builder_registry.lookup('html').DEFAULT_ CDATA_LIST_ATTRIBUTES

В каком случае это может пригодиться?

Добавлено через 1 минуту

Python
1
print(builder_registry.lookup('html').DEFAULT_CDATA_LIST_ATTRIBUTES)

принт выводит:

Code
1
{'*': ['class', 'accesskey', 'dropzone'], 'a': ['rel', 'rev'], 'link': ['rel', 'rev'], 'td': ['headers'], 'th': ['headers'], 'form': ['accept-charset'], 'object': ['archive'], 'area': ['rel'], 'icon': ['sizes'], 'iframe': ['sandbox'], 'output': ['for']}

Добавлено через 1 час 8 минут
"""

NavigableString похожа на строку Unicode в Python, не считая того, что она также поддерживает некоторые функции,
описанные в разделах Навигация по дереву и Поиск по дереву.
Вы можете конвертировать NavigableString в строку Unicode с помощью unicode():

"""

Python
1
2
3
4
5
6
from bs4 import BeautifulSoup
 
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>', 'html.parser')
tag = soup.b
print(tag.string) 
unicode_string = unicode(tag.string)

Слово unicode подчеркивает ошибкой

Новые блоги и статьи Все статьи Все блоги /
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20%	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .
Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .	Уведомление о неверно выбранном значении справочника Maks 06.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .	Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	17.08.2022, 13:23
	supmener, ты совсем плох? Прям по твоей же ссылке, прям сверху над этим вот кодом все написано. Подробно и по русски. Добавлено через 1 минуту Или ты принципиально не понимаешь структуру html-документа? Не по теме: Впрочем, это нужно было писать утвердительно 1

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	17.08.2022, 13:43 [ТС]
	Сейчас понял. Если правильно подумал, это значит, что далее в документе больше нет конструкции с тегом html. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	18.08.2022, 21:17 [ТС]
	Удалил. Нашел ошибку. 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	19.08.2022, 05:59
	float()? 1

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	01.01.2023, 18:17
	3 строка - неиспользуемая переменная 4 строка - сам догадаешься? 0