Извлечение заголовков в BeautifulSoup

@Franek · Регистрация: 01.06.2016

Студворк — интернет-сервис помощи студентам

Подскажите, почему не извлекается содержимое тэгов h3?

Python
1
2
3
4
5
6
7
8
9
import requests
from bs4 import BeautifulSoup as bs
 
r = requests.get("https://www.google.by/?gws_rd=ssl#newwindow=1&q=%D0%BB%D0%B5%D1%82%D0%BE")
print(r)
text = r.text
soup = bs(text, "html.parser")
h3 = soup("h3")
print(h3)

@user20177 · 14.02.2017, 19:12

Попробуй изменить ссылку на http://www.google.by/search?q=... 1%82%D0%BE
почитай тут более подробнее https://automatetheboringstuff.com/chapter11/

@Franek · 18.02.2017, 15:50 **[ТС]**

user20177, я так понял эти гугловские ссылки в моем и твоем сообщении отличаются тем, что в моей содержится дополнительный текст для адаптации Гугла к запросам пользователей (так написано в книге, на которую ссылка в сообщении выше). А как сделать чтобы ссылки (h3 заголовки) были рабочими?

Добавлено через 8 минут
Чтобы извлекалось содержимое h3 тэгов?

@user20177 · 18.02.2017, 19:55

посмотри этот код

Python
1
2
3
4
5
6
7
8
9
10
11
import requests
from bs4 import BeautifulSoup as bs
 
r = requests.get("http://www.google.by/search?q=%D0%BB%D0%B5%D1%82%D0%BE")
text = r.text
soup = bs(text, "html.parser")
items = soup.select('h3')
for item in items:
    a = item.find('a')
    print('{} - {}'.format(a.text, a.get('href')))
    print()

Добавлено через 26 минут
в начале каждой ссылки есть строка '/url?q=' можешь убрать методом lstrip a.get('href').lstrip('/url?q=')

@Franek · 18.02.2017, 20:56 **[ТС]**

user20177, этот метод сработал, лишние символы убрались, но извлечённые ссылки почему-то не рабочие.
Например, при нажатии ссылки на Википедию отображается: "Запрашиваемое название страницы содержит недопустимые символы: «%D0»".

Python
1
2
3
4
5
6
7
8
9
10
11
import requests
from bs4 import BeautifulSoup as bs
 
r = requests.get("http://www.google.by/search?q=%D0%BB%D0%B5%D1%82%D0%BE")
text = r.text
soup = bs(text, "html.parser")
items = soup.select('h3')
for item in items:
    a = item.find('a')
    print('{} - {}'.format(a.text, a.get('href').lstrip('/url?q=')))
    print()

@user20177 · 18.02.2017, 21:55

Тоже заметил, в каждой ссылке есть &sa если убрать все что начинается &sa и затем всю эту ссылку закинуть urllib.request.unquote то ссылка срабатывает.

Python
1
2
3
url = a.get('href').lstrip('/url?q=')
sa = url.find('&sa')
print(urllib.request.unquote(url[0:sa]))

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	Установка Emscripten SDK (emsdk) и CMake на Windows для сборки C и C++ приложений в WebAssembly (Wasm) 8Observer8 30.01.2026 Чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. Система контроля версиями Git. . .	Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .

Извлечение заголовков в BeautifulSoup

Решение

Решение

@user20177 11 / 11 / 7 Регистрация: 09.02.2017 Сообщений: 20
	14.02.2017, 19:12
	Сообщение было отмечено Franek как решение Решение Попробуй изменить ссылку на http://www.google.by/search?q=... 1%82%D0%BE почитай тут более подробнее https://automatetheboringstuff.com/chapter11/ 1

@Franek 2 / 2 / 1 Регистрация: 01.06.2016 Сообщений: 80
	18.02.2017, 15:50 [ТС]
	user20177, я так понял эти гугловские ссылки в моем и твоем сообщении отличаются тем, что в моей содержится дополнительный текст для адаптации Гугла к запросам пользователей (так написано в книге, на которую ссылка в сообщении выше). А как сделать чтобы ссылки (h3 заголовки) были рабочими? Добавлено через 8 минут Чтобы извлекалось содержимое h3 тэгов? 0