Как сделать такой парсер на python?

@ctepler · Регистрация: 28.08.2022

Студворк — интернет-сервис помощи студентам

Я смотрел видосы по python requests, но не могу понять, как мне взять заголовок первого сайта из поисковой выдачи?

То есть пользователь вводит например "Бойцовский клуб", к нему в конец добавляется "Кинопоиск" и логично, что если такое загуглить, то первой будет ссылка на кинопоиск. Так вот как мне взять заголовок этой первой ссылки и саму ссылку? Чтобы отправить это пользователю? Я уже как не пытался, никак у меня не получается... Буду очень признателен

Навоял такой код (мало понимаю в чем его смысл если честно):

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
import urllib
import requests
from bs4 import BeautifulSoup
 
 
 
query = "Бойцовский Клуб"
query = query.replace(' ', '+')
URL = f"https://google.com/search?q={query}"
 
# desktop user-agent
USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:65.0) Gecko/20100101 Firefox/65.0"
# mobile user-agent
MOBILE_USER_AGENT = "Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36"
 
headers = {"user-agent" : MOBILE_USER_AGENT}
resp = requests.get(URL, headers=headers)
 
if resp.status_code == 200:
    soup = BeautifulSoup(resp.content, "html.parser")
 
results = []
for g in soup.find_all('div', class_='r'):
    anchors = g.find_all('a')
    if anchors:
        link = anchors[0]['href']
        title = g.find('h3').text
        item = {
            "title": title,
            "link": link
        }
        results.append(item)
print(results)

Как мне это сделать ?

@CBR · 08.02.2023, 13:37

Сообщение от ctepler

Навоял такой код (мало понимаю в чем его смысл если честно)

этот как вообще возможно такое?)

@ctepler · 08.02.2023, 14:28 **[ТС]**

спрашивал на форуме, мне кинули линк на статью, в заголовке написано именно то, что мне нужно, я скопипастил и оно не делало то, что мне нужно....

@Ципихович Эндрю · 08.02.2023, 15:27

Сообщение от ctepler

в заголовке написано именно то, что мне нужно, я скопипастил и оно не делало то, что мне нужно....

значит нужно наказать того, кто дал такой линк, что он не проверил прежде чем дать сие, не?

@piton21 · 08.02.2023, 16:01

Код максимально странный, как и поставленная задача. Либо всё переделывать, либо, если надо именно поиск на кинопоиске, сделать поиск на кинопоиске, а гугл здесь не при чём.

@brian778 · 08.02.2023, 16:01

Не советовал бы я вам связываться с google, тем более через requests
Они очень не любят когда их хотят "обмануть"

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .	SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .

@ctepler -18 / 1 / 0 Регистрация: 28.08.2022 Сообщений: 138
	08.02.2023, 14:28 [ТС]
	спрашивал на форуме, мне кинули линк на статью, в заголовке написано именно то, что мне нужно, я скопипастил и оно не делало то, что мне нужно.... 0

@piton21 132 / 96 / 40 Регистрация: 24.03.2022 Сообщений: 357
	08.02.2023, 16:01
	Код максимально странный, как и поставленная задача. Либо всё переделывать, либо, если надо именно поиск на кинопоиске, сделать поиск на кинопоиске, а гугл здесь не при чём. 0

@brian778 419 / 311 / 107 Регистрация: 30.08.2022 Сообщений: 1,195
	08.02.2023, 16:01
	Не советовал бы я вам связываться с google, тем более через requests Они очень не любят когда их хотят "обмануть" 0