Как сделать такой парсер на python?

@ctepler · Регистрация: 28.08.2022

Студворк — интернет-сервис помощи студентам

Я смотрел видосы по python requests, но не могу понять, как мне взять заголовок первого сайта из поисковой выдачи?

То есть пользователь вводит например "Бойцовский клуб", к нему в конец добавляется "Кинопоиск" и логично, что если такое загуглить, то первой будет ссылка на кинопоиск. Так вот как мне взять заголовок этой первой ссылки и саму ссылку? Чтобы отправить это пользователю? Я уже как не пытался, никак у меня не получается... Буду очень признателен

Навоял такой код (мало понимаю в чем его смысл если честно):

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
import urllib
import requests
from bs4 import BeautifulSoup
 
 
 
query = "Бойцовский Клуб"
query = query.replace(' ', '+')
URL = f"https://google.com/search?q={query}"
 
# desktop user-agent
USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:65.0) Gecko/20100101 Firefox/65.0"
# mobile user-agent
MOBILE_USER_AGENT = "Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36"
 
headers = {"user-agent" : MOBILE_USER_AGENT}
resp = requests.get(URL, headers=headers)
 
if resp.status_code == 200:
    soup = BeautifulSoup(resp.content, "html.parser")
 
results = []
for g in soup.find_all('div', class_='r'):
    anchors = g.find_all('a')
    if anchors:
        link = anchors[0]['href']
        title = g.find('h3').text
        item = {
            "title": title,
            "link": link
        }
        results.append(item)
print(results)

Как мне это сделать ?

@CBR · 08.02.2023, 13:37

Сообщение от ctepler

Навоял такой код (мало понимаю в чем его смысл если честно)

этот как вообще возможно такое?)

@ctepler · 08.02.2023, 14:28 **[ТС]**

спрашивал на форуме, мне кинули линк на статью, в заголовке написано именно то, что мне нужно, я скопипастил и оно не делало то, что мне нужно....

@Ципихович Эндрю · 08.02.2023, 15:27

Сообщение от ctepler

в заголовке написано именно то, что мне нужно, я скопипастил и оно не делало то, что мне нужно....

значит нужно наказать того, кто дал такой линк, что он не проверил прежде чем дать сие, не?

@piton21 · 08.02.2023, 16:01

Код максимально странный, как и поставленная задача. Либо всё переделывать, либо, если надо именно поиск на кинопоиске, сделать поиск на кинопоиске, а гугл здесь не при чём.

@brian778 · 08.02.2023, 16:01

Не советовал бы я вам связываться с google, тем более через requests
Они очень не любят когда их хотят "обмануть"

Новые блоги и статьи Все статьи Все блоги /
Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .

@ctepler -18 / 1 / 0 Регистрация: 28.08.2022 Сообщений: 138
	08.02.2023, 14:28 [ТС]
	спрашивал на форуме, мне кинули линк на статью, в заголовке написано именно то, что мне нужно, я скопипастил и оно не делало то, что мне нужно.... 0

@piton21 132 / 96 / 40 Регистрация: 24.03.2022 Сообщений: 357
	08.02.2023, 16:01
	Код максимально странный, как и поставленная задача. Либо всё переделывать, либо, если надо именно поиск на кинопоиске, сделать поиск на кинопоиске, а гугл здесь не при чём. 0

@brian778 419 / 311 / 107 Регистрация: 30.08.2022 Сообщений: 1,195
	08.02.2023, 16:01
	Не советовал бы я вам связываться с google, тем более через requests Они очень не любят когда их хотят "обмануть" 0