Проблема с парсингом Бинг

@Stargazer87 · Регистрация: 23.08.2020

Студворк — интернет-сервис помощи студентам

Доброго времени суток. Недавно начал изучать Пайтон. В качестве практики решил написать простой парсер выдачи Bing. Но столкнулся с проблемой.

Итак, мой код выглядит вот так:

Python
1
2
3
4
5
6
7
8
9
10
11
from requests_html import HTMLSession
keywords = [
'как сделать бумажный самолетик',
'как сделать бумажный кораблик',
'как сделать бумажного журавля'
]
session = HTMLSession()
for key in keywords:
    resp = session.get(f'https://www.bing.com/search?q={key}')
    title = resp.html.xpath('//li[@class="b_algo"][1]//h2//text()')
    print(title)

Открываю сессию. В цикле получаю выдачу для каждого из трех ключей и с помощью xpath забираю ТОП-1 выдачи. После этого печатаю результат в консоль.

При этом получаю вот такой результат:

Python
1
2
3
 []
['6 лучших схем бумажных корабликов - Поделки из бумаги']
['Как сложить бумажного журавлика (с иллюстрациями)']

Результата по запросу “как сделать бумажный самолетик” нет. Остальные запросы - ОК.

Если распечатать в файл весь html код страницы, которую парсер получает по первому запросу в h1 находиться фраза “Не удалось найти ни одного результата для как сделать бумажный самолетик”

При этом если зайти по этому адресу из браузера, все в порядке. Результаты показываются.

Вопрос: почему по одному и тому же адресу - https://www.bing.com/search?q=... +самолетик - браузер получает один html код, а python совершенно другой?

@DobroAlex · 23.08.2020, 22:31

Stargazer87, потому что браузер выполняет много реквестов, их можно посмотреть в dev tools. Из моего опыта, Bing проще парсить через браузер чтоб не выполнять все эти реквесты руками. Я использую splinter

@Stargazer87 · 24.08.2020, 16:50 **[ТС]**

Сообщение от DobroAlex

потому что браузер выполняет много реквестов, их можно посмотреть в dev tools. Из моего опыта, Bing проще парсить через браузер чтоб не выполнять все эти реквесты руками.

Только непонятно, почему два других запроса отлично работают.

Сообщение от DobroAlex

Я использую splinter

Спасибо за подсказку. Надо будет попробовать

Новые блоги и статьи Все статьи Все блоги /
Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
Программное заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем

@DobroAlex Заклинатель змей 705 / 560 / 219 Регистрация: 30.04.2016 Сообщений: 2,605
	23.08.2020, 22:31
	Stargazer87, потому что браузер выполняет много реквестов, их можно посмотреть в dev tools. Из моего опыта, Bing проще парсить через браузер чтоб не выполнять все эти реквесты руками. Я использую splinter 0