Проблема с парсингом Бинг

@Stargazer87 · Регистрация: 23.08.2020

Студворк — интернет-сервис помощи студентам

Доброго времени суток. Недавно начал изучать Пайтон. В качестве практики решил написать простой парсер выдачи Bing. Но столкнулся с проблемой.

Итак, мой код выглядит вот так:

Python
1
2
3
4
5
6
7
8
9
10
11
from requests_html import HTMLSession
keywords = [
'как сделать бумажный самолетик',
'как сделать бумажный кораблик',
'как сделать бумажного журавля'
]
session = HTMLSession()
for key in keywords:
    resp = session.get(f'https://www.bing.com/search?q={key}')
    title = resp.html.xpath('//li[@class="b_algo"][1]//h2//text()')
    print(title)

Открываю сессию. В цикле получаю выдачу для каждого из трех ключей и с помощью xpath забираю ТОП-1 выдачи. После этого печатаю результат в консоль.

При этом получаю вот такой результат:

Python
1
2
3
 []
['6 лучших схем бумажных корабликов - Поделки из бумаги']
['Как сложить бумажного журавлика (с иллюстрациями)']

Результата по запросу “как сделать бумажный самолетик” нет. Остальные запросы - ОК.

Если распечатать в файл весь html код страницы, которую парсер получает по первому запросу в h1 находиться фраза “Не удалось найти ни одного результата для как сделать бумажный самолетик”

При этом если зайти по этому адресу из браузера, все в порядке. Результаты показываются.

Вопрос: почему по одному и тому же адресу - https://www.bing.com/search?q=... +самолетик - браузер получает один html код, а python совершенно другой?

@DobroAlex · 23.08.2020, 22:31

Stargazer87, потому что браузер выполняет много реквестов, их можно посмотреть в dev tools. Из моего опыта, Bing проще парсить через браузер чтоб не выполнять все эти реквесты руками. Я использую splinter

@Stargazer87 · 24.08.2020, 16:50 **[ТС]**

Сообщение от DobroAlex

потому что браузер выполняет много реквестов, их можно посмотреть в dev tools. Из моего опыта, Bing проще парсить через браузер чтоб не выполнять все эти реквесты руками.

Только непонятно, почему два других запроса отлично работают.

Сообщение от DobroAlex

Я использую splinter

Спасибо за подсказку. Надо будет попробовать

Новые блоги и статьи Все статьи Все блоги /
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .

@DobroAlex Заклинатель змей 705 / 560 / 219 Регистрация: 30.04.2016 Сообщений: 2,605
	23.08.2020, 22:31
	Stargazer87, потому что браузер выполняет много реквестов, их можно посмотреть в dev tools. Из моего опыта, Bing проще парсить через браузер чтоб не выполнять все эти реквесты руками. Я использую splinter 0