Почему на некоторых сайтах, при их парсинге с помощью selenium, извлекаемые код html не полный?

Здравствуйте уважаемые форумчане! В программировании недавно и до сих пор всё трудности удавалось решить Гуглом и GPT. До этого случая)

Пытался вчера спарсить Яндекс Карты. Начиналось всё как обычно - чтобы не прибегать сразу к селениуму попробовал сделать как-то через АПИ. Апишка нужной информации мне не выдала

Пришлось открывать терминал и устанавливать Selenium. Накидал по быстрому привычный код, вот алгоритм: нашёл по xPath элемент поля ввода, ввёл свой запрос и веб драйвер успешно его загрузил. На странице появился список организаций. Далее алгоритм должен снять html код с текущей страницы, сделать этот html объектом BeautifulSoup, извлечь из него интересующие меня данные и перейти по ссылке на первую в этом списке организацию (кликнув по ссылке опять же найдя её по хpath).

Ошибка вылезла на строке кода с BeautifulSoup. Питон заругался на то, что нельзя применять методы прекрасного супа к объекту NoneType. Первым делом естественно проверил правильность указанных аргументов в .find() - всё было верно! Попробовал выждать время time.sleep() - тоже не помогло((. Дождаться появление на странице элемента с таким-то xPath - ошибка тайм-аута. Повторил предыдущий шаг, его уже с css селектором - опять таже ошибка.

На последок извлёк этот html код, и вставил его в блокнот. Попытка поиска нужных мне участков кода в блокноте через "контрол+эф" привели к 0 найденных элементов. Какая-то бесовщина, не иначе))

Может кто уже сталкивался и подскажет. Очень на это надеюсь))

0

Сообщение от YuriSib Апишка нужной информации мне не выдала

Я более чем уверен, что сайт так же апишками пользуется и все что нужно получает через них. Тут либо не та апишка была, либо не так использовали.

Сообщение от YuriSib Далее алгоритм должен снять html код с текущей страницы, сделать этот html объектом BeautifulSoup

Далее нужна конкретика На словах все красиво, как на практике это выглядит нужно посмотреть.

0

Сообщение от YuriSib Далее алгоритм должен снять html код с текущей страницы, сделать этот html объектом BeautifulSoup, извлечь из него интересующие меня данные и перейти по ссылке на первую в этом списке организацию (кликнув по ссылке опять же найдя её по хpath).

вот тут сразу отмена. Тебе зачем старый запорожец, если ты уже завел мерседес? Селениум умеет и парсит все быстрее и лучше супа! Ищи с помощью селениума(driver.find). И он видит все то же что и браузер, единственная разница -не дождался результатов.

0