Проблема с парсингом

@Zod1ak · Регистрация: 17.02.2017

Студворк — интернет-сервис помощи студентам

Добрый день.

Пытаюсь спарсить архив тендеров.
https://www.nornickel.ru/suppl... ?archive=Y

Вот фрагмент кода:

Python
1
2
3
4
5
6
7
8
9
10
11
url='https://www.nornickel.ru/suppliers/tenders/central/?archive=Y'
 
html=requests.get(url).text
 
soup=BeautifulSoup(html,'lxml')
p=soup.find('div',class_='tenders-container--local')
p1=p.find('div',class_='data-table-scroll')
 
 
print(type(p))
print(type(p1))

type(p) - <class 'bs4.element.Tag'>
а дальше beautifulsoup не видит
type(p1) - <class 'NoneType'>

Помогите понять причину.

@Garry Galler · 27.07.2019, 20:17

Сообщение от Zod1ak

'data-table-scroll'

Там нет элемента с таким классом.

@Zod1ak · 28.07.2019, 12:41 **[ТС]**

Прилагаю скрин кода

@Garry Galler · 28.07.2019, 14:14

Сообщение от Zod1ak

Прилагаю скрин кода

Ну и что? Его все равно там нет.
Учите матчасть. Откройте теперь исходный код страницы Ctrl+U и найдите там этот div.
Нет его там. Потому что он динамический. Поэтому вы его никогда не найдете в том html коде, который вам прислал сервер.

@Zod1ak · 31.07.2019, 18:38 **[ТС]**

Друже.
Если сможите объяснить как получить данные с таблицы, буду очень благодарен.

@Garry Galler · 31.07.2019, 22:22

Если бы внимательно посмотрели на div

HTML5
1
<div class="table table--tenders" id="tenders-table-centralized" data-ajax-path="/ajax/tenders-centralized.php"

то увидели бы, что здесь выполняется AJAX запрос php скрипта.

Результат возвращается в виде json содержащего все таблицу с ее html кодом.

POST запрос сложный, поэтому рассказывать как его выполнить я не буду.
Тем, кто пользуется "прекрасным супом" для парсинга, обычно это бесполезно.

@Garry Galler · 31.07.2019, 22:34

P.S. В качестве подсказки: более простым (для неподготовленного кодера) будет использование selenium в связке с headless браузером, который отрендерит всю динамику и можно будет парсить html старым дедовским способом.

@Zod1ak · 01.09.2019, 18:14 **[ТС]**

Спасибо, с помощью Selenium проблемы просто не стало

Новые блоги и статьи Все статьи Все блоги /
Загрузка PNG-файла с альфа-каналом с помощью библиотеки SDL3_image на Android 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом

@Zod1ak 0 / 0 / 0 Регистрация: 17.02.2017 Сообщений: 4
	31.07.2019, 18:38 [ТС]
	Друже. Если сможите объяснить как получить данные с таблицы, буду очень благодарен. 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	31.07.2019, 22:34
	P.S. В качестве подсказки: более простым (для неподготовленного кодера) будет использование selenium в связке с headless браузером, который отрендерит всю динамику и можно будет парсить html старым дедовским способом. 0

@Zod1ak 0 / 0 / 0 Регистрация: 17.02.2017 Сообщений: 4
	01.09.2019, 18:14 [ТС]
	Спасибо, с помощью Selenium проблемы просто не стало 0