Проблема с парсингом

@Zod1ak · Регистрация: 17.02.2017

Студворк — интернет-сервис помощи студентам

Добрый день.

Пытаюсь спарсить архив тендеров.
https://www.nornickel.ru/suppl... ?archive=Y

Вот фрагмент кода:

Python
1
2
3
4
5
6
7
8
9
10
11
url='https://www.nornickel.ru/suppliers/tenders/central/?archive=Y'
 
html=requests.get(url).text
 
soup=BeautifulSoup(html,'lxml')
p=soup.find('div',class_='tenders-container--local')
p1=p.find('div',class_='data-table-scroll')
 
 
print(type(p))
print(type(p1))

type(p) - <class 'bs4.element.Tag'>
а дальше beautifulsoup не видит
type(p1) - <class 'NoneType'>

Помогите понять причину.

@Garry Galler · 27.07.2019, 20:17

Сообщение от Zod1ak

'data-table-scroll'

Там нет элемента с таким классом.

@Zod1ak · 28.07.2019, 12:41 **[ТС]**

Прилагаю скрин кода

@Garry Galler · 28.07.2019, 14:14

Сообщение от Zod1ak

Прилагаю скрин кода

Ну и что? Его все равно там нет.
Учите матчасть. Откройте теперь исходный код страницы Ctrl+U и найдите там этот div.
Нет его там. Потому что он динамический. Поэтому вы его никогда не найдете в том html коде, который вам прислал сервер.

@Zod1ak · 31.07.2019, 18:38 **[ТС]**

Друже.
Если сможите объяснить как получить данные с таблицы, буду очень благодарен.

@Garry Galler · 31.07.2019, 22:22

Если бы внимательно посмотрели на div

HTML5
1
<div class="table table--tenders" id="tenders-table-centralized" data-ajax-path="/ajax/tenders-centralized.php"

то увидели бы, что здесь выполняется AJAX запрос php скрипта.

Результат возвращается в виде json содержащего все таблицу с ее html кодом.

POST запрос сложный, поэтому рассказывать как его выполнить я не буду.
Тем, кто пользуется "прекрасным супом" для парсинга, обычно это бесполезно.

@Garry Galler · 31.07.2019, 22:34

P.S. В качестве подсказки: более простым (для неподготовленного кодера) будет использование selenium в связке с headless браузером, который отрендерит всю динамику и можно будет парсить html старым дедовским способом.

@Zod1ak · 01.09.2019, 18:14 **[ТС]**

Спасибо, с помощью Selenium проблемы просто не стало

Новые блоги и статьи Все статьи Все блоги /
Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
Программное заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем

@Zod1ak 0 / 0 / 0 Регистрация: 17.02.2017 Сообщений: 4
	31.07.2019, 18:38 [ТС]
	Друже. Если сможите объяснить как получить данные с таблицы, буду очень благодарен. 0

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	31.07.2019, 22:34
	P.S. В качестве подсказки: более простым (для неподготовленного кодера) будет использование selenium в связке с headless браузером, который отрендерит всю динамику и можно будет парсить html старым дедовским способом. 0

@Zod1ak 0 / 0 / 0 Регистрация: 17.02.2017 Сообщений: 4
	01.09.2019, 18:14 [ТС]
	Спасибо, с помощью Selenium проблемы просто не стало 0