Парсинг страницы python и получение запроса (beautifulSoup, requests)

@VadimSOB · Регистрация: 19.02.2016

Студворк — интернет-сервис помощи студентам

Здравствуйте. Суть проблемы заключается в том, что для парсинга я получаю страницу, где должна быть таблица с данными, но в print(r.text) выводится только html код без таблицы. Сама она (таблица) появляется если только нажать на "Просмотр сделок и объектов" а затем с выбранными параметрами сделать запрос. Я не силен в таких делах, это дали практику в универе на новом для меня языке. Помогите сделать так, чтобы я мог получить код с таблицей.
Использую для парсинга beautifulSoup. Запросы пробовал отправлять через request.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import urllib.request
import urllib.parse
import urllib
import requests
from selenium import webdriver
from bs4 import BeautifulSoup
 
def get_html(url):
    response = urllib.request.urlopen(url)
    return  response.read()
 
def main():
    
    myUrl = 'https://portal.rosreestr.ru/wps/portal/p/is/cc_informSections/ais_mrn/!ut/p/c4/04_SB8K8xLLM9MSSzPy8xBz9CP0os3gTZwNPL8tgY5MwIwM3A88AIwvv4FAPI3cjY_2CbEdFAO5-2_s!/'
    value = {'region': '0100000000000',
             'raion': '0100300000000',
             'city': '',
             'startEncumbranceDate': '',
             'endEncumbranceDate': '',
             'dealType': '',
             'encumbranceType': '',
             'objectKind': '',
             'objectPurpose': ''}
    headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
              'Chrome/58.0.3029.110 YaBrowser/17.6.1.749 Yowser/2.5 Safari/537.36'
    html = get_html('https://portal.rosreestr.ru/wps/portal/p/is/cc_informSections/ais_mrn/!ut/p/c4/04_SB8K8xLLM9MSSzPy8xBz9CP0os3gTZwNPL8tgY5MwIwM3A88AIwvv4FAPI3cjY_2CbEdFAO5-2_s!/')
    #soup = BeautifulSoup(html,'html.parser')
 
    r = requests.get(myUrl,params=value)
 
    print(r.text)
 
if __name__ == '__main__':
    main()

Ссылка на сайт: https://portal.rosreestr.ru/wp... FAO5-2_s!/
В изображениях показана сама таблица, форма с параметрами, а также ОкноРазработчика, откуда мне нужно брать данные.
Я находил,что можно делать запросы напрямую через URL, но тут он статичный и ,как я понял, подгружает все за счет скриптов. Спасибо большое за внимание!

@Garry Galler · 03.07.2017, 23:40

Вы не туда запрос отправляете и не тем методом.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
def main(url):
    
    
    data = {'region': '0100000000000',
             'start':'0',
             'limit':'10000'
             }
    headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
              'Chrome/58.0.3029.110 YaBrowser/17.6.1.749 Yowser/2.5 Safari/537.36'
  
    session = requests.Session()
    r = session.post(url,data=data) # запрос таблицы с параметрами формы
 
    print(r.json())
 
if __name__ == '__main__':
    main('https://portal.rosreestr.ru/wps/PA_AIS_MRN/rest/deal/01/table/data')

P.S. C параметрами формы разбирайтесь уже самостоятельно. Я меня отправляется фактически пустой запрос с ответом в виде json на 10 тыс. элементов (максимум можно запросить сразу 100 тыс.)

Добавлено через 15 минут
А вообще у них есть еще какое-то документированное rest API. Не вчитывался, но, возможно, подойдет и для ваших целей.

Новые блоги и статьи Все статьи Все блоги /
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .