Парсинг страницы python и получение запроса (beautifulSoup, requests)

@VadimSOB · Регистрация: 19.02.2016

Студворк — интернет-сервис помощи студентам

Здравствуйте. Суть проблемы заключается в том, что для парсинга я получаю страницу, где должна быть таблица с данными, но в print(r.text) выводится только html код без таблицы. Сама она (таблица) появляется если только нажать на "Просмотр сделок и объектов" а затем с выбранными параметрами сделать запрос. Я не силен в таких делах, это дали практику в универе на новом для меня языке. Помогите сделать так, чтобы я мог получить код с таблицей.
Использую для парсинга beautifulSoup. Запросы пробовал отправлять через request.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import urllib.request
import urllib.parse
import urllib
import requests
from selenium import webdriver
from bs4 import BeautifulSoup
 
def get_html(url):
    response = urllib.request.urlopen(url)
    return  response.read()
 
def main():
    
    myUrl = 'https://portal.rosreestr.ru/wps/portal/p/is/cc_informSections/ais_mrn/!ut/p/c4/04_SB8K8xLLM9MSSzPy8xBz9CP0os3gTZwNPL8tgY5MwIwM3A88AIwvv4FAPI3cjY_2CbEdFAO5-2_s!/'
    value = {'region': '0100000000000',
             'raion': '0100300000000',
             'city': '',
             'startEncumbranceDate': '',
             'endEncumbranceDate': '',
             'dealType': '',
             'encumbranceType': '',
             'objectKind': '',
             'objectPurpose': ''}
    headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
              'Chrome/58.0.3029.110 YaBrowser/17.6.1.749 Yowser/2.5 Safari/537.36'
    html = get_html('https://portal.rosreestr.ru/wps/portal/p/is/cc_informSections/ais_mrn/!ut/p/c4/04_SB8K8xLLM9MSSzPy8xBz9CP0os3gTZwNPL8tgY5MwIwM3A88AIwvv4FAPI3cjY_2CbEdFAO5-2_s!/')
    #soup = BeautifulSoup(html,'html.parser')
 
    r = requests.get(myUrl,params=value)
 
    print(r.text)
 
if __name__ == '__main__':
    main()

Ссылка на сайт: https://portal.rosreestr.ru/wp... FAO5-2_s!/
В изображениях показана сама таблица, форма с параметрами, а также ОкноРазработчика, откуда мне нужно брать данные.
Я находил,что можно делать запросы напрямую через URL, но тут он статичный и ,как я понял, подгружает все за счет скриптов. Спасибо большое за внимание!

@Garry Galler · 03.07.2017, 23:40

Вы не туда запрос отправляете и не тем методом.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
def main(url):
    
    
    data = {'region': '0100000000000',
             'start':'0',
             'limit':'10000'
             }
    headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
              'Chrome/58.0.3029.110 YaBrowser/17.6.1.749 Yowser/2.5 Safari/537.36'
  
    session = requests.Session()
    r = session.post(url,data=data) # запрос таблицы с параметрами формы
 
    print(r.json())
 
if __name__ == '__main__':
    main('https://portal.rosreestr.ru/wps/PA_AIS_MRN/rest/deal/01/table/data')

P.S. C параметрами формы разбирайтесь уже самостоятельно. Я меня отправляется фактически пустой запрос с ответом в виде json на 10 тыс. элементов (максимум можно запросить сразу 100 тыс.)

Добавлено через 15 минут
А вообще у них есть еще какое-то документированное rest API. Не вчитывался, но, возможно, подойдет и для ваших целей.

Новые блоги и статьи Все статьи Все блоги /
Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .