Парсинг страницы python и получение запроса (beautifulSoup, requests)

@VadimSOB · Регистрация: 19.02.2016

Студворк — интернет-сервис помощи студентам

Здравствуйте. Суть проблемы заключается в том, что для парсинга я получаю страницу, где должна быть таблица с данными, но в print(r.text) выводится только html код без таблицы. Сама она (таблица) появляется если только нажать на "Просмотр сделок и объектов" а затем с выбранными параметрами сделать запрос. Я не силен в таких делах, это дали практику в универе на новом для меня языке. Помогите сделать так, чтобы я мог получить код с таблицей.
Использую для парсинга beautifulSoup. Запросы пробовал отправлять через request.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import urllib.request
import urllib.parse
import urllib
import requests
from selenium import webdriver
from bs4 import BeautifulSoup
 
def get_html(url):
    response = urllib.request.urlopen(url)
    return  response.read()
 
def main():
    
    myUrl = 'https://portal.rosreestr.ru/wps/portal/p/is/cc_informSections/ais_mrn/!ut/p/c4/04_SB8K8xLLM9MSSzPy8xBz9CP0os3gTZwNPL8tgY5MwIwM3A88AIwvv4FAPI3cjY_2CbEdFAO5-2_s!/'
    value = {'region': '0100000000000',
             'raion': '0100300000000',
             'city': '',
             'startEncumbranceDate': '',
             'endEncumbranceDate': '',
             'dealType': '',
             'encumbranceType': '',
             'objectKind': '',
             'objectPurpose': ''}
    headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
              'Chrome/58.0.3029.110 YaBrowser/17.6.1.749 Yowser/2.5 Safari/537.36'
    html = get_html('https://portal.rosreestr.ru/wps/portal/p/is/cc_informSections/ais_mrn/!ut/p/c4/04_SB8K8xLLM9MSSzPy8xBz9CP0os3gTZwNPL8tgY5MwIwM3A88AIwvv4FAPI3cjY_2CbEdFAO5-2_s!/')
    #soup = BeautifulSoup(html,'html.parser')
 
    r = requests.get(myUrl,params=value)
 
    print(r.text)
 
if __name__ == '__main__':
    main()

Ссылка на сайт: https://portal.rosreestr.ru/wp... FAO5-2_s!/
В изображениях показана сама таблица, форма с параметрами, а также ОкноРазработчика, откуда мне нужно брать данные.
Я находил,что можно делать запросы напрямую через URL, но тут он статичный и ,как я понял, подгружает все за счет скриптов. Спасибо большое за внимание!

@Garry Galler · 03.07.2017, 23:40

Вы не туда запрос отправляете и не тем методом.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
def main(url):
    
    
    data = {'region': '0100000000000',
             'start':'0',
             'limit':'10000'
             }
    headers = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
              'Chrome/58.0.3029.110 YaBrowser/17.6.1.749 Yowser/2.5 Safari/537.36'
  
    session = requests.Session()
    r = session.post(url,data=data) # запрос таблицы с параметрами формы
 
    print(r.json())
 
if __name__ == '__main__':
    main('https://portal.rosreestr.ru/wps/PA_AIS_MRN/rest/deal/01/table/data')

P.S. C параметрами формы разбирайтесь уже самостоятельно. Я меня отправляется фактически пустой запрос с ответом в виде json на 10 тыс. элементов (максимум можно запросить сразу 100 тыс.)

Добавлено через 15 минут
А вообще у них есть еще какое-то документированное rest API. Не вчитывался, но, возможно, подойдет и для ваших целей.

Новые блоги и статьи Все статьи Все блоги /
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .	Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .
Уведомление о неверно выбранном значении справочника Maks 06.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .	Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .