Requests и bs4 python 3

@Taubai · Регистрация: 05.01.2017

Студворк — интернет-сервис помощи студентам

Всем привет, начала недавно изучать питон и решил поработать с запросами, такой вопрос возник - использую requests для запроса и bs4 для обработки html страницы. Вообщем делаю запрос и получаю тот блок страницы который мне нужен:

Python
1
r = requests.get(url+'?page='+str(i))

Python
1
soup = BeautifulSoup(r.text, 'html.parser')

Python
1
ids = soup.find('script',{'id':'jsdata'})

Ответ выглядит вот так:

HTML5
1
2
3
<script id="jsdata">
        var data = {"search":{"currentPage":1,"ids":[48187056,48264670,48388854,46867214,48381677,26123178,30902897,30851373,48674901,48640537,16971863,46574579,29431520,47743779,47816176,29525233,48698292,48423335,27989106,30148051,47778545,30269946,47109461],"regionId":null,"isOnMap":false,"userId":null,"parameters":{"section":"prodazha","category":"kvartiry","page":"0"},"nbTotal":"128 509"},"category":{"id":1,"hasPrice":true,"name":"sell.flat","sectionName":"sell","categoryName":"flat","defaultCurrency":1},"svgIconsUrl":"//krisha.kz/static/frontend/svg/svg-symbols.bbaf7fb734.svg","app":"Frontend","baseHostname":"krisha.kz","cookieDomain":".krisha.kz","isRemoteResourcesEnabled":true,"isDebug":false,"route":"advert:search","controller":"a","action":"search","ab":[],"user":{"email":null,"isGuest":true,"isPro":false,"isCompany":false,"id":null,"name":null,"locale":"","xdmAssetUrl":"https://id.kolesa.kz/authToken.js"},"photoHost":"photos-kr.kcdn.kz","views":{"location":"ms/views"}};
    </script>

Теперь из ответа не могу получить чисто вот это:

HTML5
1
[48187056,48264670,48388854,46867214,48381677,26123178,30902897,30851373,48674901,48640537,16971863,46574579,29431520,47743779,47816176,29525233,48698292,48423335,27989106,30148051,47778545,30269946,47109461]

Заранее спасибо!)

@Garry Galler · 05.02.2019, 18:32

Возьмите только текст тега script. Затем сделайте split по "var data = "
Вот так:

Python
1
>>> data = text.split('var data = ')[1]

И затем полученный json просто превратите в обычный python словарь

Python
1
2
3
4
>>> import json
>>> json.loads(data)
{'search': {'currentPage': 1, 'ids': [48187056, 48264670, 48388854, 46867214, 48381677, 26123178, 30902897, 30851373, 48674901, 48640537, 16971863, 46574579, 29431520, 47743779, 47816176, 29525233, 48698292, 48423335, 27989106, 30148051, 47778545, 30269946, 47109461], 'regionId': None, 'isOnMap': False, 'userId': None, 'parameters': {'section': 'prodazha', 'category': 'kvartiry', 'page': '0'}, 'nbTotal': '128 509'}, 'category': {'id': 1, 'hasPrice': True, 'name': 'sell.flat', 'sectionName': 'sell', 'categoryName': 'flat', 'defaultCurrency': 1}, 'svgIconsUrl': '//krisha.kz/static/frontend/svg/svg-symbols.bbaf7fb734.svg', 'app': 'Frontend', 'baseHostname': 'krisha.kz', 'cookieDomain': '.krisha.kz', 'isRemoteResourcesEnabled': True, 'isDebug': False, 'route': 'advert:search', 'controller': 'a', 'action': 'search', 'ab': [], 'user': {'email': None, 'isGuest': True, 'isPro': False, 'isCompany': False, 'id': None, 'name': None, 'locale': '', 'xdmAssetUrl': 'https://id.kolesa.kz/authToken.js'}, 'photoHost': 'photos-kr.kcdn.kz', 'views': {'location': 'ms/views'}}
>>>

из которого можно уже взять по ключу что угодно.

Рыжий Лис · 06.02.2019, 16:25

Python
1
2
3
4
5
6
7
8
9
10
11
import re
from json import JSONDecoder
 
t = '''
    <script id="jsdata">
        var data = {"search":{"currentPage":1,"ids":[48187056,48264670,48388854,46867214,48381677,26123178,30902897,30851373,48674901,48640537,16971863,46574579,29431520,47743779,47816176,29525233,48698292,48423335,27989106,30148051,47778545,30269946,47109461],"regionId":null,"isOnMap":false,"userId":null,"parameters":{"section":"prodazha","category":"kvartiry","page":"0"},"nbTotal":"128 509"},"category":{"id":1,"hasPrice":true,"name":"sell.flat","sectionName":"sell","categoryName":"flat","defaultCurrency":1},"svgIconsUrl":"//krisha.kz/static/frontend/svg/svg-symbols.bbaf7fb734.svg","app":"Frontend","baseHostname":"krisha.kz","cookieDomain":".krisha.kz","isRemoteResourcesEnabled":true,"isDebug":false,"route":"advert:search","controller":"a","action":"search","ab":[],"user":{"email":null,"isGuest":true,"isPro":false,"isCompany":false,"id":null,"name":null,"locale":"","xdmAssetUrl":"https://id.kolesa.kz/authToken.js"},"photoHost":"photos-kr.kcdn.kz","views":{"location":"ms/views"}};
    </script>
    '''
d = re.findall(r'({.*})', t)[0]
d2 = JSONDecoder().decode(d)
print(d2['search']['ids'])

Новые блоги и статьи Все статьи Все блоги /
Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .	Фото: Daniel Greenwood kumehtar 13.11.2025