Форум программистов, компьютерный форум, киберфорум
Python: Сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.50/8: Рейтинг темы: голосов - 8, средняя оценка - 4.50
p
 Аватар для hasker2
84 / 44 / 16
Регистрация: 15.01.2021
Сообщений: 433

Парсинг сайта

01.08.2022, 15:05. Показов 1897. Ответов 11
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Пишу телеграм бота где можно поискать команду для игор. Дошек в standoff 2, но у них нету api, зато есть оффициальный магазин, в котором пишет никнейм аккаунта. Написал небольшой код который должен бы возвращать мне мой ник
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import requests
from bs4 import BeautifulSoup
#22957650
 
def founduser(usid):
    import requests
 
    url = f"https://store.standoff2.com/ru/profile/{usid}"
 
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36',
        'Content-Type': 'text/html',
    }
 
    response = requests.get(url, headers=headers)
    html = response.text
    print(html)
    soup = BeautifulSoup(html, 'lxml')
    nick = soup.find('div', class_='MuiBox-root jss33')
    print(nick)
    nick = soup.find('div', class_='MuiBox-root jss19')
    print(nick)
founduser(usid=input('ід:'))
но возвращает None 2 раза
вроде все правильно, подскажите где проблема
Миниатюры
Парсинг сайта  
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
01.08.2022, 15:05
Ответы с готовыми решениями:

Парсинг сайта
import requests from bs4 import BeautifulSoup pric=*4 q=0 for j in range(1,2): url =...

Python 3,парсинг сайта
Вот получил данные,но не знаю как склеить в 1 строку.Само число не могу вытащить

Парсинг сайта на python
Здравствуйте! Стоит задача запарсить сайт яндекс.музыки Нужно чтобы приходила ссылка на трек из чартов Не очень понимаю как это можно...

11
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
01.08.2022, 16:45
Эти данные заполняются JS-ом. Используйте selenium или другую библиотеку, которая отрисует контент.
0
p
 Аватар для hasker2
84 / 44 / 16
Регистрация: 15.01.2021
Сообщений: 433
01.08.2022, 17:21  [ТС]
Jabbson, я когда открываю в режиме инкогнито https://store.standoff2.com/ru/profile/22957650 меня перебрасывает на главную страницу где нету моего аккаунта в игре. В selenium также само, есть идеи?
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7391 / 4818 / 1246
Регистрация: 30.03.2015
Сообщений: 13,693
Записей в блоге: 29
01.08.2022, 17:27
нужна авторизация может?
0
p
 Аватар для hasker2
84 / 44 / 16
Регистрация: 15.01.2021
Сообщений: 433
01.08.2022, 17:29  [ТС]
Но вот если зарегестрироваться 1 раз тогда через ссылку заходить можно. А если очистить файлы cookie тогда опять просит авторизоваться
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7391 / 4818 / 1246
Регистрация: 30.03.2015
Сообщений: 13,693
Записей в блоге: 29
01.08.2022, 17:33
что вполне логично, вопрос то в чем? в селениуме заходи под нужным юзером
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
01.08.2022, 18:01
Цитата Сообщение от hasker2 Посмотреть сообщение
но у них нету api
кстати, api у них есть, просто скорее всего не публичный

0
p
 Аватар для hasker2
84 / 44 / 16
Регистрация: 15.01.2021
Сообщений: 433
01.08.2022, 19:01  [ТС]
Jabbson, я уже через элемент увидел, и написал такой код
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import requests
import json
 
headers = {'Host': 'store.standoff2.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:82.0) Gecko/20100101 Firefox/82.0',
    'Accept': '*/*',
    'Accept-Language': 'uk-UA,uk;q=0.8,en-US;q=0.5,en;q=0.3',
    'Accept-Encoding': 'gzip, deflate, br',
    'Referer': 'https://store.standoff2.com/',
    'rctoken': '03ANYolqvlj6yGuvwuw3-U_4qKb7U3FUkFiqAlxgDXBQhEiYY6yTWAkHUctT0qJ_nn2KaUqwMRDeHfguJT1rZ-ep6sVgQDB7Z0q00R_6h00mt4e-Px1GpkirWRedGhojp-7wV-LTRAAoHaXAromZvLMHVtzI-KZvuFZb1xCQtVM9m2vSVivtpC2qp-BtkWJEU1CDWN3RXfk6Jl8-_gtt1FER0sYDpJNugehsSfS-IG6W6icuk8dy3TiA-hI4OdCZkFO-3EWnDim1kHbUfa1RXZs1CcyigV2Jm9ofMjhOXNRQTDT_ZYC0SyCt4B6xqC0_Msr9SS0UD9U2BK5XMI3RLZjwppRwagD9kQWPDYz4JtxtFvFEi5WoZke6IOhaRAuWsg0eBLEpakVbKPaPjLIXr8v3lgQYWXNlF029KkUpaRR_ylfgfjg3mhGgZW_fa6TKLdjsr4jty7RvSAdAOFlQTS3uCcCSGLCGceguh1Mesl3dMYxKM9Vkct093nwrfANs-TnIzqLaOSmygD',
    'Content-Type': 'application/json',
    'DNT': '1',
    'Connection': 'keep-alive',
    'Cookie': 'Option_AB=Option_DEFAULT'}
 
cookies = {'Option_AB': 'Option_DEFAULT'}
 
account = requests.get(f'https://store.standoff2.com/api/v1/accounts/22957650', headers=headers, cookies=cookies)
print(json.dumps(account.json(), indent=3))
Но он возвращает
Traceback (most recent call last):
File "C:\Users\User\Documents\.vzlmso\bot.py" , line 19, in <module>
print(json.dumps(account.json(), indent=3))
File "C:\Users\User\AppData\Local\Programs\Py thon\Python39\lib\site-packages\requests\models.py", line 897, in json
return complexjson.loads(self.text, **kwargs)
File "C:\Users\User\AppData\Local\Programs\Py thon\Python39\lib\json\__init__.py", line 346, in loads
return _default_decoder.decode(s)
File "C:\Users\User\AppData\Local\Programs\Py thon\Python39\lib\json\decoder.py", line 337, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "C:\Users\User\AppData\Local\Programs\Py thon\Python39\lib\json\decoder.py", line 355, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
Я так понял оно просто не возвращает json а програма пытаеться с ним что-то сделать
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
01.08.2022, 19:02
Цитата Сообщение от hasker2 Посмотреть сообщение
Я так понял оно просто не возвращает json а програма пытаеться с ним что-то сделать
именно
0
p
 Аватар для hasker2
84 / 44 / 16
Регистрация: 15.01.2021
Сообщений: 433
01.08.2022, 19:07  [ТС]
Jabbson, Что можна сделать?
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7391 / 4818 / 1246
Регистрация: 30.03.2015
Сообщений: 13,693
Записей в блоге: 29
01.08.2022, 19:09
hasker2, включить отладчик и посмотреть что там приходит
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
01.08.2022, 20:06
зашел посмотреть что там происходит, но так вот что происходит
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
01.08.2022, 20:06
Помогаю со студенческими работами здесь

Парсинг сайта. Большие отступы
import requests from bs4 import BeautifulSoup pric=*4 q=0 for j in range(1,5): url =...

Работа с Request парсинг сайта ''lxml''
response = requests.get('https://www.entoin.com/entertainment/anime-waifu') # json_response = response.json() # не получается в json ...

Парсинг сайта (DNS) | Выбор города!
Здравствуйте! Парсер любого интернет-магазина сделать несложно, но он зачастую привязан к одному городу через IP. (DNS, как пример) Но...

Парсинг сайта
У меня есть парсер цен AliExpress, он на селениуме, проблема в том что он медленный, хотелось более быстрой работы, bs4 не видит нужные...

Парсинг сайта
учусь парсингу сайтов на python. from bs4 import BeautifulSoup with open('project1.html') as file: src = file.read() ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
12
Ответ Создать тему
Новые блоги и статьи
Модульная разработка через nuget packages
DevAlt 07.03.2026
Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F#
DevAlt 06.03.2026
В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .
Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование
8Observer8 05.03.2026
Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D
8Observer8 04.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .
Реалии
Hrethgir 01.03.2026
Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru