|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
||||||
Как спарсить html страничку с JavaScript в python?03.05.2022, 13:39. Показов 2131. Ответов 11
Подскажите пожалуйста как при парсинге страницы подгрузить JavaScript таблицу. Знаю про 'response.html.render' но никак не могу привязать к коду. При таком варианте кода грузит 219 элементов cells (не прогружается табличка и собственно не те элементы). Всего должно быть 1078 элементов.
0
|
||||||
| 03.05.2022, 13:39 | |
|
Ответы с готовыми решениями:
11
Добавить на страницу Wordpress страничку html с javascript и css Как обновить страничку на JavaScript? Как на С++ парсить html страничку? |
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
||||||
| 03.05.2022, 21:30 | ||||||
1
|
||||||
|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
||||||
| 03.05.2022, 21:41 [ТС] | ||||||
|
Jabbson, Там авторизация необходима (данные скрыты без подписки) Тут указан аккаунт с активной подпиской. Но я никак не могу понять почему когда я печатаю response - отсутствуют элементы 'hidden', значит произведен вход в аккаунт, подписка работает и прочее. Но если я печатаю soup - появляются элементы 'hidden'. Не понимаю что не так) (Я не мастер объяснять)
0
|
||||||
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|||
| 03.05.2022, 21:47 | |||
|
Проблема была, что у вас не было достаточно элементов
Теперь проблема, что отсутствуют элементы hidden. Проверить я не могу, подписки у меня, конечно же, нет, но могу посоветовать не использовать отдельно beautifulsoup, в requests_html достаточно функционала, чтобы делать парсинг, посмотрите в моем примере, я нашел все 'td' из отрисованного html, без дополнительных библиотек поверх requests_html. Если приложите полный html страницы авторизированного пользователя, могу посмотреть.
0
|
|||
|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
|
| 03.05.2022, 21:54 [ТС] | |
|
Jabbson, Данные авторизации: "Samatas", "testtest123" с активной подпиской. Мне просто нужен Beautifulsoup для дальнейших действий еще) Но не могу понять почему после передачи туда страницы нет авторизации (Я только начал разбираться в парсинге)
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|||||||||||
| 04.05.2022, 00:12 | |||||||||||
Сообщение было отмечено BieKuf как решение
Решение
не знаю, почему не рендерится скрытое число, пока получилось только вот так вынуть данные
1
|
|||||||||||
|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
|
| 04.05.2022, 00:19 [ТС] | |
|
Я уже думаю может это особенности сайта или что. 3 дня буквально сижу и не могу понять ничего что и как( Что только не пробовал. Но в суп передается почему-то неавторизированная страница (Раньше сайт был бесплатным
)
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|
| 04.05.2022, 00:22 | |
|
Ну, все данные - вон они, через простой requests, вынутые из javascript-a в переменной data, можно использовать.
1
|
|
|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
|
| 04.05.2022, 00:25 [ТС] | |
|
Ну разве что так, только минусов нету тут) Например значение 'print(data['2021']['values']['2120'])' в скобках - должно быть с минусом) Не подскажите можно ли как-то реализовать это (чтобы значения в скобочках были со знаком минус) ? Впервые просто вообще вижу такую реализацию)
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|
| 04.05.2022, 00:34 | |
|
не совсем понимаю логику когда скобки - это минус, а когда нет, потому что в массиве данных не все значения, которые в таблице в скобках имеют отрицательное значение, например:
0
|
|
|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
|
| 04.05.2022, 00:39 [ТС] | |
|
Ну ладно. Спасибо вам огромное! Буду про JSON читать раз в супе проблема непонятная (вообще непонятная почему так (лично мне)) на ровном месте образовалась. Спасибо еще раз, вы очень помогли
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|||||||||||
| 04.05.2022, 01:21 | |||||||||||
|
Как вариант - selenium.
0
|
|||||||||||
| 04.05.2022, 01:21 | |
|
Помогаю со студенческими работами здесь
12
Как передать параметры в HTML-страничку?
Как вставить html страничку в MasterPage? Как безболезненно отпарсить html страничку? Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Первый деплой
lagorue 16.01.2026
Не спеша развернул своё 1ое приложение в kubernetes.
А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения
развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .
|
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ *
Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам
Кирхгофа, решает её и находит токи на L и напряжения на C в установ. режимах до и. . .
|
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым.
Но восстановить их можно так.
Для этого понадобится консольная утилита. . .
|
Изучаю kubernetes
lagorue 13.01.2026
А пригодятся-ли мне знания kubernetes в России?
|
|
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
|
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11
— это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
|
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11
Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
|
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
|