|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
||||||
Как спарсить html страничку с JavaScript в python?03.05.2022, 13:39. Показов 2159. Ответов 11
Подскажите пожалуйста как при парсинге страницы подгрузить JavaScript таблицу. Знаю про 'response.html.render' но никак не могу привязать к коду. При таком варианте кода грузит 219 элементов cells (не прогружается табличка и собственно не те элементы). Всего должно быть 1078 элементов.
0
|
||||||
| 03.05.2022, 13:39 | |
|
Ответы с готовыми решениями:
11
Добавить на страницу Wordpress страничку html с javascript и css Как обновить страничку на JavaScript? Как на С++ парсить html страничку? |
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
||||||
| 03.05.2022, 21:30 | ||||||
1
|
||||||
|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
||||||
| 03.05.2022, 21:41 [ТС] | ||||||
|
Jabbson, Там авторизация необходима (данные скрыты без подписки) Тут указан аккаунт с активной подпиской. Но я никак не могу понять почему когда я печатаю response - отсутствуют элементы 'hidden', значит произведен вход в аккаунт, подписка работает и прочее. Но если я печатаю soup - появляются элементы 'hidden'. Не понимаю что не так) (Я не мастер объяснять)
0
|
||||||
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|||
| 03.05.2022, 21:47 | |||
|
Проблема была, что у вас не было достаточно элементов
Теперь проблема, что отсутствуют элементы hidden. Проверить я не могу, подписки у меня, конечно же, нет, но могу посоветовать не использовать отдельно beautifulsoup, в requests_html достаточно функционала, чтобы делать парсинг, посмотрите в моем примере, я нашел все 'td' из отрисованного html, без дополнительных библиотек поверх requests_html. Если приложите полный html страницы авторизированного пользователя, могу посмотреть.
0
|
|||
|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
|
| 03.05.2022, 21:54 [ТС] | |
|
Jabbson, Данные авторизации: "Samatas", "testtest123" с активной подпиской. Мне просто нужен Beautifulsoup для дальнейших действий еще) Но не могу понять почему после передачи туда страницы нет авторизации (Я только начал разбираться в парсинге)
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|||||||||||
| 04.05.2022, 00:12 | |||||||||||
Сообщение было отмечено BieKuf как решение
Решение
не знаю, почему не рендерится скрытое число, пока получилось только вот так вынуть данные
1
|
|||||||||||
|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
|
| 04.05.2022, 00:19 [ТС] | |
|
Я уже думаю может это особенности сайта или что. 3 дня буквально сижу и не могу понять ничего что и как( Что только не пробовал. Но в суп передается почему-то неавторизированная страница (Раньше сайт был бесплатным
)
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|
| 04.05.2022, 00:22 | |
|
Ну, все данные - вон они, через простой requests, вынутые из javascript-a в переменной data, можно использовать.
1
|
|
|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
|
| 04.05.2022, 00:25 [ТС] | |
|
Ну разве что так, только минусов нету тут) Например значение 'print(data['2021']['values']['2120'])' в скобках - должно быть с минусом) Не подскажите можно ли как-то реализовать это (чтобы значения в скобочках были со знаком минус) ? Впервые просто вообще вижу такую реализацию)
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|
| 04.05.2022, 00:34 | |
|
не совсем понимаю логику когда скобки - это минус, а когда нет, потому что в массиве данных не все значения, которые в таблице в скобках имеют отрицательное значение, например:
0
|
|
|
0 / 0 / 0
Регистрация: 03.05.2022
Сообщений: 6
|
|
| 04.05.2022, 00:39 [ТС] | |
|
Ну ладно. Спасибо вам огромное! Буду про JSON читать раз в супе проблема непонятная (вообще непонятная почему так (лично мне)) на ровном месте образовалась. Спасибо еще раз, вы очень помогли
0
|
|
|
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
|
|||||||||||
| 04.05.2022, 01:21 | |||||||||||
|
Как вариант - selenium.
0
|
|||||||||||
| 04.05.2022, 01:21 | |
|
Помогаю со студенческими работами здесь
12
Как передать параметры в HTML-страничку?
Как вставить html страничку в MasterPage? Как безболезненно отпарсить html страничку? Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Переходник USB-CAN-GPIO
Eddy_Em 20.03.2026
Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .
|
Оттенки серого
Argus19 18.03.2026
Оттенки серого
Нашёл в интернете 3 прекрасных модуля:
Модуль класса открытия диалога открытия/ сохранения файла на Win32 API;
Модуль класса быстрого перекодирования цветного изображения в оттенки. . .
|
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++
8Observer8 17.03.2026
Содержание блога
Финальные проекты на Си и на C++:
finish-rectangles-sdl3-c. zip
finish-rectangles-sdl3-cpp. zip
|
Символические и жёсткие ссылки в Linux.
algri14 15.03.2026
Существует два типа ссылок — символические и жёсткие.
Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .
|
|
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ФедосеевПавел 14.03.2026
Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ВВЕДЕНИЕ
Выполняя задание на управление насосной группой заполнения резервуара,. . .
|
делаю науч статью по влиянию грибов на сукцессию
anaschu 13.03.2026
прикрепляю статью
|
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++
8Observer8 10.03.2026
Содержание блога
Финальные проекты на Си и на C++:
hello-sdl3-c. zip
hello-sdl3-cpp. zip
Результат:
|
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE
8Observer8 10.03.2026
Содержание блога
MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
|