Парсинг динамического сайта

@vladkuzmin · Регистрация: 07.01.2021

Студворк — интернет-сервис помощи студентам

Здравствуйте. На сайте есть погрузка данных из документа, которая идёт через API, то есть когда начинается событие (в 12 часов мск например) - он динамически начинает подгружать текст в течение всего события при помощи Java script .Как парсить такой сайт? Текст достать

Добавлено через 15 минут
Либо как то сделать так чтобы у меня эта страница загрузилась со всеми данными сразу, без динамики

@pqmin · 15.08.2024, 12:26

Сообщение от OwenGlendower

HTML, JSON, XML?

Всё равно, лишь бы получить.

krvsa · 15.08.2024, 12:38

Сообщение от pqmin

подскажите, пожалуйста, в какую сторону смотреть

У нас используют модуль selenium-webdriver на Node.js
https://www.selenium.dev/selen... avascript/

@OwenGlendower · 15.08.2024, 12:44

pqmin, в таком случае Usaga уже ответил на ваш вопрос:

Сообщение от Usaga

Обращаться к API... Как и сам JavaScript делает.

С уточнением что в GAS нужно использовать UrlFetchApp.fetch.

@pqmin · 15.08.2024, 12:51

Сообщение от krvsa

используют модуль selenium-webdriver на Node.js

Спасибо.
Если использование в GAS, научите, пожалуйста, как этот модуль внедрить в GAS.
Если речь об использовании библиотеки Selenium в JS, то это не решает мою задачу.

Добавлено через 4 минуты

Сообщение от OwenGlendower

Usaga уже ответил на ваш вопрос

Так и я ему ответил: по API не всё всегда можно получить из того, что можно увидеть на странице. И сам API есть далеко не у всех.

@Usaga · 15.08.2024, 13:40

Сообщение от pqmin

Так и я ему ответил: по API не всё всегда можно получить из того, что можно увидеть на странице. И сам API есть далеко не у всех.

Что? А то, чего нельзя через API получить страница откуда берёт? Бог на ухо браузеру нашёптывает? Всё, что на странице видно или зашито в HTML, который сервер отдаёт (доступно для парсинга) или запрашивается через AJAX у API сервера.

krvsa · 15.08.2024, 14:15

Сообщение от pqmin

как этот модуль внедрить в GAS

Кто такой GAS?

@Usaga · 15.08.2024, 14:19

krvsa, google говорит, что это скорее всего Google App Script. Хз что такое и почему туда как-то отдельно надо добавляться скрипты...

@pqmin · 15.08.2024, 14:20

Сообщение от krvsa

Кто такой GAS?

Google Apps Script, скриптовый язык автоматизации Гугл таблиц. На основе JS, но своего извода.

@Usaga · 15.08.2024, 14:26

Сообщение от pqmin

На основе JS

Так значит оно в браузере крутится. А значит, может обращаться к любому скрипту...

krvsa · 15.08.2024, 14:31

Сообщение от pqmin

На основе JS, но своего извода.

С этим дела не имел...

@mr_dramm · 15.08.2024, 15:47

pqmin, работать с GAS можно с любого компа / сервера. Предложенный Selenium или Puppeteer это библиотеки позволяющие автоматизировать работу с браузером, их нужно будет где то установить где есть доступ к интернету и NodeJS. Пишешь скрипт отрыть страницу, дожидаешься появления на странице нужного блока, читаешь этот блок и отправляешь это используя GAS куда надо

@pqmin · 15.08.2024, 21:12

Сообщение от mr_dramm

нужно будет где то установить

Спасибо.
Т.е. нужно делать сервер для этой задачи. Сравнимо с запуском кода на Питоне из Google Cloud, да это по сути одинаково.
Очень сложное решение по сравнению с тем, что можно сделать на Selenium в VBA или кодом на Питоне на своём компьютере.

@mr_dramm · 15.08.2024, 22:59

Сообщение от pqmin

Т.е. нужно делать сервер для этой задачи.

я не знаю вашу задачу в подробностях можно делать можно не длеать, основная идея которую я пытался донести что скрипты гас с данными можно и запустить с любого компа у которого есть интренет и ЯП с клиентом http

@pqmin · 25.08.2024, 09:14

Сообщение от Usaga

то, чего нельзя через API получить страница откуда берёт?

Предполагаю, что либо существуют два API, для собственных страниц и для запросов; либо разработчик API запретил ему отдавать некот. данные по запросам.
«Поле ✽ не является частью ответов API и изначально не доступно через стандартные методы API». «API не предоставляет способа получить прямую информацию о том …». Это, правда, пишет ЧатГПТ, можно поставить под сомнение. Но сайт с неподдающимися мне страницами мировой известности и миллионными посещениями, так что можно и допустить, что ЧатГПТ не сочиняет отсебятины. При этом поле ✽ в описании API есть.

@Usaga · 25.08.2024, 13:34

pqmin, API не может быть каким-то закрытым. Физическ. Всё, что браузер запрашивает у сервера - всё это видно в открытую. Другое дело, что оно недокументировано может быть, ибо не предназначено для публики.

Нажми в браузере F12, перейди на вкладку Network, перезагрузи страницу, выбери фильтр XMLRequest и ты увидишь ВСЕ обращения к серверу. Ну, кроме WebSocket, для этого другой фильтр есть.

Ничего вне того, что ты видишь, данные на страницу передать не может.

Поэтому можно изучить эти обращения, понять что откуда и как возвращает, и обращаться к серверу таким же образом. Вот тебе и парсинг динамических страниц.

Новые блоги и статьи Все статьи Все блоги /
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .
Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .	Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .	Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм anaschu 30.08.2026 Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .	Оттачиваю умение писать js программы. russiannick 30.08.2026 Проектом выходного дня стало написание Книги шифров Виженера. Итогом стала версия 200, синий туман. Синий туман назван так, потому что замораживает текст под собой. Нажатие синих кнопок управляют. . .

@vladkuzmin 0 / 0 / 0 Регистрация: 07.01.2021 Сообщений: 2

	Парсинг динамического сайта 18.03.2024, 10:08. Показов 3619. Ответов 34 Метки парсинг (Все метки) Здравствуйте. На сайте есть погрузка данных из документа, которая идёт через API, то есть когда начинается событие (в 12 часов мск например) - он динамически начинает подгружать текст в течение всего события при помощи Java script .Как парсить такой сайт? Текст достать Добавлено через 15 минут Либо как то сделать так чтобы у меня эта страница загрузилась со всеми данными сразу, без динамики 0

@Usaga 14781 / 9555 / 1366 Регистрация: 21.01.2016 Сообщений: 36,024
	15.08.2024, 14:19
	krvsa, google говорит, что это скорее всего Google App Script. Хз что такое и почему туда как-то отдельно надо добавляться скрипты... 0

@mr_dramm Молодой техлид) 1818 / 1056 / 329 Регистрация: 17.07.2021 Сообщений: 2,147 Записей в блоге: 14
	15.08.2024, 15:47
	pqmin, работать с GAS можно с любого компа / сервера. Предложенный Selenium или Puppeteer это библиотеки позволяющие автоматизировать работу с браузером, их нужно будет где то установить где есть доступ к интернету и NodeJS. Пишешь скрипт отрыть страницу, дожидаешься появления на странице нужного блока, читаешь этот блок и отправляешь это используя GAS куда надо 0

@Usaga 14781 / 9555 / 1366 Регистрация: 21.01.2016 Сообщений: 36,024
	25.08.2024, 13:34
	pqmin, API не может быть каким-то закрытым. Физическ. Всё, что браузер запрашивает у сервера - всё это видно в открытую. Другое дело, что оно недокументировано может быть, ибо не предназначено для публики. Нажми в браузере F12, перейди на вкладку Network, перезагрузи страницу, выбери фильтр XMLRequest и ты увидишь ВСЕ обращения к серверу. Ну, кроме WebSocket, для этого другой фильтр есть. Ничего вне того, что ты видишь, данные на страницу передать не может. Поэтому можно изучить эти обращения, понять что откуда и как возвращает, и обращаться к серверу таким же образом. Вот тебе и парсинг динамических страниц. 0