Парсинг динамического сайта

@vladkuzmin · Регистрация: 07.01.2021

Студворк — интернет-сервис помощи студентам

Здравствуйте. На сайте есть погрузка данных из документа, которая идёт через API, то есть когда начинается событие (в 12 часов мск например) - он динамически начинает подгружать текст в течение всего события при помощи Java script .Как парсить такой сайт? Текст достать

Добавлено через 15 минут
Либо как то сделать так чтобы у меня эта страница загрузилась со всеми данными сразу, без динамики

@pqmin · 15.08.2024, 12:26

Сообщение от OwenGlendower

HTML, JSON, XML?

Всё равно, лишь бы получить.

krvsa · 15.08.2024, 12:38

Сообщение от pqmin

подскажите, пожалуйста, в какую сторону смотреть

У нас используют модуль selenium-webdriver на Node.js
https://www.selenium.dev/selen... avascript/

@OwenGlendower · 15.08.2024, 12:44

pqmin, в таком случае Usaga уже ответил на ваш вопрос:

Сообщение от Usaga

Обращаться к API... Как и сам JavaScript делает.

С уточнением что в GAS нужно использовать UrlFetchApp.fetch.

@pqmin · 15.08.2024, 12:51

Сообщение от krvsa

используют модуль selenium-webdriver на Node.js

Спасибо.
Если использование в GAS, научите, пожалуйста, как этот модуль внедрить в GAS.
Если речь об использовании библиотеки Selenium в JS, то это не решает мою задачу.

Добавлено через 4 минуты

Сообщение от OwenGlendower

Usaga уже ответил на ваш вопрос

Так и я ему ответил: по API не всё всегда можно получить из того, что можно увидеть на странице. И сам API есть далеко не у всех.

@Usaga · 15.08.2024, 13:40

Сообщение от pqmin

Так и я ему ответил: по API не всё всегда можно получить из того, что можно увидеть на странице. И сам API есть далеко не у всех.

Что? А то, чего нельзя через API получить страница откуда берёт? Бог на ухо браузеру нашёптывает? Всё, что на странице видно или зашито в HTML, который сервер отдаёт (доступно для парсинга) или запрашивается через AJAX у API сервера.

krvsa · 15.08.2024, 14:15

Сообщение от pqmin

как этот модуль внедрить в GAS

Кто такой GAS?

@Usaga · 15.08.2024, 14:19

krvsa, google говорит, что это скорее всего Google App Script. Хз что такое и почему туда как-то отдельно надо добавляться скрипты...

@pqmin · 15.08.2024, 14:20

Сообщение от krvsa

Кто такой GAS?

Google Apps Script, скриптовый язык автоматизации Гугл таблиц. На основе JS, но своего извода.

@Usaga · 15.08.2024, 14:26

Сообщение от pqmin

На основе JS

Так значит оно в браузере крутится. А значит, может обращаться к любому скрипту...

krvsa · 15.08.2024, 14:31

Сообщение от pqmin

На основе JS, но своего извода.

С этим дела не имел...

@mr_dramm · 15.08.2024, 15:47

pqmin, работать с GAS можно с любого компа / сервера. Предложенный Selenium или Puppeteer это библиотеки позволяющие автоматизировать работу с браузером, их нужно будет где то установить где есть доступ к интернету и NodeJS. Пишешь скрипт отрыть страницу, дожидаешься появления на странице нужного блока, читаешь этот блок и отправляешь это используя GAS куда надо

@pqmin · 15.08.2024, 21:12

Сообщение от mr_dramm

нужно будет где то установить

Спасибо.
Т.е. нужно делать сервер для этой задачи. Сравнимо с запуском кода на Питоне из Google Cloud, да это по сути одинаково.
Очень сложное решение по сравнению с тем, что можно сделать на Selenium в VBA или кодом на Питоне на своём компьютере.

@mr_dramm · 15.08.2024, 22:59

Сообщение от pqmin

Т.е. нужно делать сервер для этой задачи.

я не знаю вашу задачу в подробностях можно делать можно не длеать, основная идея которую я пытался донести что скрипты гас с данными можно и запустить с любого компа у которого есть интренет и ЯП с клиентом http

@pqmin · 25.08.2024, 09:14

Сообщение от Usaga

то, чего нельзя через API получить страница откуда берёт?

Предполагаю, что либо существуют два API, для собственных страниц и для запросов; либо разработчик API запретил ему отдавать некот. данные по запросам.
«Поле ✽ не является частью ответов API и изначально не доступно через стандартные методы API». «API не предоставляет способа получить прямую информацию о том …». Это, правда, пишет ЧатГПТ, можно поставить под сомнение. Но сайт с неподдающимися мне страницами мировой известности и миллионными посещениями, так что можно и допустить, что ЧатГПТ не сочиняет отсебятины. При этом поле ✽ в описании API есть.

@Usaga · 25.08.2024, 13:34

pqmin, API не может быть каким-то закрытым. Физическ. Всё, что браузер запрашивает у сервера - всё это видно в открытую. Другое дело, что оно недокументировано может быть, ибо не предназначено для публики.

Нажми в браузере F12, перейди на вкладку Network, перезагрузи страницу, выбери фильтр XMLRequest и ты увидишь ВСЕ обращения к серверу. Ну, кроме WebSocket, для этого другой фильтр есть.

Ничего вне того, что ты видишь, данные на страницу передать не может.

Поэтому можно изучить эти обращения, понять что откуда и как возвращает, и обращаться к серверу таким же образом. Вот тебе и парсинг динамических страниц.

Новые блоги и статьи Все статьи Все блоги /
Часы с термометром и праздничным календарем yariko 12.11.2026 Сегодня мы рассмотрим как можно сделать отличные многофункциональные часы. Итак, поставим конкретную задачу: разработать часы с календарем, двумя термодатчиками, выводом поздравительных сообщений. . .	Транслитерация текста с кириллицы на латиницу (вариант №1) Maks 11.11.2026 Решил облегчить жизнь себе и коллегам админам при создании электронных почтовых ящиков для пользователей, в результате написал обработку "Транслитерация текста" с кириллицы на латиницу, а в ней. . .	Книги по геймдизайну, левел-дизайну, игровым механикам и проектированию игрового опыта 8Observer8 08.11.2026 Содержание блога \| English Version 1. 2003 - 06 - Designing Virtual Worlds (1st Edition) Автор: Richard A. Bartle \| Объем: 768 стр. Ссылки: Amazon . . .	Родители токсичные абьюзеры по отношению к своим детям ругают их оскорбляют не любят zorxor 08.11.2026 Жить в атмосфере постоянных оскорблений, критики и холодности со стороны родителей — это тяжелое и болезненное испытание, которое оставляет глубокие эмоциональные раны. Токсичное и абьюзивное. . .
Как только я захожу к себе в свою комнату я сразу же с себя снимаю свои трусы. Ответ от Джемени ИИ. zorxor 08.11.2026 Джемени, как только я захожу к себе в свою комнату я сразу же с себя снимаю свои трусы. Многие люди, возвращаясь домой, сразу переодеваются в максимально свободную одежду или вовсе предпочитают. . .	Паттерн очереди действий/команд (Action / Command Queue). Система очереди действий и кат-сцен с SDL3 Callbacks, cglm и OpenGL 8Observer8 07.11.2026 Содержание блога \| English Version Руководство для начинающих по реализации паттерна очереди действий/ команд (Action / Command Queue) на C++ (C++20) с использованием официального SDL3 Callbacks. . .	Проверка полного ФИО в типовом справочнике Maks 07.11.2026 Решение реализовано в конфигурации КА2, на примере справочника "КонтактныеЛицаПартнеров". Задача: Запрет инициалов. Не допускаеть использование сокращений вида "И. И. ", "И. И. ", "И И" и. . .	Про "Windows must die!" kumehtar 04.11.2026 Знаете, чет накатило. . . . Когда-то это было почти боевым кличем: мол, нормальный человек сидит на DOS, OS/ 2 или Linux, а вот это вот - Must Die. А теперь человек произносит «мастдай» с усмешкой - и. . .

@vladkuzmin 0 / 0 / 0 Регистрация: 07.01.2021 Сообщений: 2

	Парсинг динамического сайта 18.03.2024, 10:08. Показов 3725. Ответов 34 Метки парсинг (Все метки) Здравствуйте. На сайте есть погрузка данных из документа, которая идёт через API, то есть когда начинается событие (в 12 часов мск например) - он динамически начинает подгружать текст в течение всего события при помощи Java script .Как парсить такой сайт? Текст достать Добавлено через 15 минут Либо как то сделать так чтобы у меня эта страница загрузилась со всеми данными сразу, без динамики 0

@Usaga 14834 / 9618 / 1369 Регистрация: 21.01.2016 Сообщений: 36,180
	15.08.2024, 14:19
	krvsa, google говорит, что это скорее всего Google App Script. Хз что такое и почему туда как-то отдельно надо добавляться скрипты... 0

@mr_dramm Молодой техлид) 1818 / 1056 / 329 Регистрация: 17.07.2021 Сообщений: 2,147 Записей в блоге: 14
	15.08.2024, 15:47
	pqmin, работать с GAS можно с любого компа / сервера. Предложенный Selenium или Puppeteer это библиотеки позволяющие автоматизировать работу с браузером, их нужно будет где то установить где есть доступ к интернету и NodeJS. Пишешь скрипт отрыть страницу, дожидаешься появления на странице нужного блока, читаешь этот блок и отправляешь это используя GAS куда надо 0

@Usaga 14834 / 9618 / 1369 Регистрация: 21.01.2016 Сообщений: 36,180
	25.08.2024, 13:34
	pqmin, API не может быть каким-то закрытым. Физическ. Всё, что браузер запрашивает у сервера - всё это видно в открытую. Другое дело, что оно недокументировано может быть, ибо не предназначено для публики. Нажми в браузере F12, перейди на вкладку Network, перезагрузи страницу, выбери фильтр XMLRequest и ты увидишь ВСЕ обращения к серверу. Ну, кроме WebSocket, для этого другой фильтр есть. Ничего вне того, что ты видишь, данные на страницу передать не может. Поэтому можно изучить эти обращения, понять что откуда и как возвращает, и обращаться к серверу таким же образом. Вот тебе и парсинг динамических страниц. 0