Парсинг динамического сайта

@vladkuzmin · Регистрация: 07.01.2021

Студворк — интернет-сервис помощи студентам

Здравствуйте. На сайте есть погрузка данных из документа, которая идёт через API, то есть когда начинается событие (в 12 часов мск например) - он динамически начинает подгружать текст в течение всего события при помощи Java script .Как парсить такой сайт? Текст достать

Добавлено через 15 минут
Либо как то сделать так чтобы у меня эта страница загрузилась со всеми данными сразу, без динамики

@pqmin · 15.08.2024, 12:26

Сообщение от OwenGlendower

HTML, JSON, XML?

Всё равно, лишь бы получить.

krvsa · 15.08.2024, 12:38

Сообщение от pqmin

подскажите, пожалуйста, в какую сторону смотреть

У нас используют модуль selenium-webdriver на Node.js
https://www.selenium.dev/selen... avascript/

@OwenGlendower · 15.08.2024, 12:44

pqmin, в таком случае Usaga уже ответил на ваш вопрос:

Сообщение от Usaga

Обращаться к API... Как и сам JavaScript делает.

С уточнением что в GAS нужно использовать UrlFetchApp.fetch.

@pqmin · 15.08.2024, 12:51

Сообщение от krvsa

используют модуль selenium-webdriver на Node.js

Спасибо.
Если использование в GAS, научите, пожалуйста, как этот модуль внедрить в GAS.
Если речь об использовании библиотеки Selenium в JS, то это не решает мою задачу.

Добавлено через 4 минуты

Сообщение от OwenGlendower

Usaga уже ответил на ваш вопрос

Так и я ему ответил: по API не всё всегда можно получить из того, что можно увидеть на странице. И сам API есть далеко не у всех.

@Usaga · 15.08.2024, 13:40

Сообщение от pqmin

Так и я ему ответил: по API не всё всегда можно получить из того, что можно увидеть на странице. И сам API есть далеко не у всех.

Что? А то, чего нельзя через API получить страница откуда берёт? Бог на ухо браузеру нашёптывает? Всё, что на странице видно или зашито в HTML, который сервер отдаёт (доступно для парсинга) или запрашивается через AJAX у API сервера.

krvsa · 15.08.2024, 14:15

Сообщение от pqmin

как этот модуль внедрить в GAS

Кто такой GAS?

@Usaga · 15.08.2024, 14:19

krvsa, google говорит, что это скорее всего Google App Script. Хз что такое и почему туда как-то отдельно надо добавляться скрипты...

@pqmin · 15.08.2024, 14:20

Сообщение от krvsa

Кто такой GAS?

Google Apps Script, скриптовый язык автоматизации Гугл таблиц. На основе JS, но своего извода.

@Usaga · 15.08.2024, 14:26

Сообщение от pqmin

На основе JS

Так значит оно в браузере крутится. А значит, может обращаться к любому скрипту...

krvsa · 15.08.2024, 14:31

Сообщение от pqmin

На основе JS, но своего извода.

С этим дела не имел...

@mr_dramm · 15.08.2024, 15:47

pqmin, работать с GAS можно с любого компа / сервера. Предложенный Selenium или Puppeteer это библиотеки позволяющие автоматизировать работу с браузером, их нужно будет где то установить где есть доступ к интернету и NodeJS. Пишешь скрипт отрыть страницу, дожидаешься появления на странице нужного блока, читаешь этот блок и отправляешь это используя GAS куда надо

@pqmin · 15.08.2024, 21:12

Сообщение от mr_dramm

нужно будет где то установить

Спасибо.
Т.е. нужно делать сервер для этой задачи. Сравнимо с запуском кода на Питоне из Google Cloud, да это по сути одинаково.
Очень сложное решение по сравнению с тем, что можно сделать на Selenium в VBA или кодом на Питоне на своём компьютере.

@mr_dramm · 15.08.2024, 22:59

Сообщение от pqmin

Т.е. нужно делать сервер для этой задачи.

я не знаю вашу задачу в подробностях можно делать можно не длеать, основная идея которую я пытался донести что скрипты гас с данными можно и запустить с любого компа у которого есть интренет и ЯП с клиентом http

@pqmin · 25.08.2024, 09:14

Сообщение от Usaga

то, чего нельзя через API получить страница откуда берёт?

Предполагаю, что либо существуют два API, для собственных страниц и для запросов; либо разработчик API запретил ему отдавать некот. данные по запросам.
«Поле ✽ не является частью ответов API и изначально не доступно через стандартные методы API». «API не предоставляет способа получить прямую информацию о том …». Это, правда, пишет ЧатГПТ, можно поставить под сомнение. Но сайт с неподдающимися мне страницами мировой известности и миллионными посещениями, так что можно и допустить, что ЧатГПТ не сочиняет отсебятины. При этом поле ✽ в описании API есть.

@Usaga · 25.08.2024, 13:34

pqmin, API не может быть каким-то закрытым. Физическ. Всё, что браузер запрашивает у сервера - всё это видно в открытую. Другое дело, что оно недокументировано может быть, ибо не предназначено для публики.

Нажми в браузере F12, перейди на вкладку Network, перезагрузи страницу, выбери фильтр XMLRequest и ты увидишь ВСЕ обращения к серверу. Ну, кроме WebSocket, для этого другой фильтр есть.

Ничего вне того, что ты видишь, данные на страницу передать не может.

Поэтому можно изучить эти обращения, понять что откуда и как возвращает, и обращаться к серверу таким же образом. Вот тебе и парсинг динамических страниц.

Новые блоги и статьи Все статьи Все блоги /
Запрет пометки на удаление и отмены проведения Maks 16.07.2026 Алгоритм из решения ниже реализован на нетиповом документе "ПутевойЛист" разработанного в КА2. Задача: запретить помечать на удаление и отменять проведения путевого листа при условии, если он сдан. . .	Как надо было делать правильно - вообще не слушать ИИ, его дело - текст. Hrethgir 15.07.2026 А вообще надо было делать не так, чтобы не исправлять ошибку https:/ / www. cyberforum. ru/ blogs/ 223907/ 10996. html , правильно было : удалил кнопку, а потом добавил её. Всё это стресс конечно. Почему?. . .	Знаете, от чего появляется стресс? kumehtar 15.07.2026 Стресс появляется оттого, что вы, зная как поступить правильно, делаете наоборот. Ларри Уингет	Нас бьют, а мы крепчаем? Какая чушь! kumehtar 15.07.2026 Вот это вот бытующее мнение, что человек меняется только под действием проблем, всегда считал вредоносным. Поверь, от проблем у людей появляются не изменения, а нервное расстройство и ПТСР. А. . .
сукцессия 29. Переход от одних деревьев на другие делать более или менее вероятностным? anaschu 12.07.2026 Насколько смена типов микоризы — исключительное событие в двухвековой сукцессии? Оценка вероятности в пространстве параметров В текущей версии модели успешно реализован ключевой механизм. . .	сукцессия 27. Думаю, как переделывать уже написанную статью с планами на сукцессию. anaschu 12.07.2026 Анализ соответствия модели требованиям Реализованные компоненты: Механизм закисления почвы через протонную помпу Конкуренция между типами микориз pH как триггер сукцессии C/ P соотношение. . .	Сукцессия 26. Мат модель создана. anaschu 12.07.2026 Модель смены растительных сукцессий посредством управления грибами работает внутри небольшой ячейки почвы, восстанавливающейся после пожара, где ненадолго бывшее царство хвойных снова захватили. . .	Решил проблему с ошибкой пагинации сообщений с сервера на алгоритме обхода дерева "Эстафета хвоста". Hrethgir 12.07.2026 Проблема была в том, что удалялась именно новая кнопка, а не старая. Ни один ИИ не обнаружил это, а сам я смог только когда с работой стало попроще и когда заставил работать будущее автономное. . .

@vladkuzmin 0 / 0 / 0 Регистрация: 07.01.2021 Сообщений: 2

	Парсинг динамического сайта 18.03.2024, 10:08. Показов 3368. Ответов 34 Метки парсинг (Все метки) Здравствуйте. На сайте есть погрузка данных из документа, которая идёт через API, то есть когда начинается событие (в 12 часов мск например) - он динамически начинает подгружать текст в течение всего события при помощи Java script .Как парсить такой сайт? Текст достать Добавлено через 15 минут Либо как то сделать так чтобы у меня эта страница загрузилась со всеми данными сразу, без динамики 0

@Usaga 14368 / 9469 / 1360 Регистрация: 21.01.2016 Сообщений: 35,728
	15.08.2024, 14:19
	krvsa, google говорит, что это скорее всего Google App Script. Хз что такое и почему туда как-то отдельно надо добавляться скрипты... 0

@mr_dramm Молодой техлид) 1818 / 1056 / 329 Регистрация: 17.07.2021 Сообщений: 2,147 Записей в блоге: 14
	15.08.2024, 15:47
	pqmin, работать с GAS можно с любого компа / сервера. Предложенный Selenium или Puppeteer это библиотеки позволяющие автоматизировать работу с браузером, их нужно будет где то установить где есть доступ к интернету и NodeJS. Пишешь скрипт отрыть страницу, дожидаешься появления на странице нужного блока, читаешь этот блок и отправляешь это используя GAS куда надо 0

@Usaga 14368 / 9469 / 1360 Регистрация: 21.01.2016 Сообщений: 35,728
	25.08.2024, 13:34
	pqmin, API не может быть каким-то закрытым. Физическ. Всё, что браузер запрашивает у сервера - всё это видно в открытую. Другое дело, что оно недокументировано может быть, ибо не предназначено для публики. Нажми в браузере F12, перейди на вкладку Network, перезагрузи страницу, выбери фильтр XMLRequest и ты увидишь ВСЕ обращения к серверу. Ну, кроме WebSocket, для этого другой фильтр есть. Ничего вне того, что ты видишь, данные на страницу передать не может. Поэтому можно изучить эти обращения, понять что откуда и как возвращает, и обращаться к серверу таким же образом. Вот тебе и парсинг динамических страниц. 0