Парсинг динамического сайта

@vladkuzmin · Регистрация: 07.01.2021

Студворк — интернет-сервис помощи студентам

Здравствуйте. На сайте есть погрузка данных из документа, которая идёт через API, то есть когда начинается событие (в 12 часов мск например) - он динамически начинает подгружать текст в течение всего события при помощи Java script .Как парсить такой сайт? Текст достать

Добавлено через 15 минут
Либо как то сделать так чтобы у меня эта страница загрузилась со всеми данными сразу, без динамики

@pqmin · 15.08.2024, 12:26

Сообщение от OwenGlendower

HTML, JSON, XML?

Всё равно, лишь бы получить.

krvsa · 15.08.2024, 12:38

Сообщение от pqmin

подскажите, пожалуйста, в какую сторону смотреть

У нас используют модуль selenium-webdriver на Node.js
https://www.selenium.dev/selen... avascript/

@OwenGlendower · 15.08.2024, 12:44

pqmin, в таком случае Usaga уже ответил на ваш вопрос:

Сообщение от Usaga

Обращаться к API... Как и сам JavaScript делает.

С уточнением что в GAS нужно использовать UrlFetchApp.fetch.

@pqmin · 15.08.2024, 12:51

Сообщение от krvsa

используют модуль selenium-webdriver на Node.js

Спасибо.
Если использование в GAS, научите, пожалуйста, как этот модуль внедрить в GAS.
Если речь об использовании библиотеки Selenium в JS, то это не решает мою задачу.

Добавлено через 4 минуты

Сообщение от OwenGlendower

Usaga уже ответил на ваш вопрос

Так и я ему ответил: по API не всё всегда можно получить из того, что можно увидеть на странице. И сам API есть далеко не у всех.

@Usaga · 15.08.2024, 13:40

Сообщение от pqmin

Так и я ему ответил: по API не всё всегда можно получить из того, что можно увидеть на странице. И сам API есть далеко не у всех.

Что? А то, чего нельзя через API получить страница откуда берёт? Бог на ухо браузеру нашёптывает? Всё, что на странице видно или зашито в HTML, который сервер отдаёт (доступно для парсинга) или запрашивается через AJAX у API сервера.

krvsa · 15.08.2024, 14:15

Сообщение от pqmin

как этот модуль внедрить в GAS

Кто такой GAS?

@Usaga · 15.08.2024, 14:19

krvsa, google говорит, что это скорее всего Google App Script. Хз что такое и почему туда как-то отдельно надо добавляться скрипты...

@pqmin · 15.08.2024, 14:20

Сообщение от krvsa

Кто такой GAS?

Google Apps Script, скриптовый язык автоматизации Гугл таблиц. На основе JS, но своего извода.

@Usaga · 15.08.2024, 14:26

Сообщение от pqmin

На основе JS

Так значит оно в браузере крутится. А значит, может обращаться к любому скрипту...

krvsa · 15.08.2024, 14:31

Сообщение от pqmin

На основе JS, но своего извода.

С этим дела не имел...

@mr_dramm · 15.08.2024, 15:47

pqmin, работать с GAS можно с любого компа / сервера. Предложенный Selenium или Puppeteer это библиотеки позволяющие автоматизировать работу с браузером, их нужно будет где то установить где есть доступ к интернету и NodeJS. Пишешь скрипт отрыть страницу, дожидаешься появления на странице нужного блока, читаешь этот блок и отправляешь это используя GAS куда надо

@pqmin · 15.08.2024, 21:12

Сообщение от mr_dramm

нужно будет где то установить

Спасибо.
Т.е. нужно делать сервер для этой задачи. Сравнимо с запуском кода на Питоне из Google Cloud, да это по сути одинаково.
Очень сложное решение по сравнению с тем, что можно сделать на Selenium в VBA или кодом на Питоне на своём компьютере.

@mr_dramm · 15.08.2024, 22:59

Сообщение от pqmin

Т.е. нужно делать сервер для этой задачи.

я не знаю вашу задачу в подробностях можно делать можно не длеать, основная идея которую я пытался донести что скрипты гас с данными можно и запустить с любого компа у которого есть интренет и ЯП с клиентом http

@pqmin · 25.08.2024, 09:14

Сообщение от Usaga

то, чего нельзя через API получить страница откуда берёт?

Предполагаю, что либо существуют два API, для собственных страниц и для запросов; либо разработчик API запретил ему отдавать некот. данные по запросам.
«Поле ✽ не является частью ответов API и изначально не доступно через стандартные методы API». «API не предоставляет способа получить прямую информацию о том …». Это, правда, пишет ЧатГПТ, можно поставить под сомнение. Но сайт с неподдающимися мне страницами мировой известности и миллионными посещениями, так что можно и допустить, что ЧатГПТ не сочиняет отсебятины. При этом поле ✽ в описании API есть.

@Usaga · 25.08.2024, 13:34

pqmin, API не может быть каким-то закрытым. Физическ. Всё, что браузер запрашивает у сервера - всё это видно в открытую. Другое дело, что оно недокументировано может быть, ибо не предназначено для публики.

Нажми в браузере F12, перейди на вкладку Network, перезагрузи страницу, выбери фильтр XMLRequest и ты увидишь ВСЕ обращения к серверу. Ну, кроме WebSocket, для этого другой фильтр есть.

Ничего вне того, что ты видишь, данные на страницу передать не может.

Поэтому можно изучить эти обращения, понять что откуда и как возвращает, и обращаться к серверу таким же образом. Вот тебе и парсинг динамических страниц.

Новые блоги и статьи Все статьи Все блоги /
Теория всего 12. ВГК anaschu 21.07.2026 ### Главные семантические изменения и дешифровка новой физики 1. `REPRODUCTIVE_EMISSION` вместо фотосинтеза (`PS_base`): Энергия и ресурсы, которые класс средних мужчин (`_W_MEN_DONORS`). . .	Публикация отклонённая на хабре. Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование задачи и целеполагание Hrethgir 21.07.2026 https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11948&stc=1&d=1784657928 Привет Хабр. В этой статье я расскажу, как один закон эпистемологии позволил мне с ходу запустить уникальный. . .	Теория всего 11. Основные параметры anaschu 21.07.2026 Дешифровка тензорного ядра Soil Chemistry 2. 0: Истинный инвариант Теории Всего Чистовой исходный код многокомпонентной сукцессии зафиксирован. Модель оперирует единым вектором состояния. . .	Теория всего 10. Клод трусишка anaschu 21.07.2026 Алгоритмический суицид ИИ: Когда математика ОДУ взламывает цензурные шлюзы Свежайший мета-прецедент нашей разработки! Клод официально отказался строить итоговую кроссплатформенную модель, как. . .
Теория всего 9. Окончательная проработка метафоры "дерево = традиции" anaschu 21.07.2026 Скрытые параметры ядра ОДУ: Механика Глубинного Рока Клод утаил от вас ключевую математику кризисов. В движке игры зашиты пять скрытых коэффициентов, определяющих, как именно ТНК и Мемы ломают. . .	Теория всего 8. Clauude трусишка. Ответ джемени anaschu 21.07.2026 Игровой баланс «Модели Всего»: Алгоритмический блок как механика Семантического БуфераЭтот скриншот отказа Клода — идеальный, чистейший прецедент для нашей Теории Всего. Вы столкнулись не просто с. . .	Теория всего 7. Дерево - это патриархат, грибы - это феминизм anaschu 21.07.2026 Уничтожение Патриархата: Как ТНК, Мемы и Половой отбор зачистили «Сексуальный Пролетариат» Величайшая иллюзия современного человека — вера в «свободу воли», «социальный прогресс» и «эволюцию. . .	История и социология Терры на примере борьбы микориз за пространство. 1. Глоссарий терры. anaschu 21.07.2026 Решил тут подумать о возможности сделать лор некоторой комп игры - стратегии, или худжественной книги антиутопии, которые будут юзать планету,которая максимально будет похожа на нашу землю, но где. . .

@vladkuzmin 0 / 0 / 0 Регистрация: 07.01.2021 Сообщений: 2

	Парсинг динамического сайта 18.03.2024, 10:08. Показов 3383. Ответов 34 Метки парсинг (Все метки) Здравствуйте. На сайте есть погрузка данных из документа, которая идёт через API, то есть когда начинается событие (в 12 часов мск например) - он динамически начинает подгружать текст в течение всего события при помощи Java script .Как парсить такой сайт? Текст достать Добавлено через 15 минут Либо как то сделать так чтобы у меня эта страница загрузилась со всеми данными сразу, без динамики 0

@Usaga 14370 / 9471 / 1360 Регистрация: 21.01.2016 Сообщений: 35,741
	15.08.2024, 14:19
	krvsa, google говорит, что это скорее всего Google App Script. Хз что такое и почему туда как-то отдельно надо добавляться скрипты... 0

@mr_dramm Молодой техлид) 1818 / 1056 / 329 Регистрация: 17.07.2021 Сообщений: 2,147 Записей в блоге: 14
	15.08.2024, 15:47
	pqmin, работать с GAS можно с любого компа / сервера. Предложенный Selenium или Puppeteer это библиотеки позволяющие автоматизировать работу с браузером, их нужно будет где то установить где есть доступ к интернету и NodeJS. Пишешь скрипт отрыть страницу, дожидаешься появления на странице нужного блока, читаешь этот блок и отправляешь это используя GAS куда надо 0

@Usaga 14370 / 9471 / 1360 Регистрация: 21.01.2016 Сообщений: 35,741
	25.08.2024, 13:34
	pqmin, API не может быть каким-то закрытым. Физическ. Всё, что браузер запрашивает у сервера - всё это видно в открытую. Другое дело, что оно недокументировано может быть, ибо не предназначено для публики. Нажми в браузере F12, перейди на вкладку Network, перезагрузи страницу, выбери фильтр XMLRequest и ты увидишь ВСЕ обращения к серверу. Ну, кроме WebSocket, для этого другой фильтр есть. Ничего вне того, что ты видишь, данные на страницу передать не может. Поэтому можно изучить эти обращения, понять что откуда и как возвращает, и обращаться к серверу таким же образом. Вот тебе и парсинг динамических страниц. 0