Возможно ли при парсинге заграбить блоки, которые подгружаются с ajax/js?

@EVOSandru6 · Регистрация: 23.05.2012

Студворк — интернет-сервис помощи студентам

Интересует такая штука, вполне себе нормально парсить статические сайты с помощью nokogiri или simple_html_dom.
Но ..
Что делать, если часть контента подгружается динамически или с задержкой, можно как нибудь самому задержаться и такой контент зацепить?

@Para bellum · 23.06.2015, 10:29

Можно посмотреть в консоли обозревателя, куда идёт запрос ajax. Затем с помощью php делать запрос на тот же адрес.
Чтобы ограбить страницу, в которой данные формируются с помощью JS - можно попробовать библиотеку PhantomJS.

@alexsamos33 · 23.06.2015, 19:27

Ну да... Можно парсить HTML страницы через simple_html_dom, а js подгружать отдельно, скорее всего это будут JSON данные и их уже можно будет распарсить функцией json_decode...
А посмотреть от куда бирутся данные можно, как уже написали выше, через консоль браузера или через сниффер, и потом эти значения подставить в скрипт.

@EVOSandru6 · 24.06.2015, 08:35 **[ТС]**

А можно такую фишку с консолью на chrome поставить?

У меня не открывается интересующий меня сайт в chrome.

@alexsamos33 · 24.06.2015, 09:06

Сообщение от EVOSandru6

А можно такую фишку с консолью на chrome поставить?

У меня не открывается интересующий меня сайт в chrome.

Она там уже есть.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	Установка Emscripten SDK (emsdk) и CMake на Windows для сборки C и C++ приложений в WebAssembly (Wasm) 8Observer8 30.01.2026 Чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. Система контроля версиями Git. . .	Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .

@EVOSandru6 4 / 4 / 6 Регистрация: 23.05.2012 Сообщений: 445

	Возможно ли при парсинге заграбить блоки, которые подгружаются с ajax/js? 23.06.2015, 09:48. Показов 2292. Ответов 4 Метки нет (Все метки) Интересует такая штука, вполне себе нормально парсить статические сайты с помощью nokogiri или simple_html_dom. Но .. Что делать, если часть контента подгружается динамически или с задержкой, можно как нибудь самому задержаться и такой контент зацепить? 0

@Para bellum 5755 / 4134 / 1508 Регистрация: 06.01.2011 Сообщений: 11,276
	23.06.2015, 10:29
	Сообщение было отмечено EVOSandru6 как решение Решение Можно посмотреть в консоли обозревателя, куда идёт запрос ajax. Затем с помощью php делать запрос на тот же адрес. Чтобы ограбить страницу, в которой данные формируются с помощью JS - можно попробовать библиотеку PhantomJS. 2

@alexsamos33 669 / 640 / 335 Регистрация: 26.04.2014 Сообщений: 2,122
	23.06.2015, 19:27
	Ну да... Можно парсить HTML страницы через simple_html_dom, а js подгружать отдельно, скорее всего это будут JSON данные и их уже можно будет распарсить функцией json_decode... А посмотреть от куда бирутся данные можно, как уже написали выше, через консоль браузера или через сниффер, и потом эти значения подставить в скрипт. 1

@EVOSandru6 4 / 4 / 6 Регистрация: 23.05.2012 Сообщений: 445
	24.06.2015, 08:35 [ТС]
	А можно такую фишку с консолью на chrome поставить? У меня не открывается интересующий меня сайт в chrome. 0

Возможно ли при парсинге заграбить блоки, которые подгружаются с ajax/js?

Решение