Парсинг динамического контента (который загружается спустя ~5 секунд)

@taqqot · Регистрация: 29.04.2017

Author24 — интернет-сервис помощи студентам

Всем привет, нужен парсер, который парсит динамический контент. Я имею в виду сайты, на которых основной контент выводится спустя 3-5 секунд после загрузки самой страницы. То есть, мы указываем ссылку на сайт, а парсер парсит сайт не с начала загрузки, а уже через 5-10 секунд, когда весь контент уже загрузился. То есть, парсинг с интервалом. Надеюсь, вы меня поняли. Скорее всего, тут нужно задействовать PhantomJS или SlimerJS, либо что-то другое, что работает на javascript. Если нет, поправьте меня. Буду благодарен коду/ссылке/видео, главное - решить проблему.

@Jodah · 15.05.2017, 23:34

Сообщение от taqqot

То есть, парсинг с интервалом.

В PHP такого нет. И JS он выполнять не умеет.

Обычно дополнительное содержимое подгружается с помощью AJAX, поэтому вам нужно проанализировать, какие запросы браузер скрытно отправляет серверу для получения данных, и с помощью Curl повторить эти запросы.

Т.е. вы делаете один запрос на получение статичной страницы и затем доп. запросы на получение подгружаемых данных.

@paha444 · 16.05.2017, 18:30

AJAX запросом проверяйте изменения на странице каждые 5 секунд. Если есть чтото новое забирайте себе.

Новые блоги и статьи Все статьи Все блоги /
Java Micronaut в Docker: контейнеризация с Maven и Jib Javaican 16.03.2025 Когда речь заходит о микросервисной архитектуре на Java, фреймворк Micronaut выделяется среди конкурентов. Он создан с учётом особенностей облачных сред и контейнеров, что делает его идеальным. . .	Управление зависимостями в Java: Сравнение Spring, Guice и Dagger 2 Javaican 16.03.2025 Инъекция зависимостей (Dependency Injection, DI) — один из фундаментальных паттернов проектирования, который радикально меняет подход к созданию гибких и тестируемых Java-приложений. Суть этого. . .	Apache Airflow для оркестрации и автоматизации рабочих процессов Mr. Docker 16.03.2025 Управление сложными рабочими процессами — одна из главных головных болей инженеров данных и DevOps-специалистов. Представьте себе: каждый день нужно запускать десятки скриптов в определенной. . .	Оптимизация приложений Java для ARM Javaican 16.03.2025 ARM-архитектура переживает настоящий бум популярности в технологическом мире. Когда-то воспринимаемая исключительно как решение для мобильных устройств и встраиваемых систем, сегодня она штурмует. . .	Управление состоянием в Vue 3 с Pinia и Composition API Reangularity 16.03.2025 Когда я начал работать с Vue несколько лет назад, мне казалось достаточным использовать простую передачу данных через props и события между компонентами. Однако уже на среднем по сложности проекте. . .
Введение в DevSecOps: основные принципы и инструменты Mr. Docker 16.03.2025 DevSecOps - это подход к разработке программного обеспечения, который объединяет в себе принципы разработки (Dev), безопасности (Sec) и эксплуатации (Ops). Суть подхода заключается в том, чтобы. . .	GitHub Actions vs Jenkins: Сравнение инструментов CI/CD Mr. Docker 16.03.2025 В этой битве за эффективность и скорость выпуска программных продуктов ключевую роль играют специализированные инструменты. Два гиганта в этой области — GitHub Actions и Jenkins — предлагают разные. . .	Реактивное программирование с Kafka Stream и Spring WebFlux Javaican 16.03.2025 Реактивное программирование – это программная парадигма, ориентированная на потоки данных и распространение изменений. Она позволяет выражать статические или динамические потоки данных и. . .	Простая нейросеть на КуМир: Учебное пособие по созданию и обучению нейронных сетей EggHead 16.03.2025 Искусственные нейронные сети — удивительная технология, позволяющая компьютерам имитировать работу человеческого мозга. Если вы хотя бы немного интересуетесь современными технологиями, то наверняка. . .	Исполнитель Кузнечик в КуМир: Решение задач EggHead 16.03.2025 Среди множества исполнителей в системе КуМир особое место занимает Кузнечик — простой, но невероятно полезный виртуальный персонаж, который перемещается по числовой прямой, выполняя ваши команды. На. . .

@taqqot 0 / 0 / 0 Регистрация: 29.04.2017 Сообщений: 12
		1
	Парсинг динамического контента (который загружается спустя ~5 секунд) 15.05.2017, 22:54. Показов 5337. Ответов 2 Метки нет (Все метки) Всем привет, нужен парсер, который парсит динамический контент. Я имею в виду сайты, на которых основной контент выводится спустя 3-5 секунд после загрузки самой страницы. То есть, мы указываем ссылку на сайт, а парсер парсит сайт не с начала загрузки, а уже через 5-10 секунд, когда весь контент уже загрузился. То есть, парсинг с интервалом. Надеюсь, вы меня поняли. Скорее всего, тут нужно задействовать PhantomJS или SlimerJS, либо что-то другое, что работает на javascript. Если нет, поправьте меня. Буду благодарен коду/ссылке/видео, главное - решить проблему. 0

@Jodah 3886 / 3226 / 1351 Регистрация: 01.08.2012 Сообщений: 10,878
	15.05.2017, 23:34	2
	Сообщение от taqqot То есть, парсинг с интервалом. В PHP такого нет. И JS он выполнять не умеет. Обычно дополнительное содержимое подгружается с помощью AJAX, поэтому вам нужно проанализировать, какие запросы браузер скрытно отправляет серверу для получения данных, и с помощью Curl повторить эти запросы. Т.е. вы делаете один запрос на получение статичной страницы и затем доп. запросы на получение подгружаемых данных. 0

@paha444 9 / 9 / 4 Регистрация: 04.08.2013 Сообщений: 161
	16.05.2017, 18:30	3
	AJAX запросом проверяйте изменения на странице каждые 5 секунд. Если есть чтото новое забирайте себе. 0

Опции темы