Парсинг динамического контента (который загружается спустя ~5 секунд)

@taqqot · Регистрация: 29.04.2017

Студворк — интернет-сервис помощи студентам

Всем привет, нужен парсер, который парсит динамический контент. Я имею в виду сайты, на которых основной контент выводится спустя 3-5 секунд после загрузки самой страницы. То есть, мы указываем ссылку на сайт, а парсер парсит сайт не с начала загрузки, а уже через 5-10 секунд, когда весь контент уже загрузился. То есть, парсинг с интервалом. Надеюсь, вы меня поняли. Скорее всего, тут нужно задействовать PhantomJS или SlimerJS, либо что-то другое, что работает на javascript. Если нет, поправьте меня. Буду благодарен коду/ссылке/видео, главное - решить проблему.

@Jodah · 15.05.2017, 23:34

Сообщение от taqqot

То есть, парсинг с интервалом.

В PHP такого нет. И JS он выполнять не умеет.

Обычно дополнительное содержимое подгружается с помощью AJAX, поэтому вам нужно проанализировать, какие запросы браузер скрытно отправляет серверу для получения данных, и с помощью Curl повторить эти запросы.

Т.е. вы делаете один запрос на получение статичной страницы и затем доп. запросы на получение подгружаемых данных.

@paha444 · 16.05.2017, 18:30

AJAX запросом проверяйте изменения на странице каждые 5 секунд. Если есть чтото новое забирайте себе.

@taqqot 0 / 0 / 0 Регистрация: 29.04.2017 Сообщений: 12
		1
	Парсинг динамического контента (который загружается спустя ~5 секунд) 15.05.2017, 22:54. Показов 5112. Ответов 2 Метки нет (Все метки) Всем привет, нужен парсер, который парсит динамический контент. Я имею в виду сайты, на которых основной контент выводится спустя 3-5 секунд после загрузки самой страницы. То есть, мы указываем ссылку на сайт, а парсер парсит сайт не с начала загрузки, а уже через 5-10 секунд, когда весь контент уже загрузился. То есть, парсинг с интервалом. Надеюсь, вы меня поняли. Скорее всего, тут нужно задействовать PhantomJS или SlimerJS, либо что-то другое, что работает на javascript. Если нет, поправьте меня. Буду благодарен коду/ссылке/видео, главное - решить проблему. 0

@Jodah 3834 / 3182 / 1337 Регистрация: 01.08.2012 Сообщений: 10,797
	15.05.2017, 23:34	2
	Сообщение от taqqot То есть, парсинг с интервалом. В PHP такого нет. И JS он выполнять не умеет. Обычно дополнительное содержимое подгружается с помощью AJAX, поэтому вам нужно проанализировать, какие запросы браузер скрытно отправляет серверу для получения данных, и с помощью Curl повторить эти запросы. Т.е. вы делаете один запрос на получение статичной страницы и затем доп. запросы на получение подгружаемых данных. 0

@paha444 9 / 9 / 4 Регистрация: 04.08.2013 Сообщений: 157
	16.05.2017, 18:30	3
	AJAX запросом проверяйте изменения на странице каждые 5 секунд. Если есть чтото новое забирайте себе. 0

Опции темы