Форум программистов, компьютерный форум, киберфорум
PHP: сети
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.82/11: Рейтинг темы: голосов - 11, средняя оценка - 4.82
0 / 0 / 0
Регистрация: 29.04.2017
Сообщений: 12
1

Парсинг динамического контента (который загружается спустя ~5 секунд)

15.05.2017, 22:54. Просмотров 2216. Ответов 2
Метки нет (Все метки)

Всем привет, нужен парсер, который парсит динамический контент. Я имею в виду сайты, на которых основной контент выводится спустя 3-5 секунд после загрузки самой страницы. То есть, мы указываем ссылку на сайт, а парсер парсит сайт не с начала загрузки, а уже через 5-10 секунд, когда весь контент уже загрузился. То есть, парсинг с интервалом. Надеюсь, вы меня поняли. Скорее всего, тут нужно задействовать PhantomJS или SlimerJS, либо что-то другое, что работает на javascript. Если нет, поправьте меня. Буду благодарен коду/ссылке/видео, главное - решить проблему.
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
15.05.2017, 22:54
Ответы с готовыми решениями:

Парсинг динамического контента
Не могу решить проблему с получением значение, которое появляется на сайте после работа javascript....

Выполнение метода спустя 60 секунд
Добрый вечер! Не знаю как реализовать выполнение метода через 60 секунд, после выполнения условия....

Уникализация контента спустя длительное время
Подскажите, насколько целесообразно рерайтить (последовательно) копипасту на сайте, который,...

FIFA 18 Спустя секунд 30 выбрасывает из игры
Помогите ,пожалуйста. Спустя сикунд 30 выбрасывает из игры( Все остальные игры работают без...

2
Эксперт PHP
3499 / 2941 / 1237
Регистрация: 01.08.2012
Сообщений: 10,135
15.05.2017, 23:34 2
Цитата Сообщение от taqqot Посмотреть сообщение
То есть, парсинг с интервалом.
В PHP такого нет. И JS он выполнять не умеет.

Обычно дополнительное содержимое подгружается с помощью AJAX, поэтому вам нужно проанализировать, какие запросы браузер скрытно отправляет серверу для получения данных, и с помощью Curl повторить эти запросы.

Т.е. вы делаете один запрос на получение статичной страницы и затем доп. запросы на получение подгружаемых данных.
0
9 / 9 / 4
Регистрация: 04.08.2013
Сообщений: 157
16.05.2017, 18:30 3
AJAX запросом проверяйте изменения на странице каждые 5 секунд. Если есть чтото новое забирайте себе.
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
16.05.2017, 18:30

Заказываю контрольные, курсовые, дипломные и любые другие студенческие работы здесь.

Скорость частицы спустя время t=0.5 секунд
Отрицательно заряженная частица массой m=4x10-6 г и зарядом q=-10-13 Кл влетает в однородное...

Как сделать чтобы кнопка в форме сама нажималась спустя 5 секунд?
Как в C# 2010 express сделать чтоб кнопка в форме сама нажималась спустя 5 сек? using System;...

Почему запуская службу, по факту она начинает работать только спустя 50 - 60 секунд?
Всем доброго времени суток, прошу у Вас помощи. Ситуация следящая: Приложение создает и запускает...

При запуске диспетчера задач загруженность 100%, спустя несколько секунд 10-15%, гудит ноутбук
Здравствуйте, у меня довольно мощный игровой ноутбук и последний месяц заметил такую тенденцию, что...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2020, vBulletin Solutions, Inc.