Снимок сайта со всеми выполненными JS

@Aleksey-2020 · Регистрация: 25.10.2012

Author24 — интернет-сервис помощи студентам

Доброго время суток.

Появилась задача за отслеживанием контента сайта, часть контента подгружается со стороннего сайта по средствам JS после загрузки всего дома и необходимо его проконтролировать. Загрузить и сохранить в файл или сразу пропарсить на запрещенный текст.
Пробовал Curl-ом, но он не грузит JS и не догружает контент.

Посоветуйте функции для решение такой задачи.

В идеале еще у этого робота прописать и User-Agetnt чтобы его добавить в исключение и случайно не забанить.

@Para bellum · 25.10.2012, 16:16

Ну, можно попробовать вытянуть ссылку, по которой делает запрос JS, из полученного контента и опять же CURL'ом "перейти" по ссылке и полученный контент вставить в то место первого HTML кода, куда его вставлял JS.

Сообщение от Aleksey-2020

В идеале еще у этого робота прописать и User-Agetnt

C помощью CURL_SETOPT можно указать такой заголовок.

@r3ntg3n · 26.10.2012, 13:06

CURL запрашивает контент и сразу его отдает вам, как только получил ответ от сервера. То, что потом еще выполняются js-скрипты, ему все равно, он свое получил.

Не уверен, поможет ли, но можно попробовать использовать сокеты. Подцепиться с веб-серверу, считать несколько байтов, чтобы сервер подумал, что идет запрос контента, выждать некоторое время, за которое сформируется DOM и выполнятся скрипты, и после этого читать, что вас отдали в сокет.

DrobyshevAlex · 26.10.2012, 13:19

чего? r3ntg3n, ты же не думаешь что JS выполняются на стороне сервера

браузер загрузил весь документ, выполнилось onload и пошла загрузка скрпитов. Сервер то тут при чём?)

@r3ntg3n · 26.10.2012, 13:51

Сообщение от DrobyshevAlex

r3ntg3n, ты же не думаешь что JS выполняются на стороне сервера

Sh!t, туплю )))

@Aleksey-2020 · 26.10.2012, 17:49 **[ТС]**

что скажите про Selenium
приходилось ли работать с ним?

@r3ntg3n · 31.10.2012, 13:36

Сообщение от Aleksey-2020

что скажите про Selenium
приходилось ли работать с ним?

Используется в функциональных тестах, например, в Yii Framework. Написан на java, если мне не изменяет память.

@Aleksey-2020 0 / 0 / 0 Регистрация: 25.10.2012 Сообщений: 3
		1
	Снимок сайта со всеми выполненными JS 25.10.2012, 12:11. Показов 994. Ответов 6 Метки нет (Все метки) Доброго время суток. Появилась задача за отслеживанием контента сайта, часть контента подгружается со стороннего сайта по средствам JS после загрузки всего дома и необходимо его проконтролировать. Загрузить и сохранить в файл или сразу пропарсить на запрещенный текст. Пробовал Curl-ом, но он не грузит JS и не догружает контент. Посоветуйте функции для решение такой задачи. В идеале еще у этого робота прописать и User-Agetnt чтобы его добавить в исключение и случайно не забанить. 0

@Para bellum 5753 / 4133 / 1507 Регистрация: 06.01.2011 Сообщений: 11,276
	25.10.2012, 16:16	2
	Ну, можно попробовать вытянуть ссылку, по которой делает запрос JS, из полученного контента и опять же CURL'ом "перейти" по ссылке и полученный контент вставить в то место первого HTML кода, куда его вставлял JS. Сообщение от Aleksey-2020 В идеале еще у этого робота прописать и User-Agetnt C помощью CURL_SETOPT можно указать такой заголовок. 0

@r3ntg3n 112 / 93 / 15 Регистрация: 03.10.2012 Сообщений: 315
	26.10.2012, 13:06	3
	CURL запрашивает контент и сразу его отдает вам, как только получил ответ от сервера. То, что потом еще выполняются js-скрипты, ему все равно, он свое получил. Не уверен, поможет ли, но можно попробовать использовать сокеты. Подцепиться с веб-серверу, считать несколько байтов, чтобы сервер подумал, что идет запрос контента, выждать некоторое время, за которое сформируется DOM и выполнятся скрипты, и после этого читать, что вас отдали в сокет. 0

DrobyshevAlex 1178 / 1128 / 94 Регистрация: 31.05.2012 Сообщений: 3,060
	26.10.2012, 13:19	4
	чего? r3ntg3n, ты же не думаешь что JS выполняются на стороне сервера браузер загрузил весь документ, выполнилось onload и пошла загрузка скрпитов. Сервер то тут при чём?) 0

@r3ntg3n 112 / 93 / 15 Регистрация: 03.10.2012 Сообщений: 315
	26.10.2012, 13:51	5
	Сообщение от DrobyshevAlex r3ntg3n, ты же не думаешь что JS выполняются на стороне сервера Sh!t, туплю ))) 0

@Aleksey-2020 0 / 0 / 0 Регистрация: 25.10.2012 Сообщений: 3
	26.10.2012, 17:49 [ТС]	6
	что скажите про Selenium приходилось ли работать с ним? 0

@r3ntg3n 112 / 93 / 15 Регистрация: 03.10.2012 Сообщений: 315
	31.10.2012, 13:36	7
	Сообщение от Aleksey-2020 что скажите про Selenium приходилось ли работать с ним? Используется в функциональных тестах, например, в Yii Framework. Написан на java, если мне не изменяет память. 0