Получение содержимого страницы

@Maj0r · Регистрация: 25.10.2013

Студворк — интернет-сервис помощи студентам

Доброго времени суток=)

То ли по не знанию, то ли уже от клина в голове, столкнулся с проблемой: Необходимо получить содержимое страницы на своем-же хосте, при чем тривиальное решение под название file_get_contents не канает. ПО одной простой причине необходимо что-бы на странице которой я буду грабить отработал js ...( точнее взял инфу сделал с ней коварные дела и создал div в который положил результат обработки...)

Сразу пришло на ум что-то типа nodejs и J4P5, НО последний слегка не подходит по своей ограниченности(я попутно юзаю либу CAMON.js).

Начал копать в сторону js интерпретатора, но опять.... Для элементарных действий сварганить можно, но для работы с канвой уже дело может закончиться недельным запоем и горой бутылок возле компа....

Вот и не знаю уже в какую сторону копать...

Добавлено через 1 час 24 минуты
Заюзав cURL я пришел к парадоксу.... данный код возвращает отработанное JS хтмл'о

PHP
1
2
3
4
5
6
7
$url = "ссылка";
$ch = curl_init(); // initialize curl handle
curl_setopt($ch, CURLOPT_URL, $url); // set url to post to
curl_setopt($ch, CURLOPT_FAILONERROR, 1); // Fail on errors
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); // return into a variable
curl_setopt($ch, CURLOPT_TIMEOUT, 15); // times out after 15s
print $a = curl_exec($ch);

Т.е. если я пытаюсь грабить страницы следующего содержания

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
<html>
<head>
 
<script>
    var s=document.write('<button>test<button>');
    
</script>
</head>
<body>
 
</body>
<html>

То я вижу кнопку... В уме не укладывается... Как оно работает...

@tgarl · 03.12.2014, 16:30

curl не "грабит", а отдает вам результат этой страницы таким каким бы вы получили перейдя на эту страницу

@Maj0r · 03.12.2014, 17:38 **[ТС]**

Так, эт я уже понял, с выводом на экран я лохонулся, признаю! Но тогда возвращаясь к предыдущему вопросу: как можно сграбить данные уже с отработатавшей JS, либо как можно интерпретировать полученное не отработавшее html'о на строне сервера?

@Custos · 03.12.2014, 18:24

Maj0r, PhantomJS

@Maj0r · 04.12.2014, 18:25 **[ТС]**

Custos, Как говорил один индеец-"Штукенция" =)
Но, опять но!!! Это как и вебкит требует инсталяшки, т.е. использование VDS а не хостинга... Не есть гуд. ~~Тихо про себя матерясь...~~ Решение планируется для массового пользователя а не для частного случая... и брать с собой на пикник пулемет максим слегка неудобно... Я когда производил самостоятельный поиск на данную тематику (до момента создания сабжа) натыкался на это чудо, я натыкался и на вот этот линк: , но так и не нашел как сделать ветер не прибегая к сторонним плюшкам...
Вопрос в принципе остается открытым, ибо то решение которое имеется сейчас имеет право на жизнь, но не долгую...

Новые блоги и статьи Все статьи Все блоги /
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Рецензия / Мнение Это мой обзор планшета X220 с точки зрения школьника. Недавно я решила попытаться уменьшить свой. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .

@tgarl 467 / 431 / 117 Регистрация: 15.02.2012 Сообщений: 1,946
	03.12.2014, 16:30
	curl не "грабит", а отдает вам результат этой страницы таким каким бы вы получили перейдя на эту страницу 1

@Maj0r 1 / 1 / 0 Регистрация: 25.10.2013 Сообщений: 25
	03.12.2014, 17:38 [ТС]
	Так, эт я уже понял, с выводом на экран я лохонулся, признаю! Но тогда возвращаясь к предыдущему вопросу: как можно сграбить данные уже с отработатавшей JS, либо как можно интерпретировать полученное не отработавшее html'о на строне сервера? 0

@Custos Software Engineer 328 / 328 / 54 Регистрация: 23.09.2014 Сообщений: 976
	03.12.2014, 18:24
	Maj0r, PhantomJS 1

@Maj0r 1 / 1 / 0 Регистрация: 25.10.2013 Сообщений: 25
	04.12.2014, 18:25 [ТС]
	Custos, Как говорил один индеец-"Штукенция" =) Но, опять но!!! Это как и вебкит требует инсталяшки, т.е. использование VDS а не хостинга... Не есть гуд. ~~Тихо про себя матерясь...~~ Решение планируется для массового пользователя а не для частного случая... и брать с собой на пикник пулемет максим слегка неудобно... Я когда производил самостоятельный поиск на данную тематику (до момента создания сабжа) натыкался на это чудо, я натыкался и на вот этот линк: , но так и не нашел как сделать ветер не прибегая к сторонним плюшкам... Вопрос в принципе остается открытым, ибо то решение которое имеется сейчас имеет право на жизнь, но не долгую... 0