Эмуляция браузера

Здравствуйте, помогите с одним вопросом

Задача в том чтобы получить на сервере js объект с сайта
То есть что та наподобии парсера, только забрать с клиента нужно не разметку а js объект или перменную

Скорее всего на node js уже что то такое написано

Нужно самое простое решение как это сделать

0

mixail09, первое что пришло в голову: загрузить HTTP запросом скрипты с сайта, выполнить их через eval/new Function() и получить результат.

Минусы:

• eval - зло
• если код будет взаимодействовать с DOM, этот способ не сработает
• проблема будет вытащить какой-то конкретный объект, который будет находиться внутри скрипта

Лучшим вариантом будет выполнение кода, как вы сказали, парсером + компилятор/интерпретатор. Если хотите знать просто значение какой-то переменной, то достаточно будет какого-то парсера, который укажет чему будет равна та или иная переменная при запуске скрипта с сайта. Но если нужно узнать значение переменной во время работы, то тут уже надо будет выполнять весь код скрипта. Возможно в npm и есть такие пакеты, но это будет "геморрой".

Это очень специфическое задание, и я думаю что вам нужно решить какую-то проблему, но есть куда более лучшие решения для нее, чем это.

0

Сообщение от MrOnlineCoder eval - зло

С формулировкой не согласен! )) все зависит от источника кода... Но в данной ситуации согласен - нельзя в серверную ноду запускать чужой js-код. Тем более если он написан под браузер, а не под ноду.

Вариантов решений вижу несколько:
1) пропарсить JS. Сейчас не скажу чем (не помню - давно и не долго баловался). Есть несколько ПОЛНОЦЕННЫХ парсеров. Кажется Babel. Тогда можно код разобрать на запчасти и засунуть его в объект, а потом в объекте уже искать...
2) Есть действительно "эмулятор браузера". Полноценный браузер "без графики". Не пробовал, но если я правильно понял он устанавливается "отдельной программой" и можно им управлять "снаружи". Используется для тестов. Когда-то нагугливал для JAVA-spring (для тестов кода под java).
3) написать свой парсер. Это как с HTML - ищешь "ключевые места среди которых надо найти некую переменную" и выдираешь ее... минусы как и с HTML - незначительное изменение исходников программистами и парсер не видит "ключевые места"

...ну и 4) попробовать упростить авторов JS источника выдать тебе эту переменную в отдельном АПИ...

0

Сообщение от andyj С формулировкой не согласен! )) все зависит от источника кода...

Конечно ничего плохого в самом eval нет, проблема в том как его используют))

Сообщение от andyj Полноценный браузер "без графики"

Это вроде называется phantomjs или phantom headless.

1

Возможно поможет PhantomJS или Zombie.js.

1

Сообщение от MrOnlineCoder phantomjs или phantom headless.

phantom давно уже как unmaintained

I don't see any future in developing PhantomJS. Developing PhantomJS 2 and 2.5 as a single developer is a bloody hell. Even with recently released 2.5 Beta version with new and shiny QtWebKit, I can't physically support all 3 platforms at once (I even bought the Mac for that!). We have no support. From now, I am stepping down as maintainer. If someone wants to continue - feel free to reach me.

Для таких вещей рекомендуется использовать selenium-webdriver в связке с chrome-headless / firefox-headless

0

https://github.com/GoogleChrome/puppeteer

0