Отладка скриптов

Доброго.
Пишу парсер на шарпе. Скачиваю html страницу, чтобы её спарсить, но, оказывается, часть контента генерируется javasript-ом.
Нашёл библиотеку, позволяющую запустить скрипт по имени функции или коду этой функции.
Вопрос теперь заключается в том, как на большом сайте, напичканом скриптами js и jquery найти отвечающий за генерацию нужного парсеру куска текста.
А может всё вообще стоит делать по-другому?

0

на шарпе есть WebView или как то так я уже точно не помню, загружаешь страницу в него он ее исполняет и забираешь код, все.

0

Nowsoud,

Сообщение от Nowsoud Нашёл библиотеку, позволяющую запустить скрипт по имени функции или коду этой функции.

Здрасьте. А как она называется?

0

Jurassic.dll

Добавлено через 3 минуты
На счёт webview. Если на сайте в форме есть два селекта, и <option>-ы второго генегируются в зависимости от выбраного option-а в первом. Как тогда мне поможет webview (которого я не нашёл, кстати. Есть WebBrowser c отключенным js).

0

Сообщение от Nowsoud Как тогда мне поможет webview (которого я не нашёл, кстати. Есть WebBrowser c отключенным js).

WebView как такового нет, но он есть в Awesomium - HTML UI Engine. Что до WebBrowser, то что мешает включить JavaScript? А как поможет... ну есть же программный доступ к документу, можно и выбрать нужную опцию в селекте программно и просмотреть что загрузилось во второй селект.
Это наиболее простой способ реализовать задачу, в противном случае придется долго разбираться как работает сайт, откуда берутся те или иные данные, для этого иногда приходится очень много усилий прикладывать.

1

diadiavova, спасибо. Я не нашёл способа активировать js в станадартном webbrowser-e winforms.
Меня интересует вопрос, как именно "долго разбираться как работает сайт, откуда берутся те или иные данные".
Использовать какой-то отладчик, или перечитывать все скрипты сайта? Есть ли какой-то относительно простой способ этого? По-сути, всё что мне нужно, это получить код js функции, отвечающий за генерацию селекта. Чтобы запустить скрипт, как я уже понял, есть много путей. PhantomJS, хотя бы.

0

Сообщение от Nowsoud Я не нашёл способа активировать js в станадартном webbrowser-e winforms.

У меня как-то вроде давно уже не было подобных проблем. Насколько я помню, возникнуть они могут из-за настроек безопасности, а это системные настройки, а не свойства элемента управления. Открой Свойства браузера или Свойства обозревателя в более ранних версиях винды (через меню IE или через панель управления - не важно), там вроде надо настройки зон безопасности посмотреть и для той зоны, в которой находится сайт разрешить выполнение сценариев. Я точно не помню какой именно пункт там надо разрешить, возможно Разрешить сценарии для элемента управления веб-обозревателем Microsoft. Но могу ошибаться. Если не поможет и нужный пункт не будет найден, то еще можно посмотреть на вкладке Дополнительно, там вроде есть какие-то параметры, которые можно по-разному установить для IE и для WebBrowser. Короче искать где-то там надо. Авесомиум во многих отношениях, в том числе и в этом работает более гибко, но придется более сорока мегабайт за собой таскать, если это не проблема, то есть смысл попробовать именно его.

Сообщение от Nowsoud Меня интересует вопрос, как именно "долго разбираться как работает сайт, откуда берутся те или иные данные".

Да тут общего ответа нет. Иногда все если не на поверхности лежит, то по крайней мере находится быстро, а иногда бывает, что все вообще какое-то шаманство напоминает. Так что как повезет.

Сообщение от Nowsoud Использовать какой-то отладчик, или перечитывать все скрипты сайта?

И то и другое. Можно фиддлером воспользоваться(хотя в последнее время там что-то намудрили... испортили короче программу, но видимо разобраться можно), или встроенными инструментами разработчика браузеров. Обо всех не скажу, но в файрфоксе они весьма недурны, есть еще расширения всякие типа firebug, хотя не знаю, нужен ли он сейчас, поскольку многое из того, что раньше делалось с его помощью, сейчас могут и встроенные инструменты. Но есть и другие расширения, которые тоже могут помочь.

Сообщение от Nowsoud Есть ли какой-то относительно простой способ этого

Самое простое - использовать браузер.

Сообщение от Nowsoud Чтобы запустить скрипт, как я уже понял, есть много путей.

Как в WebBrowser, так и в Avesomium выполнение программного кода - не проблема. Причем в WebBrowser можно выполнять не только JavaScript, но и получить доступ к DOM и работать с его объектами, используя основной язык, на котором пишется приложение(в твоем случае C#), возможно за исключением некоторых моментов, которые можно сделать только через скрипты.

0