Парсинг HTML с HtmlAgilityPack

Всем привет! Я новичок в программировании. Очень нужна помощь по теме!! Суть проблемы:

Пытаюсь парсить страницу http://sob.ru/prodazha-kvartir?p=2#results с помощью HtmlAgilityPack.
Многие узлы парсятся нормально, но не все.


С помощью программы (использую сторонний парсер Datacol 5.3) я генерирую XPath-запрос, который должен мне выдать 7 узлов, содержащих эти кнопки внизу таблицы:
[404]
Вот сгенерированный XPath-запрос Короткий: //div[@class="page_n"]/div
Длинный: //html/body/div/div/div/div/div/div/span/table/tbody/tr/td/table/tbody/tr/td/a/div[@class="page_n"]/div

По обоим запросам эти кнопки успешно парсятся в самом Datacol, отладчике Оперы DragonFly(Ctrl+Shift+I) и, я думаю, в отладчиках других браузеров. Т.е. вбиваю строку XPath, поиском получаю 7 узлов.

HtmlAgilityPack эту узлы не парсит..


Я выяснил, что, например, во встроенном отладчике Оперы DragonFly(Ctrl+Shift+I), код страницы каким-то преобразуется(на картинке в окошке снизу), который отличается от исходного кода.
По xpath-запросу Опера парсит именно этот преобразованный код снизу, а не исходный, и находит 7 узлов.
Подробнее на скрине:
[404]

Как я понимаю, если я смогу получить этот преобразованный код в свою программу и потом пропарсить HtmlAgilityPack'ом уже его, с теми же xpath-запросами, то все должно получится.

Или может-быть есть другие варианты? Буду рад любым разъяснениям.


П.С. Модераторам. В заголовке сообщения не пишется буква "Щ" - вылезает ошибка.

Добавлено через 14 часов 10 минут
В общем, HtmlAgilityPack парсит исходный код. А в нижнем окошке на скрине(DOM Inspector), код частично сгенерирован отработавшим java-скриптом.

Вопрос: как в VB.NET получить код с уже отработавшим JS??

0

У меня аналогичная проблема И снова про код HTML страницы
Вопрос к ТС: нашел решение или так и пребываешь в непонятках?

0

На счёт парсеров и различных браузеров скажу вот что. Тут есть 2 момента, которые нужно учитывать.
1 - Браузеры отображают страницы чуть-чуть по разному. Разное количество пробелов в тексте и названии классов, вид адресов в ссылках и т.д. Поэтому параметры поиска в одном браузере могут чуть-чуть отличаться от другого. (с XPATH тоже самое).

2- Браузеры в отличии от htmlagility умеют выполнять javascript и если вам без скрипта не обойтись придётся искать варианты, как его выполнить.
Очевидный вариант - это загрузить страницу в браузере (WebBrowser) и подождать какое-то время пока выполнится скрипт. Ждать нужно в отдельном потоке, чтобы дать работать браузеру в основном. Или качать какие-нибудь библиотеки. Знаю есть GeckoFx - это mozila браузер под c#. Можно поискать библиотеку, умеющую выполнять javascript без браузера. Тут выбирайте на свой вкус.

Но прежде, чем разбираться с яваскриптом можете отключить его в своём обычном браузере и посмотреть как страница выглядит изначально. Или взять этот текст из WebClient - ну или как вы там его загружаете из интернета. Сравните, что там отличается и можно ли распарсить страницу до выполнения скрипта.

Удачи

1

Moonshine, спасибо за развернутый ответ. Пришел к тем же выводам путем долгого тыкания и изучения многих форумов.

PIkarus, нет, я так и не решил этот вопрос. В моем случае я решил просто менять цифру в URL.

0