HtmlAgilityPack как парсить сайт с протоколом https если без "правильных" cookie сервер отдает не всю страницу

@ATop · Регистрация: 06.07.2013

Author24 — интернет-сервис помощи студентам

Хотел вытаскивать определенную информацию с одного из сайтов mail при помощи HtmlAgilityPack но возникло несколько проблем. При запросе к главной странице сайта возвращается далеко не все, по сути только информация которая дается не авторизованному пользователю, а скрипт авторизации с полями логина и пароля вообще не приходит. Если заранее авторизоваться и заходить на ту страницу которая мне необходима то там приходит вообще не он а ответ с символами в неправильной кодировке и двумя словами JavaScript и cookie. Решил эти 2 проблемы подключив библиотеку WatiN и беру html уже из объекта brauser этой библиотеки тогда все работает. Но хотелось бы получать страницы без открытия IE. На stackoverflow.com советовали включить cookie в HtmlAgilityPack таким способом:

C#

var url = "http://www.prettygreen.com/";
var htmlWeb = new HtmlWeb();
htmlWeb.PreRequest += request =>
    {
        request.CookieContainer = new System.Net.CookieContainer();
        return true;
    };
var htmlDoc = htmlWeb.Load(url);
var outerHtml = htmlDoc.DocumentNode.OuterHtml;
Assert.AreNotEqual("", outerHtml);

Не помогло. Но сдесь используется класс CookieContainer могули я в него каким то образом подложить те cookie которые есть в моем браузере после обычного входа на сайт?
Заранее спасибо.

Psilon · 26.12.2014, 02:54

ATop, афайк нужно сначала залогиниться, получив куки от сервера, то есть

C#

var cc = new CookieContainer();
var request = WebRequest.Create("...");
request.CookieContainer = cc;
var resp = request.GetResponse(); // теперь куки заполнены, используем их для дальнейших запросов

но если логин исключительно по JS-происходит, тогда без WebClient или этой вашей библиотеки, то есть полноценного браузерного движка, не обойтись.

	26.12.2014, 02:54