Парсинг сайта с авторизацией

@Rameron · Регистрация: 07.02.2011

Author24 — интернет-сервис помощи студентам

Всем доброго времени суток.

Необходимо пропарсить несколько страниц сайт, при этом заранее авторизировавшись. Для парсинга использую HTML Agility Pack, но так и не разобрался как через него перед парсингом предварительно авторизироваться на сайте. Авторизация проходит посредством POST запроса, в котором отсылаются 3 переменных (логин, пароль и флаг авторизации).

Есть подобная возможность в HTML Agility Pack?

P.S. Парсить вручную как-то совсем не хочется.

@Tirenta · 30.08.2014, 13:49

А чем плох POST из стандартного HttpWebRequest?

@Rameron · 30.08.2014, 13:58 **[ТС]**

Сообщение от Tirenta

А чем плох POST из стандартного HttpWebRequest?

Ничем, я через него и авторизировался, но в HTML Agility Pack то авторизация не проводится (разные сессии же). Если можно бы было впихнуть cookie из HttpWebResponse в HTML Agility Pack - было бы просто замечательно.

@Tirenta · 30.08.2014, 14:03

Я думаю нет ничего невозможного, если оба класса используют один и тот же контейнер. Но стоит ли оно того, что бы парсить несколько страниц с помощью неизвестной библиотеки из-за которой не получается довести дело до конца. Я просто никогда не понимала людей которые так делают. Попросите помочь вам "вручную" пропарсиь эти страницы, это не сложно на самом деле.

@Rameron · 30.08.2014, 14:10 **[ТС]**

Сообщение от Tirenta

Я просто никогда не понимала людей которые так делают.

Смотрю, любите изобретать свои велосипеды?) Это всё, конечно, замечательно: код будет самописный, известно как все работает, но займет больше времени, да и код уже написан для HTMLAgPack.
Эта библиотека - одна с самых известных для парсинга HTML в принципе, так что насчет "неизвестной библиотеки" вы погорячились

Уверен, что здесь хватает людей, которые уже изучили её вдоль и поперек

@m0nax · 30.08.2014, 14:15

как вообще связаны авторизация и htmlagilitypack?
библиотека не умеет качать страницы из инета, нет такого функционала

@Tirenta · 30.08.2014, 14:15

Ну я бы не назвала парсинг исходной html с помощью тех же регулярок - велосипедом. Всегда так делаю и пока все получалось.

Получить исходную страницу это дело нескольких строк, а потом уже смотреть на это как на обычный текстовый файл из которого можно достать, что нужно с помощью своих алгоритмов, которые так же будут занимать не очень много места в коде. Может и погорячилась, но на счет "займет больше времени" я тоже не соглашусь.

@m0nax · 30.08.2014, 14:16

скачка страницы - это одно
парсинг скаченной страницы - совершенной другое, никак не связанное со скачкой

@Rameron · 30.08.2014, 14:20 **[ТС]**

Сообщение от m0nax

библиотека не умеет качать страницы из инета

Эм... Да ладно?

C#

1	HtmlDocument html = new HtmlWeb().Load("http://www.google.com/");

Сообщение от Tirenta

с помощью тех же регулярок

Умел бы я ими пользоваться...

@Tirenta · 30.08.2014, 14:21

Сообщение от Rameron

Умел бы я ими пользоваться...

Я это сразу поняла, потому и предложила Вам попросить, помочь это сделать вручную в этой же теме

Не думаю, что мой метод будет намного хуже других.

@Rameron · 30.08.2014, 14:24 **[ТС]**

Добавлено через 3 минуты

Сообщение от Tirenta

Я это сразу поняла, потому и предложила Вам попросить, помочь это сделать вручную в этой же теме

Думаю, нужно самому попытаться разобраться в регулярках, а то, бывает, надо, а я валенок. Не каждый же раз просить помочь

Но если вдруг кто всё таки знает способ пропарсить авторизированную страницу через HTML Agility Pack - прошу помощи!

@~~Ev_Hyper~~ · 30.08.2014, 14:29

Rameron, прочел сообщения, но так и не понял в чем проблема:
В использовании HTML Agility Pack?
В авторизации на сайте с помощью и считывания кода страницы?

@Rameron · 30.08.2014, 14:46 **[ТС]**

Добавлено через 12 минут
И тут меня осенило...
m0nax, спасибо! Я не знал, что в HTML Agility Pack можно пихать прямо исходный код страницы и парсить. Проблема решена!

@Rameron Си-решеточник 140 / 134 / 60 Регистрация: 07.02.2011 Сообщений: 669
		1
	Парсинг сайта с авторизацией 30.08.2014, 11:54. Показов 3129. Ответов 12 Метки нет (Все метки) Всем доброго времени суток. Необходимо пропарсить несколько страниц сайт, при этом заранее авторизировавшись. Для парсинга использую HTML Agility Pack, но так и не разобрался как через него перед парсингом предварительно авторизироваться на сайте. Авторизация проходит посредством POST запроса, в котором отсылаются 3 переменных (логин, пароль и флаг авторизации). Есть подобная возможность в HTML Agility Pack? P.S. Парсить вручную как-то совсем не хочется. 0

@Tirenta 40 / 40 / 13 Регистрация: 09.07.2014 Сообщений: 116
	30.08.2014, 13:49	2
	А чем плох POST из стандартного HttpWebRequest? 0

@Rameron Си-решеточник 140 / 134 / 60 Регистрация: 07.02.2011 Сообщений: 669
	30.08.2014, 13:58 [ТС]	3
	Сообщение от Tirenta А чем плох POST из стандартного HttpWebRequest? Ничем, я через него и авторизировался, но в HTML Agility Pack то авторизация не проводится (разные сессии же). Если можно бы было впихнуть cookie из HttpWebResponse в HTML Agility Pack - было бы просто замечательно. 0

@Tirenta 40 / 40 / 13 Регистрация: 09.07.2014 Сообщений: 116
	30.08.2014, 14:03	4
	Я думаю нет ничего невозможного, если оба класса используют один и тот же контейнер. Но стоит ли оно того, что бы парсить несколько страниц с помощью неизвестной библиотеки из-за которой не получается довести дело до конца. Я просто никогда не понимала людей которые так делают. Попросите помочь вам "вручную" пропарсиь эти страницы, это не сложно на самом деле. 0

@Rameron Си-решеточник 140 / 134 / 60 Регистрация: 07.02.2011 Сообщений: 669
	30.08.2014, 14:10 [ТС]	5
	Сообщение от Tirenta Я просто никогда не понимала людей которые так делают. Смотрю, любите изобретать свои велосипеды?) Это всё, конечно, замечательно: код будет самописный, известно как все работает, но займет больше времени, да и код уже написан для HTMLAgPack. Эта библиотека - одна с самых известных для парсинга HTML в принципе, так что насчет "неизвестной библиотеки" вы погорячились Уверен, что здесь хватает людей, которые уже изучили её вдоль и поперек 0

@m0nax 1274 / 975 / 113 Регистрация: 12.01.2010 Сообщений: 1,971
	30.08.2014, 14:15	6
	как вообще связаны авторизация и htmlagilitypack? библиотека не умеет качать страницы из инета, нет такого функционала 0

@m0nax 1274 / 975 / 113 Регистрация: 12.01.2010 Сообщений: 1,971
	30.08.2014, 14:16	8
	скачка страницы - это одно парсинг скаченной страницы - совершенной другое, никак не связанное со скачкой 0

@Tirenta 40 / 40 / 13 Регистрация: 09.07.2014 Сообщений: 116
	30.08.2014, 14:21	10
	Сообщение от Rameron Умел бы я ими пользоваться... Я это сразу поняла, потому и предложила Вам попросить, помочь это сделать вручную в этой же теме Не думаю, что мой метод будет намного хуже других. 0

@Rameron Си-решеточник 140 / 134 / 60 Регистрация: 07.02.2011 Сообщений: 669
	30.08.2014, 14:24 [ТС]	11
	Добавлено через 3 минуты Сообщение от Tirenta Я это сразу поняла, потому и предложила Вам попросить, помочь это сделать вручную в этой же теме Думаю, нужно самому попытаться разобраться в регулярках, а то, бывает, надо, а я валенок. Не каждый же раз просить помочь Но если вдруг кто всё таки знает способ пропарсить авторизированную страницу через HTML Agility Pack - прошу помощи! 1

@~~Ev_Hyper~~ Заблокирован
	30.08.2014, 14:29	12
	Rameron, прочел сообщения, но так и не понял в чем проблема: В использовании HTML Agility Pack? В авторизации на сайте с помощью и считывания кода страницы? 0

	30.08.2014, 14:46

@Rameron Си-решеточник 140 / 134 / 60 Регистрация: 07.02.2011 Сообщений: 669
	30.08.2014, 14:46 [ТС]	13
	Добавлено через 12 минут И тут меня осенило... m0nax, спасибо! Я не знал, что в HTML Agility Pack можно пихать прямо исходный код страницы и парсить. Проблема решена! 0