Получить html страницы не используя webBrowser и WebClient

@Darkness190 · Регистрация: 17.12.2013

Студворк — интернет-сервис помощи студентам

Следующий код нормально получает html страницы, но там написано, что используется устаревший браузер и фейсбук его не поддерживает. Есть ещё способы получить html, не используя webBrowser?

C#
1
2
3
            WebClient client = new WebClient();
            client.Encoding = Encoding.UTF8;
            string HTML = client.DownloadString("https://www.facebook.com/profile.phpid="+ id пользователя +"&sk=about&section=education" );

Вот что я получаю вместо нужной страницы

HTML5
1
2
3
4
5
... "><h2 class="ptl pbm _6n _6s _6v">Обновите свой браузер</h2><div class="pvm phl unsupportedBrowserText _6q _6t
 _mf">Вы используйте веб-браузер, который не поддерживается Facebook.<br />Для более удобного использования, 
посетите один из этих сайтов и установите последнюю версию предпочитаемого вами браузера:</div><a class="mvl 
pvm phl unsupportedBrowserBrowser" href="https://l.facebook.com/l.php
u=https%3A%2F%2Fwww.google.com%2Fchrome%2Fbrowser% ...

@Shogun31337 · 26.05.2017, 22:11

Попробуйте указать в клиенте корректный UserAgent:

C#
1
2
WebClient client = new WebClient();
client.Headers.Add(HttpRequestHeader.UserAgent, "Нужный агент");

Сообщение от Darkness190

Есть ещё способы получить html, не используя webBrowser?

Еще есть HttpWebRequest, плюс сторонние библиотеки, например, xNet.
Ну и еще вариант, указать что нужно использовать в webBrowser IE той версии, которая установлена в системе, а не устаревший.

@Darkness190 · 26.05.2017, 23:29 **[ТС]**

Сообщение от Shogun31337

Попробуйте указать в клиенте корректный UserAgent:

Что-то страшное он выдаёт если указать UserAgent

C#
1
client.Headers.Add(HttpRequestHeader.UserAgent, "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0)");

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
<html><head><title>Redirecting...</title>
<script>__DEV__=0;
_script_path = "\/profile.php";
var uri_re=/^(?:(?:[^:\/?#]+):)?(?:\/\/(?:[^\/?#]*))?([^?#]*)(?:\?([^#]*))?(?:#(.*))?/,target_domain='';
window.location.href.replace(uri_re,function(a,b,c,d){var e,f,g;e=f=b+(c?'?'+c:'');
if(d){d=d.replace(/^(!|%21)/,'');
g=d.charAt(0);
if(g=='/'||g=='\\')e=d.replace(/^[\\\/]+/,'/');}
if(e!=f)window.location.replace(target_domain+e);
});
</script><script type="text/javascript">
/*<![CDATA[*/(function(){function si_cj(m)
{setTimeout(function(){new Image().src="https:\/\/error.facebook.com\/common\/scribe_endpoint.php?c=si_clickjacking&t=1933"+"&m="+m;},5000);}
if(top!=self && !false){try{if(parent!=top){throw 1;}
var si_cj_d=["apps.facebook.com","apps.beta.facebook.com"];
var href=top.location.href.toLowerCase();
for(var i=0;i<si_cj_d.length;i++)
{if (href.indexOf(si_cj_d[i])>=0){throw 1;
}}si_cj("3 ");}catch(e){si_cj("1 \t");
window.document.write("\u003Cstyle>body * {display:none !important;}\u003C\/style>\u003Ca href=\"#\" onclick=\"top.location.href=window.location.href\" style=\"display:block !important;padding:10px\">\u041f\u0435\u0440\u0435\u0439\u0442\u0438 \u043d\u0430 Facebook.com\u003C\/a>");/*x_LAxFtw*/}}}())/*]]>*/
</script>
<script>window.location.replace("https:\/\/ru-ru.facebook.com\/people\/\u0410\u043b\u0451\u043d\u0430-\u0417\u043e\u0442\u043e\u0432\u0430\/100016964324721");
</script>
<meta http-equiv="refresh" 
content="0;
url=https://ru-ru.facebook.com/people/Алёна-Зотова/100016964324721" />
</head><body></body></html>

Это весть код

Сообщение от Shogun31337

Еще есть HttpWebRequest

Так же требует обновления браузера

Сообщение от Shogun31337

Ну и еще вариант, указать что нужно использовать в webBrowser IE той версии, которая установлена в системе, а не устаревший.

Как раз через webBrowser я получаю нужный html, но проблема в том что мне нужно считывать html в цикле больше 50 раз. Из-за чего у меня приложение использует 4 гб оперативной памяти и вылетает, что не удивительно для 32-х битной проги.

@Shogun31337 · 26.05.2017, 23:51

Сообщение от Darkness190

Что-то страшное он выдаёт если указать UserAgent

Именно с фейсбуком не работал, но по опыту ВК и ОК, могу сказать, что одного UserAgent для корректного запроса мало. Браузер отправляет на сервер кучу параметров (и заголовков), без которых запрос не будет считаться корректным. Если собираетесь работать на низком уровне, то посмотрите, для начала, как это делает браузер, а уж потом пытайтесь имитировать его работу. В ином случае, мало что получится. Либо же используйте API. Там, насколько я знаю, нужно лишь пройти авторизацию и получить токен, а всякие мелочи типа UserAgent сервер интересовать не будут. Хотя, получить права для приложения в фейсбуке - тот еще геморрой.

Сообщение от Darkness190

Так же требует обновления браузера

Он всего лишь требует указания UserAgent'а. Впрочем, HttpWebRequest - это еще более низкий уровень, чем WebClient. WebClient основан на WebRequest.

@Darkness190 · 27.05.2017, 12:35 **[ТС]**

Сообщение от Shogun31337

Браузер отправляет на сервер кучу параметров (и заголовков), без которых запрос не будет считаться корректным

Как обычно в программировании всё слишком заморочено

Сообщение от Shogun31337

Либо же используйте API

Их апи - гемор

@Usaga · 27.05.2017, 12:43

Сообщение от Darkness190

Как обычно в программировании всё слишком заморочено

Вы знаете как сделать протокол HTTP проще без потери функциональности?..

@Darkness190 · 27.05.2017, 14:25 **[ТС]**

Сообщение от Usaga

Вы знаете как сделать протокол HTTP проще без потери функциональности?

Я не говорю, что знаю.
Я имею в виду, чтобы уметь программировать, нужно обладать какой-то неординарной логикой

@Usaga · 27.05.2017, 15:58

Darkness190, нужна самая обычная логика и много терпения. Многие вещи сложны не потому, что их придумывал наркоман сумасшедший (хотя такое тоже бывает), а потому, что они в принципе сложны. Куча параметров в заголовке - необходимость, слишком много вещей имеет значение в этом протоколе.

@Почтальон · 28.05.2017, 09:43

Разработчики разных проектов не зря делают API, абы дать возможность другим разрабам что-то делать свое. Если так сильно хочется использовать webBrowser, можете сначала сниффить всю инфу, а далее уже эмулировать тексты запросов.

@Darkness190 · 28.05.2017, 13:06 **[ТС]**

Почтальон, Не спорю. То что я хочу сделать на фейсбуке, через апи проще и быстрее. Но из-за политики безопасности мне не доступны нужные мне методы. Поэтому остаётся только считывать html

Новые блоги и статьи Все статьи Все блоги /
Загрузка PNG-файла с альфа-каналом с помощью библиотеки SDL3_image на Android 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом

@Usaga 14129 / 9349 / 1350 Регистрация: 21.01.2016 Сообщений: 35,139
	27.05.2017, 15:58
	Darkness190, нужна самая обычная логика и много терпения. Многие вещи сложны не потому, что их придумывал наркоман сумасшедший (хотя такое тоже бывает), а потому, что они в принципе сложны. Куча параметров в заголовке - необходимость, слишком много вещей имеет значение в этом протоколе. 0

@Почтальон управление сложностью 1693 / 1306 / 259 Регистрация: 22.03.2015 Сообщений: 7,545 Записей в блоге: 5
	28.05.2017, 09:43
	Разработчики разных проектов не зря делают API, абы дать возможность другим разрабам что-то делать свое. Если так сильно хочется использовать webBrowser, можете сначала сниффить всю инфу, а далее уже эмулировать тексты запросов. 0

@Darkness190 1 / 1 / 0 Регистрация: 17.12.2013 Сообщений: 230
	28.05.2017, 13:06 [ТС]
	Почтальон, Не спорю. То что я хочу сделать на фейсбуке, через апи проще и быстрее. Но из-за политики безопасности мне не доступны нужные мне методы. Поэтому остаётся только считывать html 0