Получение html кода страницы

@fiphiker · Регистрация: 08.03.2011

Студворк — интернет-сервис помощи студентам

Здраствуйте, как получать через webBrowser код я знаю, а можно обойтись как нибудь без него, чтоб в коде переходил на сайт и проделывал операции над ним, например

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
//foreach (HtmlElement link in webBrowser1.Document.Links)
            //{
            //    string href = link.GetAttribute("HREF");
 
            //    if (href.Contains("level/1") && href.Contains("film"))
            //    {
            //      checkedListBox1.Items.Add(href);
            //      
            //        }
                    
            //       
            //    }
            //}

@arabon · 18.07.2011, 22:58

читайте про отправку get-запросов

C#
1
2
3
4
5
6
System.Net.WebRequest reqGET = System.Net.WebRequest.Create(@"http://site.ru/");
System.Net.WebResponse resp = reqGET.GetResponse();
System.IO.Stream stream = resp.GetResponseStream();
System.IO.StreamReader sr = new System.IO.StreamReader(stream);
string s = sr.ReadToEnd();
Console.WriteLine(s);

Вот пример кода, на экран выведется html-код страницы

@Петррр · 19.07.2011, 17:25

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
using System;
using System.Text;
using System.Net;
using System.IO;
 
class Program
{
    static void Main(string[] args)
    {
        Console.Title = string.Empty;
        mshtml.IHTMLDocument2 doc = new mshtml.HTMLDocumentClass();
        doc.write("<html><body><p>test</p></body></html>");
        WebRequest request = WebRequest.Create("http://ya.ru/");
        Stream stream = request.GetResponse().GetResponseStream();
        StreamReader streamReader = new StreamReader(stream);
        string htmlCode = streamReader.ReadToEnd();
        doc.clear();
        doc.write(htmlCode);
        Console.WriteLine(doc.body.title);
        string encode = doc.charset;
        Encoding encoding = Encoding.GetEncoding(encode);        
        mshtml.IHTMLElementCollection collection = doc.links;
        foreach (mshtml.IHTMLElement element in collection)
        {
            string linkText = element.innerText;
            Console.WriteLine(linkText);
        }
        Console.WriteLine("Готово");
        Console.ReadKey(true);
    }
}

@fiphiker · 21.07.2011, 19:54 **[ТС]**

Сообщение от Петррр

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
using System;
using System.Text;
using System.Net;
using System.IO;
 
class Program
{
    static void Main(string[] args)
    {
        Console.Title = string.Empty;
        mshtml.IHTMLDocument2 doc = new mshtml.HTMLDocumentClass();
        doc.write("<html><body><p>test</p></body></html>");
        WebRequest request = WebRequest.Create("http://ya.ru/");
        Stream stream = request.GetResponse().GetResponseStream();
        StreamReader streamReader = new StreamReader(stream);
        string htmlCode = streamReader.ReadToEnd();
        doc.clear();
        doc.write(htmlCode);
        Console.WriteLine(doc.body.title);
        string encode = doc.charset;
        Encoding encoding = Encoding.GetEncoding(encode);        
        mshtml.IHTMLElementCollection collection = doc.links;
        foreach (mshtml.IHTMLElement element in collection)
        {
            string linkText = element.innerText;
            Console.WriteLine(linkText);
        }
        Console.WriteLine("Готово");
        Console.ReadKey(true);
    }
}

спасибо,
пишет ошибку

Добавлено через 9 часов 36 минут
Петррр,
вот так я получил код страницы, как теперь работать с ним как с html документом, твой код не работает(

C#
1
2
3
4
5
6
string url = "http://ya.ru/";
            string s = string.Empty;
            HttpWebRequest myRequest = (HttpWebRequest)HttpWebRequest.Create(url);
            HttpWebResponse myResponse = (HttpWebResponse)myRequest.GetResponse();
            StreamReader sr = new StreamReader(myResponse.GetResponseStream(), Encoding.GetEncoding(1251));
            s = sr.ReadToEnd();

@Петррр · 21.07.2011, 21:33

fiphiker, по Вашему я 31 строку кода от балды смог написать. У меня .net framework 3.5 и VS 2008.

@fiphiker · 21.07.2011, 22:26 **[ТС]**

у меня VS2010, Вы свой код писали под консольное приложение, а мне надо под windowsForms, поэтому некоторые фрагменты кода мне не понятны

и при запуске через консоль он вывел не то что нужно

@HIMen · 22.07.2011, 00:11

C#
1
2
var w = new WebClient();
var s = w.DownloadString(@"http://google.ru");

@Koran · 22.07.2011, 01:08

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
using System;
using System.Net;
using System.Text;
 
namespace TempConsoleApplication {
    class Program {
        static void Main(string[] args) {
            string webSite = @"http://google.com.ua";
            HttpWebRequest wReq = (HttpWebRequest)WebRequest.Create(new Uri(webSite));
            HttpWebResponse wRes = (HttpWebResponse)wReq.GetResponse();
            string encoding = wRes.Headers["Content-Type"].ToString().Split(new string[] { "charset=" }, StringSplitOptions.RemoveEmptyEntries)[1];
            byte[] buffer = new byte[0];
            int b;
            do {
                b = wRes.GetResponseStream().ReadByte();
                if(b != -1) {
                    Array.Resize(ref buffer, buffer.Length + 1);
                    buffer[buffer.Length - 1] = (byte)b;
                }
            } while(b != -1);
            Console.WriteLine(Encoding.GetEncoding(encoding).GetString(buffer));
            Console.WriteLine("fin");
            Console.ReadKey();
        }
    }
}

@fiphiker · 22.07.2011, 11:33 **[ТС]**

Koran, с тем как получить код страницы в нужной кодировке я уже разобрался, теперь мне надо вытащить все гиперссылки
например

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
foreach (HtmlElement link in webBrowser1.Document.Links)
           {
             string href = link.GetAttribute("HREF");
 
              if (href.Contains("level/1") && href.Contains("film"))
            {
               checkedListBox1.Items.Add(href);
               
                  }
                    но чтобы теперь было без webBrowser
                 
             }
            }

@Qulis · 22.07.2011, 12:28

Используйте регулярные выражения:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
  // регулярное выражение используемое для извлечения URL из страниц
Regex regexExtractURLs = new Regex(
                        "(?<base><base\\s?[^>]*\\shref\\s*=\\s*(?:(?:[\\\"\\\'](?<url>[^\\\"\\\']*)[\\\"\\\'])|(?<url>[^\\s>]*))>)|"
                        + "(?<links><a\\s?[^>]*\\shref\\s*=\\s*(?:(?:[\\\"\\\'](?<url>[^\\\"\\\']*)[\\\"\\\'])|(?<url>[^\\s>]*))[^>]*[>](?<anchor>(.|\\s)*?)</a>)|"
                        + "(?<frames><i?frame\\s?[^>]*\\ssrc\\s*=\\s*(?:(?:[\\\"\\\'](?<url>[^\\\"\\\']*)[\\\"\\\'])|(?<url>[^\\s>]*))[^>]*[>])"
                        , RegexOptions.IgnoreCase | RegexOptions.Singleline );
 
 
MatchCollection mcURLs = regexExtractURLs.Matches( твоя_html_страница );
foreach (Match mMatch in mcURLs)
{
       string strURL = mMatch.Groups["url"].ToString().Trim();
 
       //  TAG принимает ANCHOR TEXT HTML (например, <a HREF = test> <img src=abc> </>)
       string strAnchorText = UnHTML(mMatch.Groups["anchor"].ToString().Trim());
}

Попробуй, это набросок, но по нормальному делается примерно так...

P.S. Таким образом из страницы можно вычленить все, например, TItle

C#
1
2
3
4
5
6
Regex regexExtractTitle = new Regex("<title>\\s*(?<title>[^<]*)\\s*</title>", RegexOptions.IgnoreCase);
MatchCollection mcTitle = regexExtractTitle.Matches( твоя_html_страница );
foreach (Match mMatch in mcTitle)
{               
return mMatch.Groups["title"].ToString();                 
}

Добавлено через 11 минут
не забудь подключить System.Text.RegularExpressions;

@fiphiker · 22.07.2011, 21:58 **[ТС]**

Qulis, в 1 коде пишет ошибку в UnHTML
а в 2 проблема с return

Добавлено через 13 минут
я хочу просто сделать так чтоб попарно выдергивалась ссылка и название фильма

HTML5
1
<div style="margin-bottom: 9px"><a style="font-size: 13px; font-weight: bold" href="/level/1/film/412271/" class="all">&laquo;Кадиллак&raquo; Долана</a>

@Qulis · 22.07.2011, 22:04

В 1 методе ошибка, т.к. UnHTML это метод, просто забыл про него. Эти методы тебе необязательны... просто добавь их или удали строку:

C#
1
string strAnchorText = UnHTML(mMatch.Groups["anchor"].ToString().Trim());

@Unling · 22.10.2011, 01:23

Здравствуйте.
А возможно ли из программы выполнить ява-скрипт на сайте и обновить html

Допустим если есть список, а под ним кнопочка "загрузить далее" - после нажатия появляется ещё часть списка, и так далее. Можно ли нажать её в программе?

@hardor · 23.10.2011, 00:38

Unling
да можно , но нужные данные кнопки
примерно будет так

C#
1
2
3
4
5
6
7
8
foreach (HtmlElement link in webBrowser1.Document.All)
            {
                string href = link.GetAttribute("name");
                if (href == @"submit")
                {
                    link.InvokeMember("click");                
                }
            }

у меня такой вопрос, я получаю исходный код страницы в строку. как теперь её переделать в тип HtmlDocument ?

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! */ #include <iostream> #include <stack> #include <cctype>. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

@Петррр 6721 / 3570 / 900 Регистрация: 28.10.2010 Сообщений: 5,937
	21.07.2011, 21:33
	fiphiker, по Вашему я 31 строку кода от балды смог написать. У меня .net framework 3.5 и VS 2008. 1

@fiphiker 89 / 60 / 2 Регистрация: 08.03.2011 Сообщений: 546
	21.07.2011, 22:26 [ТС]
	у меня VS2010, Вы свой код писали под консольное приложение, а мне надо под windowsForms, поэтому некоторые фрагменты кода мне не понятны и при запуске через консоль он вывел не то что нужно 0

@Unling 0 / 0 / 0 Регистрация: 22.10.2011 Сообщений: 8
	22.10.2011, 01:23
	Здравствуйте. А возможно ли из программы выполнить ява-скрипт на сайте и обновить html Допустим если есть список, а под ним кнопочка "загрузить далее" - после нажатия появляется ещё часть списка, и так далее. Можно ли нажать её в программе? 0