Парсинг страницы

@inject · Регистрация: 03.07.2014

Студворк — интернет-сервис помощи студентам

Отправляю пост запрос на страницу с последующим редиректом. Далее получаю код страницы. Нужно спарсить данные из кода. чем лучше всего это сделать ? И как это делается ? Только начал осваивать пост запросы

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
using System;
using System.IO;
using System.Net;
using System.Text;
using System.Windows.Forms;
 
namespace mysitecost
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }
 
        private void button1_Click(object sender, EventArgs e)
        {
            // Создать запрос с использованием URL
            WebRequest request = WebRequest.Create("http://mysitecost.ru/");
            // Установите свойство метода запроса в POST.
            request.Method = "POST";
            // Создать данные POST и преобразовать его в массив байтов.
            string postData = "domain="+ textBox1.Text +"&act=calculate";
            byte[] byteArray = Encoding.UTF8.GetBytes(postData);
            // Установите свойство ContentType в WebRequest.
            request.ContentType = "application/x-www-form-urlencoded";
            // Установите свойство ContentLength в WebRequest
            request.ContentLength = byteArray.Length;
            // Создаем поток запроса.
            Stream dataStream = request.GetRequestStream();
            // Записываем данные в поток
            dataStream.Write(byteArray, 0, byteArray.Length);
            // Закрываем поток
            dataStream.Close();
            // Получаем ответ
            WebResponse response = request.GetResponse();
            // Отображаем статус
            Console.WriteLine(((HttpWebResponse)response).StatusDescription);
            // Получаем содержимое потока, возращемый сервером
            dataStream = response.GetResponseStream();
            // Откройте поток, используя StreamReader для легкого доступа.
            StreamReader reader = new StreamReader(dataStream);
            // Читаем содержимое
            string responseFromServer = reader.ReadToEnd();
            // Отображаем содержимое
            textBox2.Text = responseFromServer;
            // Очищаем поток
            reader.Close();
            dataStream.Close();
            response.Close();
        }
    }
}

@Монфрид · 16.11.2014, 19:59

ну регексы, или HtmlAgilityPack используете для парсинга. Если страница совсем не сложная, то можно и обычными Substring, IndexOf обойтись

@inject · 16.11.2014, 20:31 **[ТС]**

Сообщение от Монфрид

ну регексы, или HtmlAgilityPack используете для парсинга.

Вот попробывал с помощью регулярок, но при запуске ошибка

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
using System;
using System.IO;
using System.Net;
using System.Text;
using System.Windows.Forms;
using System.Text.RegularExpressions;
 
namespace mysitecost
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }
 
        private void button1_Click(object sender, EventArgs e)
        {
            // Создать запрос с использованием URL
            WebRequest request = WebRequest.Create("http://mysitecost.ru/");
            // Установите свойство метода запроса в POST.
            request.Method = "POST";
            // Создать данные POST и преобразовать его в массив байтов.
            string postData = "domain="+ textBox1.Text +"&act=calculate";
            byte[] byteArray = Encoding.UTF8.GetBytes(postData);
            // Установите свойство ContentType в WebRequest.
            request.ContentType = "application/x-www-form-urlencoded";
            // Установите свойство ContentLength в WebRequest
            request.ContentLength = byteArray.Length;
            // Создаем поток запроса.
            Stream dataStream = request.GetRequestStream();
            // Записываем данные в поток
            dataStream.Write(byteArray, 0, byteArray.Length);
            // Закрываем поток
            dataStream.Close();
            // Получаем ответ
            WebResponse response = request.GetResponse();
            // Отображаем статус
            Console.WriteLine(((HttpWebResponse)response).StatusDescription);
            // Получаем содержимое потока, возращемый сервером
            dataStream = response.GetResponseStream();
            // Откройте поток, используя StreamReader для легкого доступа.
            StreamReader reader = new StreamReader(dataStream);
            // Читаем содержимое
            string responseFromServer = reader.ReadToEnd();
            // Отображаем содержимое
            //textBox2.Text = responseFromServer;
            string patern = "<meta property=\"og:title\" content=\"(.*)\" />'";
            Match result;
            result = Regex.Match(responseFromServer, patern);
            textBox2.Text = result.ToString();
            // Очищаем поток
            reader.Close();
            dataStream.Close();
            response.Close();
        }
    }
}

Сообщение от Монфрид

Если страница совсем не сложная, то можно и обычными Substring, IndexOf обойтись

А можно подробнее ? Страница легкая

Добавлено через 28 минут

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
using System;
using System.IO;
using System.Net;
using System.Text;
using System.Windows.Forms;
using System.Text.RegularExpressions;
 
namespace mysitecost
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }
 
        private void button1_Click(object sender, EventArgs e)
        {
            // Создать запрос с использованием URL
            WebRequest request = WebRequest.Create("http://mysitecost.ru/");
            // Установите свойство метода запроса в POST.
            request.Method = "POST";
            // Создать данные POST и преобразовать его в массив байтов.
            string postData = "domain="+ textBox1.Text +"&act=calculate";
            byte[] byteArray = Encoding.UTF8.GetBytes(postData);
            // Установите свойство ContentType в WebRequest.
            request.ContentType = "application/x-www-form-urlencoded";
            // Установите свойство ContentLength в WebRequest
            request.ContentLength = byteArray.Length;
            // Создаем поток запроса.
            Stream dataStream = request.GetRequestStream();
            // Записываем данные в поток
            dataStream.Write(byteArray, 0, byteArray.Length);
            // Закрываем поток
            dataStream.Close();
            // Получаем ответ
            WebResponse response = request.GetResponse();
            // Отображаем статус
            Console.WriteLine(((HttpWebResponse)response).StatusDescription);
            // Получаем содержимое потока, возращемый сервером
            dataStream = response.GetResponseStream();
            // Откройте поток, используя StreamReader для легкого доступа.
            StreamReader reader = new StreamReader(dataStream);
            // Читаем содержимое
            string responseFromServer = reader.ReadToEnd();
            // Отображаем содержимое
            //textBox2.Text = responseFromServer;
            string patern = "title\" content=(.*?) />";
            Match result;
            result = Regex.Match(responseFromServer, patern);
            textBox2.Text = result.ToString();
            // Очищаем поток
            reader.Close();
            dataStream.Close();
            response.Close();
        }
    }
}

Поправил и текст выводит, но вместе с тегами. Как сделать чтобы выводило только текст между тегов ?

@Монфрид · 16.11.2014, 21:29

Сообщение от inject

Как сделать чтобы выводило только текст между тегов ?

откуда я знаю что за страница у вас, и что нужно парсить

@inject · 17.11.2014, 20:13 **[ТС]**

Сообщение от Монфрид

откуда я знаю что за страница у вас, и что нужно парсить

Страница анализа стоимости сайта. (http://mysitecost.ru/ сайт с которого парсить) Спарсить нужно цену которую выдаст

@Монфрид · 17.11.2014, 21:51

Сообщение от inject

Спарсить нужно цену которую выдаст

примерно так:

C#
1
Match res= Regex.Match("myh1"">([^<]*)",html);

Новые блоги и статьи Все статьи Все блоги /
Загрузка PNG-файла с альфа-каналом с помощью библиотеки SDL3_image на Android 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом

@Монфрид 1245 / 1055 / 293 Регистрация: 07.03.2012 Сообщений: 3,247
	16.11.2014, 19:59
	ну регексы, или HtmlAgilityPack используете для парсинга. Если страница совсем не сложная, то можно и обычными Substring, IndexOf обойтись 1