Выбор дочерних HTML элементов через HtmlAgilityPack

@heliogracie · Регистрация: 23.03.2013

Студворк — интернет-сервис помощи студентам

Добрый день. Я новичок в C#, поэтому не могу разобраться с таким моментом. В Python существует библиотека BeautifulSoup для парсинга html-страниц. Там есть такая функция. Можно ли что-то подобное сделать при помощи HtmlAgilityPack. Я пробовал через

C#
1
HtmlNode contents = node.DescendantNodes()

Короче мне нужно чтобы все дочерние элементы сохранялись в переменную. Т.е. как в примере выше имеем все что содержится в теге p записывалось в переменную.

Python
1
2
3
pTag = soup.p
pTag.contents
# [u'This is paragraph ', <b>one</b>, u'.']

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# <html>
#  <head>
#   <title>
#    Page title
#   </title>
#  </head>
#  <body>
#   <p id="firstpara" align="center">
#    This is paragraph
#    <b>
#     one
#    </b>
#    .
#   </p>
#  </body>
# </html>

@Winhttp22 · 23.03.2013, 21:27

а с помощью регулярок не лучше?

@Yukikaze · 23.03.2013, 21:54

Не совсем понял вопроса, или даже совсем не понял но вот что получилось
Выведет содержимое всех параграфов на странице, без тегов

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerText);
}

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerHtml);
}

То же самое, только с тегами

@heliogracie · 24.03.2013, 19:18 **[ТС]**

Сообщение от Yukikaze

Не совсем понял вопроса, или даже совсем не понял но вот что получилось
Выведет содержимое всех параграфов на странице, без тегов

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerText);
}

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerHtml);
}

То же самое, только с тегами

То что нужно спасибо. Правда я никак не могу понять почему она дублирует несколько раз один и тот же html-код. Я пробовал записать весь код в .txt-файлик, но вот вместо 500 строк, он мне сует туда 6000 строк. Что я делаю не так?

C#
1
2
3
4
5
6
7
8
9
10
11
    
HtmlWeb doc = new HtmlWeb();
HtmlDocument content = new HtmlDocument();
content = doc.Load("http://en.wikipedia.org/wiki/Programming_language");
TextWriter tw = new StreamWriter("C:\\html.txt");
foreach (var node in content.DocumentNode.Descendants())
{
     tw.WriteLine("{0}", node.InnerHtml);
}
tw.Close();
Console.ReadKey();

Пробовал и так

C#
1
2
3
4
foreach (var node in content.DocumentNode.Descendants().ToArray())
{
     tw.WriteLine("{0}", node.InnerHtml);
}

также плодит одинаковые строки.

@Yukikaze · 24.03.2013, 21:00

heliogracie, потому что HTML разметка имеет древовидную структуру
Например мы имеем документ вот такой структуры

HTML5
1
2
3
4
5
6
7
8
<html>
    <head>
        <title>Title</title>
    </head>
    <body>
        <p>Paragraph</p>
    </body>
</html>

Проходим по нему вот таким циклом

C#
1
2
3
4
foreach (var node in content.DocumentNode.Descendants().ToArray())
{
     tw.WriteLine("{0}", node.InnerHtml);
}

На первой итерации получаем

HTML5
1
2
3
4
5
6
    <head>
        <title>Title</title>
    </head>
    <body>
        <p>Paragraph</p>
    </body>

потому что, это содержимое тега html
след. итерация

HTML5
1
<title>Title</title>

потом

HTML5
1
Title

с веткой head разобрались, переходим к ветке body

HTML5
1
<p>Paragraph</p>

HTML5
1
Paragraph

Вот тебе и повторы

@heliogracie · 25.03.2013, 10:51 **[ТС]**

Yukikaze, неужели нет никакого способа извлечь html-код без повторов? Мне нужно сделать поискового робота, которые будет бегать по ссылкам на странице, беря со страницы весь текст и деля его на слова и добавляя эти слова в базу данных.

@turbanoff · 25.03.2013, 12:18

Например, проверяйте есть ли потомки у тех элементов, которые вы перебираете.
Есть нет - то добавляйте элемент к себе.

Задача-то примитивная, у HAP очень неплохой API - изучите его и примеры чуть подробней. Должно все стать ясно.

Новые блоги и статьи Все статьи Все блоги /
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .
Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .	Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .

@Winhttp22 169 / 132 / 29 Регистрация: 16.02.2013 Сообщений: 867
	23.03.2013, 21:27
	а с помощью регулярок не лучше? 0

@heliogracie 0 / 0 / 0 Регистрация: 23.03.2013 Сообщений: 20
	25.03.2013, 10:51 [ТС]
	Yukikaze, неужели нет никакого способа извлечь html-код без повторов? Мне нужно сделать поискового робота, которые будет бегать по ссылкам на странице, беря со страницы весь текст и деля его на слова и добавляя эти слова в базу данных. 0

@turbanoff 4094 / 3828 / 745 Регистрация: 18.05.2010 Сообщений: 9,331 Записей в блоге: 12
	25.03.2013, 12:18
	Например, проверяйте есть ли потомки у тех элементов, которые вы перебираете. Есть нет - то добавляйте элемент к себе. Задача-то примитивная, у HAP очень неплохой API - изучите его и примеры чуть подробней. Должно все стать ясно. 0