Выбор дочерних HTML элементов через HtmlAgilityPack

@heliogracie · Регистрация: 23.03.2013

Студворк — интернет-сервис помощи студентам

Добрый день. Я новичок в C#, поэтому не могу разобраться с таким моментом. В Python существует библиотека BeautifulSoup для парсинга html-страниц. Там есть такая функция. Можно ли что-то подобное сделать при помощи HtmlAgilityPack. Я пробовал через

C#
1
HtmlNode contents = node.DescendantNodes()

Короче мне нужно чтобы все дочерние элементы сохранялись в переменную. Т.е. как в примере выше имеем все что содержится в теге p записывалось в переменную.

Python
1
2
3
pTag = soup.p
pTag.contents
# [u'This is paragraph ', <b>one</b>, u'.']

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# <html>
#  <head>
#   <title>
#    Page title
#   </title>
#  </head>
#  <body>
#   <p id="firstpara" align="center">
#    This is paragraph
#    <b>
#     one
#    </b>
#    .
#   </p>
#  </body>
# </html>

@Winhttp22 · 23.03.2013, 21:27

а с помощью регулярок не лучше?

@Yukikaze · 23.03.2013, 21:54

Не совсем понял вопроса, или даже совсем не понял но вот что получилось
Выведет содержимое всех параграфов на странице, без тегов

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerText);
}

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerHtml);
}

То же самое, только с тегами

@heliogracie · 24.03.2013, 19:18 **[ТС]**

Сообщение от Yukikaze

Не совсем понял вопроса, или даже совсем не понял но вот что получилось
Выведет содержимое всех параграфов на странице, без тегов

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerText);
}

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerHtml);
}

То же самое, только с тегами

То что нужно спасибо. Правда я никак не могу понять почему она дублирует несколько раз один и тот же html-код. Я пробовал записать весь код в .txt-файлик, но вот вместо 500 строк, он мне сует туда 6000 строк. Что я делаю не так?

C#
1
2
3
4
5
6
7
8
9
10
11
    
HtmlWeb doc = new HtmlWeb();
HtmlDocument content = new HtmlDocument();
content = doc.Load("http://en.wikipedia.org/wiki/Programming_language");
TextWriter tw = new StreamWriter("C:\\html.txt");
foreach (var node in content.DocumentNode.Descendants())
{
     tw.WriteLine("{0}", node.InnerHtml);
}
tw.Close();
Console.ReadKey();

Пробовал и так

C#
1
2
3
4
foreach (var node in content.DocumentNode.Descendants().ToArray())
{
     tw.WriteLine("{0}", node.InnerHtml);
}

также плодит одинаковые строки.

@Yukikaze · 24.03.2013, 21:00

heliogracie, потому что HTML разметка имеет древовидную структуру
Например мы имеем документ вот такой структуры

HTML5
1
2
3
4
5
6
7
8
<html>
    <head>
        <title>Title</title>
    </head>
    <body>
        <p>Paragraph</p>
    </body>
</html>

Проходим по нему вот таким циклом

C#
1
2
3
4
foreach (var node in content.DocumentNode.Descendants().ToArray())
{
     tw.WriteLine("{0}", node.InnerHtml);
}

На первой итерации получаем

HTML5
1
2
3
4
5
6
    <head>
        <title>Title</title>
    </head>
    <body>
        <p>Paragraph</p>
    </body>

потому что, это содержимое тега html
след. итерация

HTML5
1
<title>Title</title>

потом

HTML5
1
Title

с веткой head разобрались, переходим к ветке body

HTML5
1
<p>Paragraph</p>

HTML5
1
Paragraph

Вот тебе и повторы

@heliogracie · 25.03.2013, 10:51 **[ТС]**

Yukikaze, неужели нет никакого способа извлечь html-код без повторов? Мне нужно сделать поискового робота, которые будет бегать по ссылкам на странице, беря со страницы весь текст и деля его на слова и добавляя эти слова в базу данных.

@turbanoff · 25.03.2013, 12:18

Например, проверяйте есть ли потомки у тех элементов, которые вы перебираете.
Есть нет - то добавляйте элемент к себе.

Задача-то примитивная, у HAP очень неплохой API - изучите его и примеры чуть подробней. Должно все стать ясно.

Новые блоги и статьи Все статьи Все блоги /
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .

@Winhttp22 169 / 132 / 29 Регистрация: 16.02.2013 Сообщений: 867
	23.03.2013, 21:27
	а с помощью регулярок не лучше? 0

@heliogracie 0 / 0 / 0 Регистрация: 23.03.2013 Сообщений: 20
	25.03.2013, 10:51 [ТС]
	Yukikaze, неужели нет никакого способа извлечь html-код без повторов? Мне нужно сделать поискового робота, которые будет бегать по ссылкам на странице, беря со страницы весь текст и деля его на слова и добавляя эти слова в базу данных. 0

@turbanoff 4094 / 3828 / 745 Регистрация: 18.05.2010 Сообщений: 9,331 Записей в блоге: 12
	25.03.2013, 12:18
	Например, проверяйте есть ли потомки у тех элементов, которые вы перебираете. Есть нет - то добавляйте элемент к себе. Задача-то примитивная, у HAP очень неплохой API - изучите его и примеры чуть подробней. Должно все стать ясно. 0