Выбор дочерних HTML элементов через HtmlAgilityPack

@heliogracie · Регистрация: 23.03.2013

Студворк — интернет-сервис помощи студентам

Добрый день. Я новичок в C#, поэтому не могу разобраться с таким моментом. В Python существует библиотека BeautifulSoup для парсинга html-страниц. Там есть такая функция. Можно ли что-то подобное сделать при помощи HtmlAgilityPack. Я пробовал через

C#
1
HtmlNode contents = node.DescendantNodes()

Короче мне нужно чтобы все дочерние элементы сохранялись в переменную. Т.е. как в примере выше имеем все что содержится в теге p записывалось в переменную.

Python
1
2
3
pTag = soup.p
pTag.contents
# [u'This is paragraph ', <b>one</b>, u'.']

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# <html>
#  <head>
#   <title>
#    Page title
#   </title>
#  </head>
#  <body>
#   <p id="firstpara" align="center">
#    This is paragraph
#    <b>
#     one
#    </b>
#    .
#   </p>
#  </body>
# </html>

@Winhttp22 · 23.03.2013, 21:27

а с помощью регулярок не лучше?

@Yukikaze · 23.03.2013, 21:54

Не совсем понял вопроса, или даже совсем не понял но вот что получилось
Выведет содержимое всех параграфов на странице, без тегов

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerText);
}

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerHtml);
}

То же самое, только с тегами

@heliogracie · 24.03.2013, 19:18 **[ТС]**

Сообщение от Yukikaze

Не совсем понял вопроса, или даже совсем не понял но вот что получилось
Выведет содержимое всех параграфов на странице, без тегов

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerText);
}

C#
1
2
3
4
foreach(var p in doc.DocumentNode.Descendants("p").ToArray())
{
    Console.WriteLine(p.InnerHtml);
}

То же самое, только с тегами

То что нужно спасибо. Правда я никак не могу понять почему она дублирует несколько раз один и тот же html-код. Я пробовал записать весь код в .txt-файлик, но вот вместо 500 строк, он мне сует туда 6000 строк. Что я делаю не так?

C#
1
2
3
4
5
6
7
8
9
10
11
    
HtmlWeb doc = new HtmlWeb();
HtmlDocument content = new HtmlDocument();
content = doc.Load("http://en.wikipedia.org/wiki/Programming_language");
TextWriter tw = new StreamWriter("C:\\html.txt");
foreach (var node in content.DocumentNode.Descendants())
{
     tw.WriteLine("{0}", node.InnerHtml);
}
tw.Close();
Console.ReadKey();

Пробовал и так

C#
1
2
3
4
foreach (var node in content.DocumentNode.Descendants().ToArray())
{
     tw.WriteLine("{0}", node.InnerHtml);
}

также плодит одинаковые строки.

@Yukikaze · 24.03.2013, 21:00

heliogracie, потому что HTML разметка имеет древовидную структуру
Например мы имеем документ вот такой структуры

HTML5
1
2
3
4
5
6
7
8
<html>
    <head>
        <title>Title</title>
    </head>
    <body>
        <p>Paragraph</p>
    </body>
</html>

Проходим по нему вот таким циклом

C#
1
2
3
4
foreach (var node in content.DocumentNode.Descendants().ToArray())
{
     tw.WriteLine("{0}", node.InnerHtml);
}

На первой итерации получаем

HTML5
1
2
3
4
5
6
    <head>
        <title>Title</title>
    </head>
    <body>
        <p>Paragraph</p>
    </body>

потому что, это содержимое тега html
след. итерация

HTML5
1
<title>Title</title>

потом

HTML5
1
Title

с веткой head разобрались, переходим к ветке body

HTML5
1
<p>Paragraph</p>

HTML5
1
Paragraph

Вот тебе и повторы

@heliogracie · 25.03.2013, 10:51 **[ТС]**

Yukikaze, неужели нет никакого способа извлечь html-код без повторов? Мне нужно сделать поискового робота, которые будет бегать по ссылкам на странице, беря со страницы весь текст и деля его на слова и добавляя эти слова в базу данных.

@turbanoff · 25.03.2013, 12:18

Например, проверяйте есть ли потомки у тех элементов, которые вы перебираете.
Есть нет - то добавляйте элемент к себе.

Задача-то примитивная, у HAP очень неплохой API - изучите его и примеры чуть подробней. Должно все стать ясно.

Новые блоги и статьи Все статьи Все блоги /
Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определенном условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .	Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .
Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .

@Winhttp22 169 / 132 / 29 Регистрация: 16.02.2013 Сообщений: 867
	23.03.2013, 21:27
	а с помощью регулярок не лучше? 0

@heliogracie 0 / 0 / 0 Регистрация: 23.03.2013 Сообщений: 20
	25.03.2013, 10:51 [ТС]
	Yukikaze, неужели нет никакого способа извлечь html-код без повторов? Мне нужно сделать поискового робота, которые будет бегать по ссылкам на странице, беря со страницы весь текст и деля его на слова и добавляя эти слова в базу данных. 0

@turbanoff 4094 / 3828 / 745 Регистрация: 18.05.2010 Сообщений: 9,331 Записей в блоге: 12
	25.03.2013, 12:18
	Например, проверяйте есть ли потомки у тех элементов, которые вы перебираете. Есть нет - то добавляйте элемент к себе. Задача-то примитивная, у HAP очень неплохой API - изучите его и примеры чуть подробней. Должно все стать ясно. 0