Работа с AngleSharp?

@ArtSmm · Регистрация: 07.01.2016

Студворк — интернет-сервис помощи студентам

Всем доброго дня
Пробую парсить сайт с помощью данной либы.
Во всех примерах участвует такой кусочек кода:

C#
1
2
3
4
5
6
7
8
9
10
11
12
var parser = new HtmlParser();
                var document = parser.ParseDocument(_url);
 
                var links = document.QuerySelectorAll("a");
                foreach (var link in links)
                {
                    var neededLink = link.GetAttribute("href").ToString();
                    neededLink.Dump();
                    neededLink.Trim().ToLower();
                    Console.WriteLine(neededLink);
                    Thread.Sleep(500);
                }

Что такое Dump() ?? и для чего эта команда?
У меня она не определяется
AngleSharp подключен так: using AngleSharp.Html.Parser;

Вопрос 2:
Вызываю два метода:

C#
1
2
3
4
5
var request = new GetRequest("https://www.wildberries.ru/");                                        
                                        request.Run();
 
                                        var parsePages = new UrlGet(request.ToString());
                                        parsePages.ParserRun();

В GetRequest - получаю Html страницы, который хранится в переменной request

Я хочу эту переменную подставить во второй метод (UrlGet те) и в этом Html собрать все url который есть на странице.

Пробую собрать методом, который описал в начале, через GetAttribute("href")

Что не так делаю?
var parsePages = new UrlGet(request.ToString());
parsePages.ParserRun();

эта конструкция не дает результатов и в консоль ничего не выводит..

@OwenGlendower · 17.06.2022, 17:13

Сообщение от ArtSmm

Что такое Dump() ?? и для чего эта команда?

Это из LINQPad. Просто убирайте строки с Dump().

По второму вопросу покажите код целиком чтобы его попробовать можно было.

@ArtSmm · 17.06.2022, 17:23 **[ТС]**

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
using AngleSharp.Html.Parser;
 
namespace WB_parser.Parsing.AllPages
{
    public class UrlGet
    {
        string _url;
 
        public string ParserRespone { get; set; }
 
        public UrlGet(string url)
        {
            _url = url;
        }
 
        public void ParserRun()
        {
            try
            {
                var parser = new HtmlParser();
                var document = parser.ParseDocument(_url);
 
                var links = document.QuerySelectorAll("a");
                foreach (var link in links)
                {
                    var neededLink = link.GetAttribute("href").ToString();
                    neededLink.Trim().ToLower();
                    Console.WriteLine(neededLink);
                    Thread.Sleep(500);
                }
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.ToString());
            }
        }
    }
}

@OwenGlendower · 17.06.2022, 18:05

ArtSmm, в метод ParseDocument нужно передавать html код, а вы передаете ссылку. Добавьте скачивание с помощью HttpClient или средствами самого AngleSharp (примеры есть на гитхабе).

Сообщение от ArtSmm

neededLink.Trim().ToLower();

Вы в курсе что это бессмысленная строка?

@ArtSmm · 17.06.2022, 20:49 **[ТС]**

да, знаю
хотел бы уточнить - что я не так сделал в коде? те почему не берутся урлы?

Добавлено через 45 минут

Сообщение от OwenGlendower

ParseDocument нужно передавать html код

не увидел сообщение) понял, спасибо за ответ. Попробую так))

Добавлено через 1 час 51 минуту
Работает! Спасибо огромное)))
Кому интересно, кусочек кода стал таким:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
using AngleSharp;
using AngleSharp.Dom;
using AngleSharp.Html.Parser;
 
namespace WB_parser.Parsing.AllPages
{
    public class HtmlCodeGet
    {
        string _url;
 
        public string ParserRespone { get; set; }
 
        public HtmlCodeGet(string url)
        {
            _url = url;
        }
 
        public async void ParserRun()
        {
            try
            {
                var parser = new HtmlParser();
                var config = Configuration.Default.WithDefaultLoader();
                string address = "https://www.wildberries.ru/";
                IBrowsingContext context = BrowsingContext.New(config);
                IDocument document = await context.OpenAsync(address);
 
                //var htmlLoader = parser.ParseDocument(_url);
 
                IHtmlCollection<IElement> cells = document.QuerySelectorAll("a");
 
                //var links = htmlLoader.QuerySelectorAll("a");
 
                foreach (var link in cells)
                {
                    var neededLink = link.GetAttribute("href").ToString();
                    Console.WriteLine(neededLink);
                    Thread.Sleep(500);
                }
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.ToString());
            }
        }
    }
}

Новые блоги и статьи Все статьи Все блоги /
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .