Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.55/11: Рейтинг темы: голосов - 11, средняя оценка - 4.55
0 / 0 / 0
Регистрация: 07.09.2017
Сообщений: 10

Пример парсера: вывод данных не осуществляется

17.10.2017, 11:37. Показов 2230. Ответов 10

Студворк — интернет-сервис помощи студентам
Добрый день! Пишу маленькую программу-пример для парсинга заголовка статей с Хабра с помощью AngleSharp в VS2017. Программа должна воспринимать из формы начальную и конечную страницы для парсинга и записывать заголовки в ListBox. Класс обработки ParserWorker:
Кликните здесь для просмотра всего текста
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
class ParserWorker<T> where T : class
{   //поле с обобщенным типом IParser
    IParser<T> parser;
    //поле, в котором хранятся настройки для парсера
    IParserSettings parserSettings;
 
    HtmlLoader loader;
 
    bool isActive;
 
    private HabraParser habraParser;
    private HabraSettings habraSettings;
 
    // пара публичных свойств для полей parser и parserSettings
    #region Properties
    public IParser<T> Parser
    {
        get
        {
            return parser;
        }
        set
        {
            parser = value;
        }
 
    }
 
    public IParserSettings Settings
    {
        get
        {
            return parserSettings;
        }
        set
        {
            parserSettings = value;
            //создаем  новый экземпляр с новыми настройками парсера
            loader = new HtmlLoader(value);
        }
 
 
    }
    //свойство, доступное лишь для чтения для контроля работы класса
    public bool IsActive
    {
        get
 
        {
            return IsActive;
        }
    }
    //#region позволяет указать блок кода, который можно разворачивать и сворачивать  в редакторе кода Visual Studio.
    #endregion
    //пара событий
    //первое событие, возвращающее спарсенные за итерацию данные.В аргументах мы передаем ссылку на парсер, а затем 
    public event Action<object, T> OnNewData;
    //второе событие отвечает за информирование при завершении работы парсера
    public event Action<object> OnCompleted;
    //конструктор, в котором принимается экземпляр, реализующий интерфейс IParser
    public ParserWorker(IParser<T> parser)
    {   //присваиваем значение аргумента полю
        this.parser = parser;
    }
    //конструктор,который кроме парсера принимает его настройки
    public ParserWorker(IParser<T> parser, IParserSettings parserSettings) : this(parser)//чтобы не дублировать код, вызываем первый конструктор и передадим ему парсер
    {//записываем настройки парсера в поле
        this.parserSettings = parserSettings;
    }
 
    public ParserWorker(HabraParser habraParser, HabraSettings habraSettings)
    {
        this.habraParser = habraParser;
        this.habraSettings = habraSettings;
    }
 
    //добавляем два метода для запуска и остановки парсера - Start и Abort
    public void Start()
    {//в методе Start вызываем метод Worker (он будет асинхронным)
        isActive = true;
        Worker();
    }
 
    public void Abort()
    {
        isActive = false;
    }
    //закрытый асинхронный метод Worker, контролирующий процесс парсинга
    private async void Worker()
    {//цикл от стартовой до конечной точки из наших настроек
        for (int i = parserSettings.StartPoint; i <= parserSettings.EndPoint; i++)
        {//делаем проверку на активность. Если был использован метод Abort, то выходим из метода
            if (!isActive)
            {//вызов метода OnCompleted в случае, если работа парсера была остановлена
                OnCompleted?.Invoke(this);
                return;
            }
            //С помощью HtmlLoadera получаем исходный код страницы с индексом из цикла
            var source = await loader.GetSourceByPageId(i);
            //создаем HtmlParser, доступный нам из AngleSharp
            var domParser = new HtmlParser();
            //спарсим асинхронно наш исходный код и получим документ, с которым можно работать
            var document = await domParser.ParseAsync(source);
            //передаем нашему парсеру документ и получаем спарсенные данные в переменную result
            var result = parser.Parse(document);
            //вызов метода OnNewData, в который передается ссылка и результат
            OnNewData?.Invoke(this, result);
        }
        //вызов метода OnCompleted в случае, если работа парсера была закончена
        OnCompleted?.Invoke(this);
        isActive = false;
    }
 
}


С кодом все вроде бы нормально, однако при запуске парсинга результат в ListBox не выводится. Подскажите, пожалуйста,как проверить, обрабатывает ли программа сайт?
P.S.Если кому-то интересно, можете посмотреть мой "код" с комментариями (только не забудьте подключить AngleSharp): https://yadi.sk/d/1dxbCSNa3NnMo5
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
17.10.2017, 11:37
Ответы с готовыми решениями:

Корректный вывод данных из парсера
&lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;meta charset=&quot;utf-8&quot;/&gt; &lt;/head&gt; &lt;body&gt; &lt;? include 'simple_html_dom.php'; // Create DOM...

Нужен пример парсера страницы
есть страница https://sait.ru/saht/ Как спарсить весь код который между классом klas и вывести его. Я просмотрел много парсеров не не...

Пример парсера с использованием HTML Agility Pack
Здравствуйте, покажите простой пример парсера с использаванием данной библиотеки. Нужно распарсить html страницу, очень прошу простой...

10
Эксперт .NET
 Аватар для Usaga
14138 / 9367 / 1350
Регистрация: 21.01.2016
Сообщений: 35,251
17.10.2017, 13:44
NoviceBDshnik, вы пробовали использовать отладчик?
0
0 / 0 / 0
Регистрация: 07.09.2017
Сообщений: 10
17.10.2017, 13:46  [ТС]
Встроенный в VS2017, да. Вроде бы все правильно.
0
Эксперт .NET
 Аватар для Usaga
14138 / 9367 / 1350
Регистрация: 21.01.2016
Сообщений: 35,251
17.10.2017, 13:53
NoviceBDshnik, так всё правильно или результат не выводится?
0
Администратор
Эксперт .NET
 Аватар для OwenGlendower
18279 / 14202 / 5368
Регистрация: 17.03.2014
Сообщений: 28,882
Записей в блоге: 1
17.10.2017, 14:09
Цитата Сообщение от NoviceBDshnik Посмотреть сообщение
P.S.Если кому-то интересно, можете посмотреть мой "код" с комментариями (только не забудьте подключить AngleSharp): https://yadi.sk/d/1dxbCSNa3NnMo5
По ссылке нерабочий код. Файл решения ссылается на несуществующий проект. Сам проект при запуске падает скорее всего из-за того что нем зачем-то смешаны WPF и Windows Forms. Выложи рабочий архив на форум. Перед созданием архива прочитай инструкцию Как сделать архив с проектом Visual Studio занимающий мало места.
1
0 / 0 / 0
Регистрация: 07.09.2017
Сообщений: 10
17.10.2017, 14:22  [ТС]
Не выводится.
0
Эксперт .NET
 Аватар для Usaga
14138 / 9367 / 1350
Регистрация: 21.01.2016
Сообщений: 35,251
17.10.2017, 14:25
Значит не судьба.
0
0 / 0 / 0
Регистрация: 07.09.2017
Сообщений: 10
18.10.2017, 10:35  [ТС]
Прошу прощения - видимо, залил не то. Пожалуйста, проверьте, будет ли у вас этот архив рабочим (инструкциям следовал).
Вложения
Тип файла: rar Habraparser.rar (717.3 Кб, 19 просмотров)
0
Администратор
Эксперт .NET
 Аватар для OwenGlendower
18279 / 14202 / 5368
Регистрация: 17.03.2014
Сообщений: 28,882
Записей в блоге: 1
18.10.2017, 21:48
Цитата Сообщение от NoviceBDshnik Посмотреть сообщение
Пожалуйста, проверьте, будет ли у вас этот архив рабочим
Нет. Solution снова ссылается на несуществующий проект. Проект называется "Parser" и ищется по пути "..\WindowsFormsApp1\WindowsFormsApp1\Pa rser.csproj". В архиве же проект Habraparser.
0
0 / 0 / 0
Регистрация: 07.09.2017
Сообщений: 10
20.10.2017, 11:40  [ТС]
Еще раз прошу прощения - работаю по 16 часов, и после работы не сильно хорошо соображаю Можете бить меня ногами. Исправленный архив прилагаю -надеюсь, в этот раз не промахнусь.
P.S.
Киберфорум чего-то виснет при попытке загрузки архива, потому залил на ЯД: https://yadi.sk/d/1dxbCSNa3NnMo5
0
Администратор
Эксперт .NET
 Аватар для OwenGlendower
18279 / 14202 / 5368
Регистрация: 17.03.2014
Сообщений: 28,882
Записей в блоге: 1
20.10.2017, 14:45
NoviceBDshnik, и снова нерабочий проект. Совет - перед выкладыванием архива распакуй его в новую папку и убедись что он открывается без ошибок.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
20.10.2017, 14:45
Помогаю со студенческими работами здесь

Где можно посмотреть пример парсера для вконтакте
Очень хочу сам научится такое писать, но пока-что даже не представляю как это выглядит((

Нужен пример кода парсера информации о фильме с кинопоиска
Всем Здравствуйте. Недавно передо мной стала задача - облегчить себе способ сбора информации с кинопоиска о нужном фильме, для дальнейшей...

Консоль закрывается и остальной вывод и ввод не осуществляется
пытаюсь реализовать поочередный ввод символов с консоли, примерно вот так : Console.WriteLine (&quot;Выберите 1,2,3 или 4&quot;); name...

Как осуществляется вывод на экран в windows приложениях?
Собственно у меня есть несколько лабораторных по с++, так вот первые нужно сдать в виде консольных приложениях, а в последних сделать...

Почему вывод аргументов не осуществляется для классового шаблона?
Вот что говорит по этому поводу Страуструп. А мне хоть учебник на эту тему дай, без примера не могу обойтись... Товарищи знатоки, напишите...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru