Программа скачивает код заданной страницы, анализирует его, определяет заголовок страницы и ссылки на другие страницы

@Максимуус · Регистрация: 13.12.2010

Студворк — интернет-сервис помощи студентам

Подскажите в какую степь думать надо, где прочитать и т.д.
Сделать не прошу так как хочу сделать сам просто подскажите, хочу разобраться! Спасибо

Задание:
Нужно сделать приложение WinForms, которое на вход получает адрес веб-страницы и на основе этой информации строит дерево зависимостей страницы от других страниц. Программа также должна принимать на вход глубину поиска, игнорировать перекрестные ссылки и исключать повторяющиеся адреса, выводить результат в виде дерева с указанием адреса страницы и его заголовка.
Также нужно предусмотреть опцию сохранения результатов работы в XML-файл.

Например, программа скачивает код заданной страницы, анализирует его, определяет заголовок страницы и ссылки на другие страницы.
После чего, для каждой из найденных ссылок операция повторяется. В результате на выходе мы получим дерево вида:

-Test Title (http://www.test.com)

----Test1 Title (http://www.test1.com)

--------Test11 Title (http://www.test11.com)

----Test2 (http://www.test2.com)

-Test10 Title (http://www.test10.com)

@kolorotur · 10.10.2011, 18:36

Думайте в степь классов System.Net.HttpWebRequest и System.Net.HttpWebResponse
Чтобы получить HTML страницы - это пара-тройка строчек кода.

После получения думайте в степь System.Text.RegularExpressions.Regex

Повторить думанья для каждой ссылки.

Потом начинайте думать в степь контрола System.Windows.Forms.TreeView и класса System.Xml.Serialization.XmlSerializer

Еще могу порекомендовать додуматься до простого класса или структурки - чтобы хранить информацию по каждой ссылке (заголовок + адрес). Особенно если все-таки надумаете использовать XmlSerializer

Почитать обо всем можно на MSDN - просто вбивайте в поиск вышеприведенные классы и тыкайте на первый вариант в списке результатов.

@ushim · 10.10.2011, 18:38

1. Получание html кода страницы
2. Работа со строками (или через стандартные функции, или через регексы)
3. Работа с массивами, а лучше списками (добавление новых ссылок, и другой анализ)

Как и просил, ничего не писал, помог определиться с областью поиска информации. Далеко ходить не надо, на форуме много раз всё обсуждалось

Добавлено через 54 секунды
блин, опередили

@Максимуус · 10.10.2011, 18:58 **[ТС]**

Скоро буду пробовать. Чувствую еще будет много вопросов). Спасибо.

@Максимуус · 11.10.2011, 23:42 **[ТС]**

Сделал такую регулярку для поиска ссылок в HTML странице :

C#
1
2
string HRefPattern = @"(\b\w+:\/\/\w+((\.\w)*\w+)*\.\w{2,4})";//шаблон для поиска адресов http://
            Regex re = new Regex(HRefPattern);

Как убрать повторения?

Добавлено через 22 минуты
Предложите свою Регулярку для того чтобы вытащить из тега <a> </a> значение атрибута href

@SkySnow · 17.10.2011, 00:14

Не по теме:

Привет,зря ты на форуме столько вопросов задаёш рекрутёр из фирмы ***** Кирилл,наверное уже это видел и за это я думаю можно получить -.

@Максимуус · 17.10.2011, 16:54 **[ТС]**

Не по теме:

Ведь тут нету готовых решений

@Don_BASS · 25.11.2013, 16:16

Максимуус, а вы сделали это задание?

@pina4et · 16.01.2014, 15:26

доброго времени суток!

У меня практически то же задание, только реализовать я его не смогу. Ума не хватит и времени мало. Если пожелаете возможна оплата

tezaurismosis · 16.01.2014, 16:38

pina4et, это бесплатный раздел. Если хотите задание за оплату, пишите во Фриланс

Новые блоги и статьи Все статьи Все блоги /
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .	Фото: Daniel Greenwood kumehtar 13.11.2025	Расскажи мне о Мире, бродяга kumehtar 12.11.2025 — Расскажи мне о Мире, бродяга, Ты же видел моря и метели. Как сменялись короны и стяги, Как эпохи стрелою летели. - Этот мир — это крылья и горы, Снег и пламя, любовь и тревоги, И бескрайние. . .

@Максимуус 17 / 17 / 5 Регистрация: 13.12.2010 Сообщений: 61

	Программа скачивает код заданной страницы, анализирует его, определяет заголовок страницы и ссылки на другие страницы 10.10.2011, 18:33. Показов 5454. Ответов 9 Метки нет (Все метки) Подскажите в какую степь думать надо, где прочитать и т.д. Сделать не прошу так как хочу сделать сам просто подскажите, хочу разобраться! Спасибо Задание: Нужно сделать приложение WinForms, которое на вход получает адрес веб-страницы и на основе этой информации строит дерево зависимостей страницы от других страниц. Программа также должна принимать на вход глубину поиска, игнорировать перекрестные ссылки и исключать повторяющиеся адреса, выводить результат в виде дерева с указанием адреса страницы и его заголовка. Также нужно предусмотреть опцию сохранения результатов работы в XML-файл. Например, программа скачивает код заданной страницы, анализирует его, определяет заголовок страницы и ссылки на другие страницы. После чего, для каждой из найденных ссылок операция повторяется. В результате на выходе мы получим дерево вида: -Test Title (http://www.test.com) ----Test1 Title (http://www.test1.com) --------Test11 Title (http://www.test11.com) ----Test2 (http://www.test2.com) -Test10 Title (http://www.test10.com) 0

@kolorotur 17823 / 12973 / 3382 Регистрация: 17.09.2011 Сообщений: 21,261
	10.10.2011, 18:36
	Думайте в степь классов System.Net.HttpWebRequest и System.Net.HttpWebResponse Чтобы получить HTML страницы - это пара-тройка строчек кода. После получения думайте в степь System.Text.RegularExpressions.Regex Повторить думанья для каждой ссылки. Потом начинайте думать в степь контрола System.Windows.Forms.TreeView и класса System.Xml.Serialization.XmlSerializer Еще могу порекомендовать додуматься до простого класса или структурки - чтобы хранить информацию по каждой ссылке (заголовок + адрес). Особенно если все-таки надумаете использовать XmlSerializer Почитать обо всем можно на MSDN - просто вбивайте в поиск вышеприведенные классы и тыкайте на первый вариант в списке результатов. 1

@ushim 179 / 180 / 55 Регистрация: 01.06.2011 Сообщений: 507
	10.10.2011, 18:38
	1. Получание html кода страницы 2. Работа со строками (или через стандартные функции, или через регексы) 3. Работа с массивами, а лучше списками (добавление новых ссылок, и другой анализ) Как и просил, ничего не писал, помог определиться с областью поиска информации. Далеко ходить не надо, на форуме много раз всё обсуждалось Добавлено через 54 секунды блин, опередили 1

@Максимуус 17 / 17 / 5 Регистрация: 13.12.2010 Сообщений: 61
	10.10.2011, 18:58 [ТС]
	Скоро буду пробовать. Чувствую еще будет много вопросов). Спасибо. 0

@SkySnow
	17.10.2011, 00:14
	Не по теме: Привет,зря ты на форуме столько вопросов задаёш рекрутёр из фирмы ***** Кирилл,наверное уже это видел и за это я думаю можно получить -. 0

@Максимуус
	17.10.2011, 16:54 [ТС]
	Не по теме: Ведь тут нету готовых решений 0

@Don_BASS 0 / 0 / 0 Регистрация: 25.11.2013 Сообщений: 2
	25.11.2013, 16:16
	Максимуус, а вы сделали это задание? 0

@pina4et 0 / 0 / 0 Регистрация: 04.02.2010 Сообщений: 38
	16.01.2014, 15:26
	доброго времени суток! У меня практически то же задание, только реализовать я его не смогу. Ума не хватит и времени мало. Если пожелаете возможна оплата 0

tezaurismosis Администратор 9670 / 4823 / 762 Регистрация: 17.04.2012 Сообщений: 9,661 Записей в блоге: 14
	16.01.2014, 16:38
	pina4et, это бесплатный раздел. Если хотите задание за оплату, пишите во Фриланс 0