Получение внутренних ссылок из HTML

@иванзар · Регистрация: 20.07.2014

Author24 — интернет-сервис помощи студентам

Здравствуйте. Делаю генерацию карты сайта (по ссылке). И нужно собрать все внутренние ссылки с сайта. Может кто-то знает регулярное выражение или уже какое-то готовое решение для получения именно внутренних ссылок.
Заранее спасибо)

@OwenGlendower · 30.11.2016, 23:58

иванзар, я бы не стал использовать регулярные выражения. Лучше взять специализированную библиотеку для работы с HTML - HtmlAgilityPack или AngleSharp. С их помощью выбрать все элементы <a> с атрибутом href. Затем нормализовать каждую ссылку и оставить только те которые которые указывают на текущий сайт.

@Avazart · 01.12.2016, 00:31

Сообщение от OwenGlendower

Лучше взять специализированную библиотеку для работы с HTML

Чем лучше?

@OwenGlendower · 01.12.2016, 00:50

Avazart, тем что HTML не имеет регулярной структуры и поэтому его тяжело парсить регулярными выражениями. В то время как специализированные библиотеки позволяют работать с HTML через DOM, xpath и css-селекторы.

Добавлено через 9 минут
См. также Parsing Html The Cthulhu Way

@Avazart · 01.12.2016, 11:09

Сообщение от OwenGlendower

Avazart, тем что HTML не имеет регулярной структуры и поэтому его тяжело парсить регулярными выражениями.

Конкретно в данном случае не вижу проблем с этим, в чем сложность?

@OwenGlendower · 01.12.2016, 11:19

Avazart, ни в чем. Просто на мой взгляд xpath //a[@href] или css селектор a[href] являются более выразительными и понятными чем регулярное выражение.

@иванзар 0 / 0 / 0 Регистрация: 20.07.2014 Сообщений: 13
		1
	Получение внутренних ссылок из HTML 30.11.2016, 12:26. Показов 1947. Ответов 5 Метки нет (Все метки) Здравствуйте. Делаю генерацию карты сайта (по ссылке). И нужно собрать все внутренние ссылки с сайта. Может кто-то знает регулярное выражение или уже какое-то готовое решение для получения именно внутренних ссылок. Заранее спасибо) 0

@OwenGlendower Администратор 17019 / 13372 / 5217 Регистрация: 17.03.2014 Сообщений: 27,342 Записей в блоге: 1
	30.11.2016, 23:58	2
	иванзар, я бы не стал использовать регулярные выражения. Лучше взять специализированную библиотеку для работы с HTML - HtmlAgilityPack или AngleSharp. С их помощью выбрать все элементы <a> с атрибутом href. Затем нормализовать каждую ссылку и оставить только те которые которые указывают на текущий сайт. 0

@Avazart 8385 / 6147 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	01.12.2016, 00:31	3
	Сообщение от OwenGlendower Лучше взять специализированную библиотеку для работы с HTML Чем лучше? 0

@OwenGlendower Администратор 17019 / 13372 / 5217 Регистрация: 17.03.2014 Сообщений: 27,342 Записей в блоге: 1
	01.12.2016, 00:50	4
	Avazart, тем что HTML не имеет регулярной структуры и поэтому его тяжело парсить регулярными выражениями. В то время как специализированные библиотеки позволяют работать с HTML через DOM, xpath и css-селекторы. Добавлено через 9 минут См. также Parsing Html The Cthulhu Way 1

@Avazart 8385 / 6147 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	01.12.2016, 11:09	5
	Сообщение от OwenGlendower Avazart, тем что HTML не имеет регулярной структуры и поэтому его тяжело парсить регулярными выражениями. Конкретно в данном случае не вижу проблем с этим, в чем сложность? 0

@OwenGlendower Администратор 17019 / 13372 / 5217 Регистрация: 17.03.2014 Сообщений: 27,342 Записей в блоге: 1
	01.12.2016, 11:19	6
	Avazart, ни в чем. Просто на мой взгляд xpath `//a[@href]` или css селектор `a[href]` являются более выразительными и понятными чем регулярное выражение. 1