Получить карту для сайта пользователя

@L-Dan · Регистрация: 16.10.2014

Author24 — интернет-сервис помощи студентам

Здравствуйте.

Хотелось бы узнать, есть ли библиотека для формирования карты сайта. От пользователя получаю только имя домена - "cyberforum.ru" (как пример). Нужно каким-то образом проанализировать это.
Знаю, что нормальные ресурсы все имеют sitemap.xml, но мне нужен именно алгоритм ее получения (или библиотека).
Видел довольно много интернет-ресурсов которые делают это. (просто в форму вводишь урл, ждешь, качаешь готовый файл). Как это же реализовать самому? Или может знаете сервис, который предоставляет api?

Psilon · 17.02.2016, 14:25

L-Dan, По идее просто ходишь по всем ссылкам рекурсивно, которые до этого не посещал, и готово.

@L-Dan · 17.02.2016, 15:07 **[ТС]**

Сообщение от Psilon

По идее просто ходишь по всем ссылкам рекурсивно

А где взять то эти ссылки? Ведь я не знаю устройство чужого сайта.

@valera_21 · 17.02.2016, 15:19

Сообщение от L-Dan

А где взять то эти ссылки? Ведь я не знаю устройство чужого сайта.

парсинг html на предмет ссылок

Psilon · 17.02.2016, 15:21

L-Dan, все верно, берем регулярку для ссылок (или сами составляем), ищем всякие http/https/ftp/что там еще нужно, и после этого рекурсивно вызываем алгоритм для контента по этим ссылкам. Параллельно пишем в БД, какие урлы посетили, чтобы не свалиться в бесконечный цикл.

@L-Dan 2 / 2 / 0 Регистрация: 16.10.2014 Сообщений: 34
		1
	Получить карту для сайта пользователя 17.02.2016, 13:45. Показов 684. Ответов 4 Метки нет (Все метки) Здравствуйте. Хотелось бы узнать, есть ли библиотека для формирования карты сайта. От пользователя получаю только имя домена - "cyberforum.ru" (как пример). Нужно каким-то образом проанализировать это. Знаю, что нормальные ресурсы все имеют sitemap.xml, но мне нужен именно алгоритм ее получения (или библиотека). Видел довольно много интернет-ресурсов которые делают это. (просто в форму вводишь урл, ждешь, качаешь готовый файл). Как это же реализовать самому? Или может знаете сервис, который предоставляет api? 0

Psilon Master of Orion 6098 / 4954 / 905 Регистрация: 10.07.2011 Сообщений: 14,522 Записей в блоге: 5
	17.02.2016, 14:25	2
	L-Dan, По идее просто ходишь по всем ссылкам рекурсивно, которые до этого не посещал, и готово. 0

@L-Dan 2 / 2 / 0 Регистрация: 16.10.2014 Сообщений: 34
	17.02.2016, 15:07 [ТС]	3
	Сообщение от Psilon По идее просто ходишь по всем ссылкам рекурсивно А где взять то эти ссылки? Ведь я не знаю устройство чужого сайта. 0

@valera_21 484 / 439 / 123 Регистрация: 05.01.2010 Сообщений: 1,848
	17.02.2016, 15:19	4
	Сообщение от L-Dan А где взять то эти ссылки? Ведь я не знаю устройство чужого сайта. парсинг html на предмет ссылок 0

Psilon Master of Orion 6098 / 4954 / 905 Регистрация: 10.07.2011 Сообщений: 14,522 Записей в блоге: 5
	17.02.2016, 15:21	5
	L-Dan, все верно, берем регулярку для ссылок (или сами составляем), ищем всякие http/https/ftp/что там еще нужно, и после этого рекурсивно вызываем алгоритм для контента по этим ссылкам. Параллельно пишем в БД, какие урлы посетили, чтобы не свалиться в бесконечный цикл. 1