Получить карту для сайта пользователя

@L-Dan · Регистрация: 16.10.2014

Студворк — интернет-сервис помощи студентам

Здравствуйте.

Хотелось бы узнать, есть ли библиотека для формирования карты сайта. От пользователя получаю только имя домена - "cyberforum.ru" (как пример). Нужно каким-то образом проанализировать это.
Знаю, что нормальные ресурсы все имеют sitemap.xml, но мне нужен именно алгоритм ее получения (или библиотека).
Видел довольно много интернет-ресурсов которые делают это. (просто в форму вводишь урл, ждешь, качаешь готовый файл). Как это же реализовать самому? Или может знаете сервис, который предоставляет api?

Psilon · 17.02.2016, 14:25

L-Dan, По идее просто ходишь по всем ссылкам рекурсивно, которые до этого не посещал, и готово.

@L-Dan · 17.02.2016, 15:07 **[ТС]**

Сообщение от Psilon

По идее просто ходишь по всем ссылкам рекурсивно

А где взять то эти ссылки? Ведь я не знаю устройство чужого сайта.

@valera_21 · 17.02.2016, 15:19

Сообщение от L-Dan

А где взять то эти ссылки? Ведь я не знаю устройство чужого сайта.

парсинг html на предмет ссылок

Psilon · 17.02.2016, 15:21

L-Dan, все верно, берем регулярку для ссылок (или сами составляем), ищем всякие http/https/ftp/что там еще нужно, и после этого рекурсивно вызываем алгоритм для контента по этим ссылкам. Параллельно пишем в БД, какие урлы посетили, чтобы не свалиться в бесконечный цикл.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .

@L-Dan 2 / 2 / 0 Регистрация: 16.10.2014 Сообщений: 34

	Получить карту для сайта пользователя 17.02.2016, 13:45. Показов 805. Ответов 4 Метки нет (Все метки) Здравствуйте. Хотелось бы узнать, есть ли библиотека для формирования карты сайта. От пользователя получаю только имя домена - "cyberforum.ru" (как пример). Нужно каким-то образом проанализировать это. Знаю, что нормальные ресурсы все имеют sitemap.xml, но мне нужен именно алгоритм ее получения (или библиотека). Видел довольно много интернет-ресурсов которые делают это. (просто в форму вводишь урл, ждешь, качаешь готовый файл). Как это же реализовать самому? Или может знаете сервис, который предоставляет api? 0

Psilon Master of Orion 6102 / 4958 / 905 Регистрация: 10.07.2011 Сообщений: 14,522 Записей в блоге: 5
	17.02.2016, 14:25
	L-Dan, По идее просто ходишь по всем ссылкам рекурсивно, которые до этого не посещал, и готово. 0

Psilon Master of Orion 6102 / 4958 / 905 Регистрация: 10.07.2011 Сообщений: 14,522 Записей в блоге: 5
	17.02.2016, 15:21
	L-Dan, все верно, берем регулярку для ссылок (или сами составляем), ищем всякие http/https/ftp/что там еще нужно, и после этого рекурсивно вызываем алгоритм для контента по этим ссылкам. Параллельно пишем в БД, какие урлы посетили, чтобы не свалиться в бесконечный цикл. 1