Форум программистов, компьютерный форум, киберфорум
Наши страницы
Java: Сети
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.80/10: Рейтинг темы: голосов - 10, средняя оценка - 4.80
Severs
0 / 0 / 0
Регистрация: 06.10.2012
Сообщений: 2
1

Парсер внешних ссылок по страницам сайта на JAVA - как сделать правильно?

13.10.2012, 01:47. Просмотров 1750. Ответов 1
Метки нет (Все метки)

Здравствуйте уважаемые Java разработчики.

Столкнулся со следующей задачей - Необходимо написать код сервиса.

Сервис определяет количество внешних ссылок на страницах сайта
Получается в качестве входного параметра передаём - домен сайта. Сервис сканирует сайт, находя ссылки и переходя по ним на внутренние страницы, при этом определяя количество внешних ссылок ведущие на другие сайты на каждой странице.
(3 или 4 уровня вложенности)
site.ru/
site.ru/level2/
site.ru/level2.html
site.ru/level3/level3/
site.ru/level3/level3.html
site.ru/level3/level3/level4.html

После полученные результаты нужно сформировать в Базу данных:
  • url страницы,
  • уровень вложенности (от 1 до 4)
  • количество внешних ссылок
  • обобщающая статистика по всему домену

Пока удалось при помощи парсера получить список всех ссылок сайта по тегу <a> и их количество.
Как сделать рекурсивный метод и заставить скрипт автоматически переходить по остальным страницам и проделывать тоже самое и как из полученного допустим числа ссылок на главной страницы выделить конкретно внешние, пока ума не приложу...(

Более опытные товарищи помогите новичку кто чем может - советом, кодом, исходником, наставлением, ссылкой, пинком!!!

За ранее очень благодарен за внимание!!!
0
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
13.10.2012, 01:47
Ответы с готовыми решениями:

Как найти источник внешних ссылок с сайта
Добрый день. На моём сайте присутствуют две внешние ссылки. В исходном коде они видны. Занёс их...

Влияние внешних ссылок с моего сайта на позиции
Есть сайт с ТИЦ ~ 100, позиции по ключевикам в первых 20. С сайта нет внешних ссылок. Вариант 1:...

как сделать музыкальный плеер для сайта, работающий после перехода по страницам?
как такое делается? сайт написан на php

Количество внешних ссылок для вывода в топ-10 нового сайта
Всем доброго времени суток! Создан новый сайт, контент преимущественно уникальный порядка 15...

Парсер всех ссылок сайта
Здравствуйте, нужен парсер всех существующих ссылок сайта(которые именно к нему относятся)(находил...

1
Sab_zero
4 / 4 / 2
Регистрация: 29.01.2012
Сообщений: 53
31.10.2012, 16:42 2
Приведи пример того, чего у тебя получилось.
Возможно, я смогу чем-нибудь помочь)
0
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
31.10.2012, 16:42

Парсер ссылок сайта - ошибка 404
{ WebClient client = new WebClient(); Stream stream =...

Как влияет отсутствие внешних ссылок на рейтинги
Интересно узнать мнение специалистов о том, как влияет отсутствие внешних ссылок на ИЦ и ПР? ...

Как правильно сделать структуру сайта
Пожалуйста подскажите хочу сделать сайт по структуре очень похожий на http://vopros-remont.ru/ /...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.
Рейтинг@Mail.ru