390 / 229 / 11
Регистрация: 09.12.2009
Сообщений: 668
|
|
1 | |
Получить все URL с указанной страницы24.05.2010, 14:53. Показов 2077. Ответов 4
Метки нет (Все метки)
Добрый день.
Имеется две задачи: 1) Собрать все УРЛы на сайте 2) Для заданного списка УРЛов проверить код ответа (200, 404, 301 и.т.д.) В первом случае необходимо полноценно получать всю страницу и парсить ссылки, в втором случе как, как я понимаю, достаточно только заголовка сервера (HEAD запросов). Подскажите, на основе каких компонентов писать, каким компонентами пользоваться при решении данной задачи? Заранее спасибо.
0
|
24.05.2010, 14:53 | |
Ответы с готовыми решениями:
4
Как получить HTML код указанной страницы? Получить URL страницы Получить URL загружаемой страницы Как получить URL запрошенной страницы? |
74 / 74 / 4
Регистрация: 31.05.2009
Сообщений: 243
|
|
24.05.2010, 15:26 | 2 |
У меня нет супер вариантов, но могу посоветовать такой ход:
1. Через ТIdHTTP - получаешь исходный код стартовой. 2. Например, сайт: "http://sayt.ru/", тогда ищешь в тексте все ссылки "http://sayt.ru/*" и пихаешь их в список. 3. Переходишь по ссылкам, что в списке на следующие страницы и повторяешь процесс.
0
|
31.07.2012, 21:40 | 3 |
0
|
31.07.2012, 21:42 | 4 |
0
|
Я Фоюмчанин ? дааааа)
|
|
13.09.2012, 10:09 | 5 |
Grecha, Вы не туда попали.
0
|
13.09.2012, 10:09 | |
13.09.2012, 10:09 | |
Помогаю со студенческими работами здесь
5
Получить содержимое страницы по URL и распарсить ее Получить содержимое страницы по URL с помошью JS Как получить URL страницы без Webbrowser Получить url активного потока данных со страницы Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |