Форум программистов, компьютерный форум, киберфорум
Java
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.80/41: Рейтинг темы: голосов - 41, средняя оценка - 4.80
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45

HTTP error fetching URL

27.02.2014, 21:15. Показов 7995. Ответов 14
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Почему ошибка?org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404,

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
public class findLinkClass {
 
    String domlink;
    ArrayList<String> strA = new ArrayList<String>();
    
    public findLinkClass(String str){
        
        this.domlink = str;
        strA.add(domlink);
    }
    
    
    public void iniLink(String link) throws IOException{
     
    Elements links = new Elements();
    Document doc = Jsoup.connect(link).get();
    links = doc.select("a[href]");
    
    
    
    
        for (Element linkE : links) {
            String str = linkE.attr("abs:href");
        
            if(str != null && stringBoll(str) && str.indexOf(domlink) != -1 && strA.size() < 100){
                
            
            strA.add(str);
            
            iniLink(str);
            }
           }
        
            
    }
    
private boolean stringBoll(String str){
    
    for(int i = 0; i < strA.size(); i++ ){
        if(strA.get(i).equals(str))
            return false;   
    }
    return true;
    
    
 
}
    
    
public String getStringList(int i) {
    return strA.get(i);
}
 
public int getSize(){
    
    return strA.size();
    
}
    
    
}
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
27.02.2014, 21:15
Ответы с готовыми решениями:

HTTP error fetching URL
Всем привет, не так давно начал изучать Java. Ну так вот, возникла следующая проблема, при попытке спарсить сайт,вижу следующее: Exception...

Org.jsoup.HttpStatusException: HTTP error fetching URL. Status=405
Привет всем! Народ, такая проблема, при попытке парсером попасть на сайт, выдает ошибку org.jsoup.HttpStatusException: HTTP error...

Простой сервлет HTTP Status 405 - HTTP method GET is not supported by this URL
Здравствуйте,начал изучение сервлетов.Делал все последовательно как в примере http://devcolibri.com/4284,пока еще без создания jsp файла...

14
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
28.02.2014, 03:04
1) страницы по адресу нет
2) спарсили перед этим линк на несуществующую страницу
3) если вышеуказанное может иметь место быть - проверяйте страницу, чтобы она была всегда с кодом 200
0
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
28.02.2014, 03:25  [ТС]
Подскажите пожалуйста как реализовать проверку "200".
0
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
05.03.2014, 21:42  [ТС]
Ребят, тема актуальна. Как проверить ссылку на Статус = 403, 404?
0
Эксперт Java
 Аватар для turbanoff
4094 / 3828 / 745
Регистрация: 18.05.2010
Сообщений: 9,331
Записей в блоге: 12
05.03.2014, 22:17
Попробовать получить содержимое по ссылке. Если будет брошено исключение HttpStatusException в котором указан статус 403, или 404 - это ваш случай.
0
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
05.03.2014, 22:53
Лучший ответ Сообщение было отмечено CKB03H0u как решение

Решение

ну вот например, как говорит turbanoff,
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
    public static void main (String[] args) throws IOException {
        String str = "http://rambler.ru//";
        URL url = new URL(str);
        HttpURLConnection connection = (HttpURLConnection) url.openConnection();
        try {
            connection.connect();
            int statusCode = connection.getResponseCode();
            System.out.println(statusCode);
        } catch (UnknownHostException e) {
            System.out.println("Host not found");
        }
 
    }
под каждый ексепшн статус-код найдите

Добавлено через 51 секунду
а что хоть парсим?
1
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
05.03.2014, 23:13  [ТС]
Вручную нужно проверять statusCode?
Парсим любой домен, который введут. Кста, может кто подсказать сайт, на котором не очень много ссылок? Для теста.
0
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
05.03.2014, 23:15
ограничитель сделайте, чтобы не больше 100 к примеру
0
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
05.03.2014, 23:46  [ТС]
Так и пробуем.
Могу ли я проверить находиться ли какой-то ресурс на ссылке? Например .jar .doc. .pdf.

Добавлено через 5 минут
Я пока так делаю. Но думаю это тупо!?
Java
1
if( str.charAt(str.length()-1) == 'c' && str.charAt(str.length()-2) == 'o' && str.charAt(str.length()-3) == 'd' && str.charAt(str.length()-4) == '.')
0
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
06.03.2014, 00:37
да, немного не камельфово

вот так получше явно будет
Java
1
2
3
4
5
        String docFile = "http://example.com//helloWorld.doc";
 
        if (docFile.endsWith(".doc")) {
            System.out.println("Its DOC file");
        }
1
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
07.03.2014, 21:15  [ТС]
Подскажите от чего зависит java.net.SocketTimeoutException ? Хост ограничивает?
0
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
07.03.2014, 23:25
если его "долбить" 100500 запросов\сек - то вполне может быть да, временно блокирует вас как мелкого ддосера
0
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
07.03.2014, 23:37  [ТС]
Как я могу решить эту проблему? Замедлить запросы?
0
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
08.03.2014, 00:00
спарсили страницу - подождали секунду-вторую - спарсили вторую страницу.... Чем значения ближе к времени реального пользователя - тем меньше шансов, что сервер даст временную блокировку для вас.

з.ы. но понимайте так же, что это далеко не единственная причина данного исключения, даже банально может быть виноват интернет и т.д. и т.п.
0
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
08.03.2014, 00:14  [ТС]
А проследить какой имено ексепшен можно?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
08.03.2014, 00:14
Помогаю со студенческими работами здесь

Server returned HTTP response code: 403 for URL
Здравствуйте, уважаемые форумчани. Помогите решить проблему. Я пишу программу которая анализирует котировки акций и программа постоянно...

Fetching Types в Hibernate
Exception in thread &quot;main&quot; org.hibernate.loader.MultipleBagFetchException: cannot simultaneously fetch multiple bags: Почему...

HTTP Status 500 - Internal Server Error
Помогите пожалуйста решить проблему с Glassfish. Запускаю сервер, захожу в админ панель, создаю JDBC Connection Pools, пишу имя, выбираю...

I/O Error: Timeout while fetching URL
Здравствуйте, уважаемые форумчане. Подскажите, пожалуйста, почему при проверке валидатором CSS появляется вот такое сообщение - I/O Error:...

Запрос через http - HTTP Error 400
Добрый день Есть запрос, который хотим отправлять через http ВЫБРАТЬ НАЧАЛОПЕРИОДА(ХозрасчетныйДвиженияССубконто.Период, ДЕНЬ) КАК...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
15
Ответ Создать тему
Новые блоги и статьи
Реалии
Hrethgir 01.03.2026
Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru