Форум программистов, компьютерный форум, киберфорум
Java
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.80/41: Рейтинг темы: голосов - 41, средняя оценка - 4.80
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45

HTTP error fetching URL

27.02.2014, 21:15. Показов 7968. Ответов 14
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Почему ошибка?org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404,

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
public class findLinkClass {
 
    String domlink;
    ArrayList<String> strA = new ArrayList<String>();
    
    public findLinkClass(String str){
        
        this.domlink = str;
        strA.add(domlink);
    }
    
    
    public void iniLink(String link) throws IOException{
     
    Elements links = new Elements();
    Document doc = Jsoup.connect(link).get();
    links = doc.select("a[href]");
    
    
    
    
        for (Element linkE : links) {
            String str = linkE.attr("abs:href");
        
            if(str != null && stringBoll(str) && str.indexOf(domlink) != -1 && strA.size() < 100){
                
            
            strA.add(str);
            
            iniLink(str);
            }
           }
        
            
    }
    
private boolean stringBoll(String str){
    
    for(int i = 0; i < strA.size(); i++ ){
        if(strA.get(i).equals(str))
            return false;   
    }
    return true;
    
    
 
}
    
    
public String getStringList(int i) {
    return strA.get(i);
}
 
public int getSize(){
    
    return strA.size();
    
}
    
    
}
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
27.02.2014, 21:15
Ответы с готовыми решениями:

HTTP error fetching URL
Всем привет, не так давно начал изучать Java. Ну так вот, возникла следующая проблема, при попытке спарсить сайт,вижу следующее: Exception...

Org.jsoup.HttpStatusException: HTTP error fetching URL. Status=405
Привет всем! Народ, такая проблема, при попытке парсером попасть на сайт, выдает ошибку org.jsoup.HttpStatusException: HTTP error...

Простой сервлет HTTP Status 405 - HTTP method GET is not supported by this URL
Здравствуйте,начал изучение сервлетов.Делал все последовательно как в примере http://devcolibri.com/4284,пока еще без создания jsp файла...

14
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
28.02.2014, 03:04
1) страницы по адресу нет
2) спарсили перед этим линк на несуществующую страницу
3) если вышеуказанное может иметь место быть - проверяйте страницу, чтобы она была всегда с кодом 200
0
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
28.02.2014, 03:25  [ТС]
Подскажите пожалуйста как реализовать проверку "200".
0
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
05.03.2014, 21:42  [ТС]
Ребят, тема актуальна. Как проверить ссылку на Статус = 403, 404?
0
Эксперт Java
 Аватар для turbanoff
4094 / 3828 / 745
Регистрация: 18.05.2010
Сообщений: 9,331
Записей в блоге: 12
05.03.2014, 22:17
Попробовать получить содержимое по ссылке. Если будет брошено исключение HttpStatusException в котором указан статус 403, или 404 - это ваш случай.
0
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
05.03.2014, 22:53
Лучший ответ Сообщение было отмечено CKB03H0u как решение

Решение

ну вот например, как говорит turbanoff,
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
    public static void main (String[] args) throws IOException {
        String str = "http://rambler.ru//";
        URL url = new URL(str);
        HttpURLConnection connection = (HttpURLConnection) url.openConnection();
        try {
            connection.connect();
            int statusCode = connection.getResponseCode();
            System.out.println(statusCode);
        } catch (UnknownHostException e) {
            System.out.println("Host not found");
        }
 
    }
под каждый ексепшн статус-код найдите

Добавлено через 51 секунду
а что хоть парсим?
1
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
05.03.2014, 23:13  [ТС]
Вручную нужно проверять statusCode?
Парсим любой домен, который введут. Кста, может кто подсказать сайт, на котором не очень много ссылок? Для теста.
0
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
05.03.2014, 23:15
ограничитель сделайте, чтобы не больше 100 к примеру
0
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
05.03.2014, 23:46  [ТС]
Так и пробуем.
Могу ли я проверить находиться ли какой-то ресурс на ссылке? Например .jar .doc. .pdf.

Добавлено через 5 минут
Я пока так делаю. Но думаю это тупо!?
Java
1
if( str.charAt(str.length()-1) == 'c' && str.charAt(str.length()-2) == 'o' && str.charAt(str.length()-3) == 'd' && str.charAt(str.length()-4) == '.')
0
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
06.03.2014, 00:37
да, немного не камельфово

вот так получше явно будет
Java
1
2
3
4
5
        String docFile = "http://example.com//helloWorld.doc";
 
        if (docFile.endsWith(".doc")) {
            System.out.println("Its DOC file");
        }
1
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
07.03.2014, 21:15  [ТС]
Подскажите от чего зависит java.net.SocketTimeoutException ? Хост ограничивает?
0
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
07.03.2014, 23:25
если его "долбить" 100500 запросов\сек - то вполне может быть да, временно блокирует вас как мелкого ддосера
0
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
07.03.2014, 23:37  [ТС]
Как я могу решить эту проблему? Замедлить запросы?
0
ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ
 Аватар для tankomaz
443 / 442 / 100
Регистрация: 14.10.2012
Сообщений: 1,146
Записей в блоге: 9
08.03.2014, 00:00
спарсили страницу - подождали секунду-вторую - спарсили вторую страницу.... Чем значения ближе к времени реального пользователя - тем меньше шансов, что сервер даст временную блокировку для вас.

з.ы. но понимайте так же, что это далеко не единственная причина данного исключения, даже банально может быть виноват интернет и т.д. и т.п.
0
0 / 0 / 0
Регистрация: 06.02.2014
Сообщений: 45
08.03.2014, 00:14  [ТС]
А проследить какой имено ексепшен можно?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
08.03.2014, 00:14
Помогаю со студенческими работами здесь

Server returned HTTP response code: 403 for URL
Здравствуйте, уважаемые форумчани. Помогите решить проблему. Я пишу программу которая анализирует котировки акций и программа постоянно...

Fetching Types в Hibernate
Exception in thread &quot;main&quot; org.hibernate.loader.MultipleBagFetchException: cannot simultaneously fetch multiple bags: Почему...

HTTP Status 500 - Internal Server Error
Помогите пожалуйста решить проблему с Glassfish. Запускаю сервер, захожу в админ панель, создаю JDBC Connection Pools, пишу имя, выбираю...

I/O Error: Timeout while fetching URL
Здравствуйте, уважаемые форумчане. Подскажите, пожалуйста, почему при проверке валидатором CSS появляется вот такое сообщение - I/O Error:...

Запрос через http - HTTP Error 400
Добрый день Есть запрос, который хотим отправлять через http ВЫБРАТЬ НАЧАЛОПЕРИОДА(ХозрасчетныйДвиженияССубконто.Период, ДЕНЬ) КАК...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
15
Ответ Создать тему
Новые блоги и статьи
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / **********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf Пост отсюда. . .
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru