Программно скачать веб страницу

@angel2100 · Регистрация: 09.04.2011

Студворк — интернет-сервис помощи студентам

Здравствуйте!
Я хочу программно скачать веб страницу, подскажите пожалуйста, как мне это сделать?

Заранее спасибо.

@mutagen · 08.08.2012, 00:38

вариантов много http://stackoverflow.com/quest... ge-in-java

@angel2100 · 08.08.2012, 21:08 **[ТС]**

да, я пробовал первый пример, но он не заработал...
к тому же я плохо понимаю по-английски.
Может быть есть русские источники? Ну или хотя бы дайте направление, какие классы используются при этом.
Спасибо

@Skipy · 09.08.2012, 11:14

Господи, ну там же тривиально всё:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
package ru.skipy.tests;
 
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
 
/**
 * GetSearchResultTest
 *
 * @author Eugene Matyushkin aka Skipy
 * @since 19.10.2011
 */
public class GetSearchResultTest {
 
    public static void main(String[] args) throws Exception {
        URL url = new URL("http://yandex.ru/yandsearch?text=*********");
        BufferedReader reader = new BufferedReader(
                new InputStreamReader(url.openConnection().getInputStream(), "UTF-8"));
        while (true) {
            String line = reader.readLine();
            if (line == null)
                break;
            System.out.println(line);
        }
    }
}

Только кодировку надо правильную указывать, на Yandex используется UTF-8, что у Вас - не знаю.

@Дмитрий2003 · 19.04.2013, 13:08

Этот код не позволяет скачать страницу www.zaochnik.com/author/orders.php?action=neworders&mode=iA_new[/url]. Сайт требует авторизации: авторизуюсь в браузере, затем выполняю ваш код - ответ сервера код 500.
Как решить эту проблему?
P.S. На других сайтах ваш код работает на ура.

Сообщения нетбинса:

апр 19, 2013 1:10:10 PM zaochnik.BusinessLogic calculation
SEVERE: null
java.io.IOException: Server returned HTTP response code: 500 for URL: http://www.zaochnik.com/author... ode=iA_new
at sun.net.https://www.protocol.http.Http... .java:1625)
at java.net.URL.openStream(URL.java:1037)
at zaochnik.BusinessLogic.calculation(Busin essLogic.java:38)
at zaochnik.JFrame1.jButton1ActionPerformed (JFrame1.java:79)
at zaochnik.JFrame1.access$000(JFrame1.java :11)
at zaochnik.JFrame1$1.actionPerformed(JFram e1.java:44)
at javax.swing.AbstractButton.fireActionPer formed(AbstractButton.java:2018)
at javax.swing.AbstractButton$Handler.actio nPerformed(AbstractButton.java:2341)
at javax.swing.DefaultButtonModel.fireActio nPerformed(DefaultButtonModel.java:402)
at javax.swing.DefaultButtonModel.setPresse d(DefaultButtonModel.java:259)
at javax.swing.plaf.basic.BasicButtonListen er.mouseReleased(BasicButtonListener.jav a:252)
at java.awt.Component.processMouseEvent(Com ponent.java:6505)
at javax.swing.JComponent.processMouseEvent (JComponent.java:3321)
at java.awt.Component.processEvent(Componen t.java:6270)
at java.awt.Container.processEvent(Containe r.java:2229)
at java.awt.Component.dispatchEventImpl(Com ponent.java:4861)
at java.awt.Container.dispatchEventImpl(Con tainer.java:2287)
at java.awt.Component.dispatchEvent(Compone nt.java:4687)
at java.awt.LightweightDispatcher.retargetM ouseEvent(Container.java:4832)
at java.awt.LightweightDispatcher.processMo useEvent(Container.java:4492)
at java.awt.LightweightDispatcher.dispatchE vent(Container.java:4422)
at java.awt.Container.dispatchEventImpl(Con tainer.java:2273)
at java.awt.Window.dispatchEventImpl(Window .java:2719)
at java.awt.Component.dispatchEvent(Compone nt.java:4687)
at java.awt.EventQueue.dispatchEventImpl(Ev entQueue.java:729)
at java.awt.EventQueue.access$200(EventQueu e.java:103)
at java.awt.EventQueue$3.run(EventQueue.jav a:688)
at java.awt.EventQueue$3.run(EventQueue.jav a:686)
at java.security.AccessController.doPrivile ged(Native Method)
at java.security.ProtectionDomain$1.doInter sectionPrivilege(ProtectionDomain.java:7 6)
at java.security.ProtectionDomain$1.doInter sectionPrivilege(ProtectionDomain.java:8 7)
at java.awt.EventQueue$4.run(EventQueue.jav a:702)
at java.awt.EventQueue$4.run(EventQueue.jav a:700)
at java.security.AccessController.doPrivile ged(Native Method)
at java.security.ProtectionDomain$1.doInter sectionPrivilege(ProtectionDomain.java:7 6)
at java.awt.EventQueue.dispatchEvent(EventQ ueue.java:699)
at java.awt.EventDispatchThread.pumpOneEven tForFilters(EventDispatchThread.java:242 )
at java.awt.EventDispatchThread.pumpEventsF orFilter(EventDispatchThread.java:161)
at java.awt.EventDispatchThread.pumpEventsF orHierarchy(EventDispatchThread.java:150 )
at java.awt.EventDispatchThread.pumpEvents( EventDispatchThread.java:146)
at java.awt.EventDispatchThread.pumpEvents( EventDispatchThread.java:138)
at java.awt.EventDispatchThread.run(EventDi spatchThread.java:91)

@Fonduee · 19.04.2013, 16:45

Открою вам секрет, и в браузере ваша ссылка не открывается.

@Дмитрий2003 · 19.04.2013, 17:41

У вас и не откроется. Сначала нужно авторизоваться. У меня есть подозрение, что вышеприведенный код не работает из-за гет запроса в URL. Страницы без гет запроса скачиваются.

@chizz · 19.04.2013, 17:43

Эта тема хорошо описана в книге HTTP Programming Recipes for Java Bots

@Дмитрий2003 · 19.04.2013, 17:48

Знаю эту книгу, к сожалению, она на английском. Сейчас пытаюсь ее читать, но дело очень медленно идет.

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@angel2100 5 / 5 / 0 Регистрация: 09.04.2011 Сообщений: 66

	Программно скачать веб страницу 07.08.2012, 19:51. Показов 15060. Ответов 8 Метки нет (Все метки) Здравствуйте! Я хочу программно скачать веб страницу, подскажите пожалуйста, как мне это сделать? Заранее спасибо. 0

@mutagen 2587 / 2260 / 257 Регистрация: 14.09.2011 Сообщений: 5,185 Записей в блоге: 18
	08.08.2012, 00:38
	вариантов много http://stackoverflow.com/quest... ge-in-java 0

@angel2100 5 / 5 / 0 Регистрация: 09.04.2011 Сообщений: 66
	08.08.2012, 21:08 [ТС]
	да, я пробовал первый пример, но он не заработал... к тому же я плохо понимаю по-английски. Может быть есть русские источники? Ну или хотя бы дайте направление, какие классы используются при этом. Спасибо 0

@Дмитрий2003 0 / 0 / 0 Регистрация: 19.04.2013 Сообщений: 34
	19.04.2013, 13:08
	Этот код не позволяет скачать страницу www.zaochnik.com/author/orders.php?action=neworders&mode=iA_new[/url]. Сайт требует авторизации: авторизуюсь в браузере, затем выполняю ваш код - ответ сервера код 500. Как решить эту проблему? P.S. На других сайтах ваш код работает на ура. Сообщения нетбинса: апр 19, 2013 1:10:10 PM zaochnik.BusinessLogic calculation SEVERE: null java.io.IOException: Server returned HTTP response code: 500 for URL: http://www.zaochnik.com/author... ode=iA_new at sun.net.https://www.protocol.http.Http... .java:1625) at java.net.URL.openStream(URL.java:1037) at zaochnik.BusinessLogic.calculation(Busin essLogic.java:38) at zaochnik.JFrame1.jButton1ActionPerformed (JFrame1.java:79) at zaochnik.JFrame1.access$000(JFrame1.java :11) at zaochnik.JFrame1$1.actionPerformed(JFram e1.java:44) at javax.swing.AbstractButton.fireActionPer formed(AbstractButton.java:2018) at javax.swing.AbstractButton$Handler.actio nPerformed(AbstractButton.java:2341) at javax.swing.DefaultButtonModel.fireActio nPerformed(DefaultButtonModel.java:402) at javax.swing.DefaultButtonModel.setPresse d(DefaultButtonModel.java:259) at javax.swing.plaf.basic.BasicButtonListen er.mouseReleased(BasicButtonListener.jav a:252) at java.awt.Component.processMouseEvent(Com ponent.java:6505) at javax.swing.JComponent.processMouseEvent (JComponent.java:3321) at java.awt.Component.processEvent(Componen t.java:6270) at java.awt.Container.processEvent(Containe r.java:2229) at java.awt.Component.dispatchEventImpl(Com ponent.java:4861) at java.awt.Container.dispatchEventImpl(Con tainer.java:2287) at java.awt.Component.dispatchEvent(Compone nt.java:4687) at java.awt.LightweightDispatcher.retargetM ouseEvent(Container.java:4832) at java.awt.LightweightDispatcher.processMo useEvent(Container.java:4492) at java.awt.LightweightDispatcher.dispatchE vent(Container.java:4422) at java.awt.Container.dispatchEventImpl(Con tainer.java:2273) at java.awt.Window.dispatchEventImpl(Window .java:2719) at java.awt.Component.dispatchEvent(Compone nt.java:4687) at java.awt.EventQueue.dispatchEventImpl(Ev entQueue.java:729) at java.awt.EventQueue.access$200(EventQueu e.java:103) at java.awt.EventQueue$3.run(EventQueue.jav a:688) at java.awt.EventQueue$3.run(EventQueue.jav a:686) at java.security.AccessController.doPrivile ged(Native Method) at java.security.ProtectionDomain$1.doInter sectionPrivilege(ProtectionDomain.java:7 6) at java.security.ProtectionDomain$1.doInter sectionPrivilege(ProtectionDomain.java:8 7) at java.awt.EventQueue$4.run(EventQueue.jav a:702) at java.awt.EventQueue$4.run(EventQueue.jav a:700) at java.security.AccessController.doPrivile ged(Native Method) at java.security.ProtectionDomain$1.doInter sectionPrivilege(ProtectionDomain.java:7 6) at java.awt.EventQueue.dispatchEvent(EventQ ueue.java:699) at java.awt.EventDispatchThread.pumpOneEven tForFilters(EventDispatchThread.java:242 ) at java.awt.EventDispatchThread.pumpEventsF orFilter(EventDispatchThread.java:161) at java.awt.EventDispatchThread.pumpEventsF orHierarchy(EventDispatchThread.java:150 ) at java.awt.EventDispatchThread.pumpEvents( EventDispatchThread.java:146) at java.awt.EventDispatchThread.pumpEvents( EventDispatchThread.java:138) at java.awt.EventDispatchThread.run(EventDi spatchThread.java:91) 0

@Fonduee Музыка нас Связала 232 / 232 / 52 Регистрация: 26.03.2008 Сообщений: 616
	19.04.2013, 16:45
	Открою вам секрет, и в браузере ваша ссылка не открывается. 0

@Дмитрий2003 0 / 0 / 0 Регистрация: 19.04.2013 Сообщений: 34
	19.04.2013, 17:41
	У вас и не откроется. Сначала нужно авторизоваться. У меня есть подозрение, что вышеприведенный код не работает из-за гет запроса в URL. Страницы без гет запроса скачиваются. 0

@chizz 993 / 521 / 102 Регистрация: 19.03.2013 Сообщений: 3,114 Записей в блоге: 19
	19.04.2013, 17:43
	Эта тема хорошо описана в книге *HTTP Programming Recipes for Java Bots* 0

@Дмитрий2003 0 / 0 / 0 Регистрация: 19.04.2013 Сообщений: 34
	19.04.2013, 17:48
	Знаю эту книгу, к сожалению, она на английском. Сейчас пытаюсь ее читать, но дело очень медленно идет. 0