Форум программистов, компьютерный форум, киберфорум
Java SE (J2SE)
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.99/74: Рейтинг темы: голосов - 74, средняя оценка - 4.99
1 / 1 / 0
Регистрация: 17.09.2014
Сообщений: 94

Получение содержимого HTML страницы

17.09.2014, 00:19. Показов 14785. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Доброго времени суток.
Проблема в следующем. Моя программа должна с разных сайтов брать информацию о курсах валют. Для разных сайтов создаю свои парсеры. Столкнулся с тем, что когда я закачиваю содержимое, то нужные цифры отсутствуют. Я подозреваю или это защита такая, или нужное мне содержимое является статическим. Ниже приведена небольшая программка, которая скачивает не все содержимое странички.
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
 
public class App {
 
    public static void main(String[] args) {
        new App().exec();
    }
 
    public void exec() {
        BufferedReader reader = null;
        try {
            URL site = new URL("http://www.pravex.com.ua/rus/services/personal/currency-converter");
            reader = new BufferedReader(new InputStreamReader(site.openStream()));
            String line;
            while ((line = reader.readLine()) != null) {
                System.out.println(line);
            }
            reader.close();
        } catch (IOException ex) {
            //...
        } finally {
            try {
                reader.close();
            } catch (IOException ex) {
                //...
            }
        }
 
    }
}
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
17.09.2014, 00:19
Ответы с готовыми решениями:

Получение содержимого annotation с помощью рефлексии
Привет друзья! Вопрос такой. У меня есть класс в котором есть поле и на этом поле весит анаташка. У...

Получение текста web-страницы.
нашол этот пример и NetBeans ругается на java.net, мол нету такого: import java.net.*; import...

Получение исходного кода веб-страницы
Каким образом можно получить исходный код заданной страницы?

3
636 / 528 / 165
Регистрация: 01.04.2010
Сообщений: 1,843
17.09.2014, 08:47
Таки ты не тот URL и не тем способом загружаешь. Тебе нужен POST запрос на адрес http://www.pravex.com.ua/rus/c... s_response, причём дополнительно надо передать 3 параметра (day, month, year) в теле запроса.
0
1 / 1 / 0
Регистрация: 17.09.2014
Сообщений: 94
17.09.2014, 14:30  [ТС]
Вот что смог найти по этому поводу, но что-то все равно не получается =(

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
public static void main(String[] args) throws IOException {
        String urlParameters = "param1=16&param2=09&param3=2014";
        String request = "http://www.pravex.com.ua/rus/currency/macros_response";
        URL url = new URL(request);
        HttpURLConnection connection = (HttpURLConnection) url.openConnection();
        connection.setDoOutput(true);
        connection.setDoInput(true);
        connection.setInstanceFollowRedirects(false);
        connection.setRequestMethod("POST");
        connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded");
        connection.setRequestProperty("charset", "utf-8");
        connection.setRequestProperty("Content-Length", "" + Integer.toString(urlParameters.getBytes().length));
        connection.setUseCaches (false);
 
        DataOutputStream wr = new DataOutputStream(connection.getOutputStream ());
        wr.writeBytes(urlParameters);
        System.out.println(connection.getOutputStream().toString());
        wr.flush();
        wr.close();
        connection.disconnect();
    }
0
31 / 31 / 34
Регистрация: 22.08.2014
Сообщений: 108
17.09.2014, 14:52
Парамерты передаете неправильно, в вашем случае нужно:
Java
1
String urlParameters = "day=15&month=09&year=2014";
Далее:
Java
1
System.out.println(connection.getOutputStream().toString());
Во первых до этого нужно вызвать flush() , ну и вообще это что то вообще невообразимое.

Вот пример как можно читать построчно:
Java
1
2
3
4
5
6
7
8
        BufferedReader in = new BufferedReader(
                new InputStreamReader(connection.getInputStream()));
        String inputLine;
        StringBuilder response = new StringBuilder();
 
        while ((inputLine = in.readLine()) != null) {
            response.append(inputLine);
        }
1
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
17.09.2014, 14:52
Помогаю со студенческими работами здесь

Получение исходного кода страницы
При получении исходного кода нету половины результата, пришел к выводу что данные подгружаются...

Получение исходного кода страницы после регистрации
Доброго времени суток. Мне необходимо зарегистрироваться на сайте (в реалях еще нужно нажать на...

Получение страницы с basic auth
Добрый день. По ссылке перехожу на страницу с авторизацией. Как я ее могу открыть передав в...

Получение данных Selected(html)
У нас есть select <select name="musicType"> <c:forEach items="${musicTypes}"...

HttpClient, не возвращается содержимое html страницы
Ребята у меня есть задача автоматизировать работу человека на сайте. Для этого мне нужно сначала...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
Установка Android SDK, NDK, JDK, CMake и т.д.
8Observer8 25.01.2026
Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf
8Observer8 25.01.2026
Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .
Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly
8Observer8 24.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
моя боль
iceja 24.01.2026
Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .
Модель сукцессии микоризы
anaschu 24.01.2026
Решили писать научную статью с неким РОманом
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru