С Новым годом! Форум программистов, компьютерный форум, киберфорум
Java SE (J2SE)
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.82/11: Рейтинг темы: голосов - 11, средняя оценка - 4.82
2 / 2 / 2
Регистрация: 27.03.2013
Сообщений: 55

Парсинг из сайта booking.uz.gov.ua

03.07.2015, 13:21. Показов 2423. Ответов 1
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Доброго времени суток!
У меня есть такой код, который парсит из сайта booking.uz.gov.ua.
Но почему мне не выдает запрос откуда и куда ехать.
Сразу говорю, код НЕ мой.
Но сам немогу разобратся.


Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
import javax.script.ScriptEngine;
import javax.script.ScriptEngineManager;
import javax.script.ScriptException;
import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.text.MessageFormat;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.List;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
 
public class Main {
 
    static String html   = "";
    static String cookie = "";
    static String token  = "";
    static String error  = "";
 
    static Map<String, List<String>> headers = null;
 
    static void fetchHtml() {
        try {
            URL url = new URL("http://booking.uz.gov.ua/");
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            conn.setRequestMethod("GET");
            BufferedReader rd = new BufferedReader(new InputStreamReader(conn.getInputStream()));
            headers = conn.getHeaderFields();
            String line;
            while ((line = rd.readLine()) != null) {
                html += line;
            }
            rd.close();
        } catch (Exception e) {
            error = e.getMessage();
        }
    }
 
    static void parseCookie() {
        List<String> cookies = headers.get("Set-Cookie");
        for (String current_cookie : cookies) {
            if (current_cookie.startsWith("_gv_sessid")) {
                cookie = current_cookie;
                break;
            }
        }
    }
 
    static void parseToken() {
        String adapter = "var token;localStorage={setItem:function(key, value){if(key==='gv-token')token=value}};";
        Pattern pattern = Pattern.compile("\\$\\$_=.*~\\[\\];.*\"\"\\)\\(\\)\\)\\(\\);");
        Matcher matcher = pattern.matcher(html);
        if (matcher.find()) {
            String obfuscated = matcher.group(0);
            ScriptEngineManager factory = new ScriptEngineManager();
            ScriptEngine engine = factory.getEngineByName("JavaScript");
            try {
                engine.eval(adapter + obfuscated);
            } catch (ScriptException e) {
                error = e.getMessage();
            }
            token = engine.get("token").toString();
        }
    }
 
    static String getStationId(String name) {
        String json = "";
        try {
            URL url = new URL("http://booking.uz.gov.ua/en/purchase/station/" + name + "/");
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            conn.setRequestMethod("GET");
            BufferedReader rd = new BufferedReader(new InputStreamReader(conn.getInputStream()));
            String line;
            while ((line = rd.readLine()) != null) {
                json += line;
            }
            rd.close();
        } catch (Exception e) {
            error = e.getMessage();
        }
        ScriptEngineManager factory = new ScriptEngineManager();
        ScriptEngine engine = factory.getEngineByName("JavaScript");
        engine.put("json", json);
        try {
            engine.eval("var station_id = JSON.parse(json).value[0].station_id");
        } catch (ScriptException e) {
            error = e.getMessage();
        }
        return engine.get("station_id").toString();
    }
 
    static String getData(String fromName, String toName, String date) {
        fetchHtml();
        parseCookie();
        parseToken();
        String from = getStationId(fromName);
        String to = getStationId(toName);
        String json = "";
        try {
            URL url = new URL("http://booking.uz.gov.ua/en/purchase/search/");
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            conn.setRequestProperty("Cookie", cookie);
            conn.setRequestProperty("GV-Token", token);
            conn.setRequestProperty("GV-Ajax", "1");
            conn.setRequestProperty("Content-Type", "application/x-www-form-urlencoded");
            conn.setRequestProperty("Referer", "http://booking.uz.gov.ua/en/");
            conn.setRequestMethod("POST");
            String urlParameters = MessageFormat.format("station_id_from={0}&station_id_till={1}&date_dep={2}" +
                                                        "&time_dep=00:00&time_dep_till=24:00", from, to, date);
            conn.setDoOutput(true);
            DataOutputStream wr = new DataOutputStream(conn.getOutputStream());
            wr.writeBytes(urlParameters);
            wr.flush();
            wr.close();
            BufferedReader rd = new BufferedReader(new InputStreamReader(conn.getInputStream()));
            String line;
            while ((line = rd.readLine()) != null) {
                json += line;
            }
            rd.close();
        } catch (Exception e) {
            error = e.getMessage();
        }
        return json;
    }
 
    static String getData(String fromName, String toName) {
        return getData(fromName, toName, new SimpleDateFormat("MM.dd.yyyy").format(new Date()));
    }
 
    public static void main(String[] args) {
        if (args.length < 2) {
            System.out.println("Онлайн резервування та придбання квиткiв - Укрзалізниця");
            System.out.println("Введите: <start_station> <end_station> [MM.DD.YYYY]");
            System.exit(1);
        }
        String data;
        if (args.length > 2)
            data = getData(args[0], args[1], args[2]);
        else
            data = getData(args[0], args[1]);
        System.out.println(data);
    }
 
}
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
03.07.2015, 13:21
Ответы с готовыми решениями:

Парсинг данных с сайта или страницы сайта
Здравствуйте, добрые люди! Есть задача спарсить данные с страницы соц сети. Или просто со страницы с помощью js. На пхп не предлагать....

Как подключиться по FTP к zakupki.gov.ru
Добры вечер ребята ... Хочу написать программу для работы FTP серверу! Но я не понял вот это, до пустим, я набиваю браузере...

Работа в Windows 10 с сайтом zakupki.gov.ru
Ребята, добрый день. Подскажите, пожалуйста, на работе юрист обновил ОС до Windows 10... Не получается теперь настроить КриптоПро версии...

1
 Аватар для we2seek
84 / 84 / 42
Регистрация: 25.01.2010
Сообщений: 386
05.07.2015, 23:21
так там сам сайт не работает наверное )))
Только что пробовал например Днепропетровск - Красноград - ничего не находит
1
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
05.07.2015, 23:21
Помогаю со студенческими работами здесь

Можно ли работать с bus.gov.ru на linux
Скажите возможно ли установить bus.gov.ru, zakupki.gov.ru и сервис контур экстерн на linux?

Парсинг сайта
Доброе утро! Есть на сайт таблица &lt;table class=&quot;tabulkaquick&quot; width=&quot;670&quot;&gt; &lt;tbody&gt; &lt;tr&gt; &lt;td...

Парсинг сайта
Добрый день. Возникла проблема с написанием рекурсивного парсинга страниц сайта. Суть такова, написан код, который парсит только...

Парсинг сайта
Хочу пропарсить сайт, на котором через некоторое время появляются элементы в виде div-ов. Эти дивы мне и нужно получить. Их там много может...

Парсинг сайта
Подскажите пожалуйста чем лучше всего парсить сайты? что-бы было просто и легко. Html Agility Pack xNet Или еще чем-то. Нужно...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
Модель микоризы: классовый агентный подход
anaschu 02.01.2026
Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути
Programma_Boinc 01.01.2026
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Сочетание глобально распределённой вычислительной мощности и инновационных. . .
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / **********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf Пост отсюда. . .
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru