Парсинг форума с авторизацией

@we2seek · Регистрация: 25.01.2010

Студворк — интернет-сервис помощи студентам

Ребята, хочу пропарсить форум на движке ucoz (http://vip-tv.org.ua/forum). Нужная мне инфа доступна только после авторизации. Как решается авторизация?
Я понимаю что нужно сначала отправить POST запрос с логином и паролем и получить в ответ печеньку. А потом с этой печенюшкой шастать по форуму.
Но вот именно заветную куку никак не могу получить? Посмотрите, код, кто разбирается в теме. Что я упускаю?

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
package com.we2seek.parse;
 
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
 
import java.io.IOException;
import java.util.Map;
import java.util.Random;
 
public class Main {
    public static void main(String[] args) {
        Random rnd = new Random();
        int min = 100;
        int max = 999;
        int randomInt = rnd.nextInt(max - min +1) + min;
 
        try {
            //Log in
            Connection.Response res = Jsoup
                    .connect("http://vip-tv.org.ua/forum/index/sub")
//                    .connect("http://vip-tv.org.ua/forum/")
                    .data("_tp_", "xml")
                    .data("a", "2")
                    .data("ajax", "1")
                    .data("password", "___")
                    .data("rem", "0")
                    .data("rnd", Integer.toString(randomInt))
                    .data("user", "___")
                    .method(Connection.Method.POST)
                    .execute();
 
            Document doc = res.parse();
 
            //Keep logged in
            Map<String, String> cookies = res.cookies();
            for (Map.Entry<String, String> entry : cookies.entrySet()) {
                System.out.println(entry.getKey() + ": " + entry.getValue());
            }
 
            Document doc2 = Jsoup
                    .connect("http://vip-tv.org.ua/forum/67-382-21")
                    .cookies(cookies)
                    .get();
 
//            Elements elements = doc2.select("span");
//            for (Element e : elements) {
//                System.out.println(e.text());
//            }
 
        } catch (IOException e) {
            e.printStackTrace();
        }
 
    }
}

Насколько я правильно понял, что форуму от меня нужно - это кука 2shara-testuCoz
Именно она мне приходит пустая:

Code
1
2
3
2shara-testuzfss: lt%3D1434478024%2Cpst%3D1434460024
2shara-testuzll: 1434478024
2shara-testuCoz:

@we2seek · 21.06.2015, 22:40 **[ТС]**

up!..

@we2seek · 29.06.2015, 01:40 **[ТС]**

Вот, что имею на сегодня:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
package com.we2seek.parse;
 
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
 
import java.io.IOException;
import java.util.Map;
 
public class SimplyJsoup2 {
    public static void main(String[] args) throws IOException {
 
        // Step 1 - get login page cookies and other data by the GET-request
        Connection.Response loginForm = Jsoup.connect("http://vip-tv.org.ua/forum/67-382-20")
                .header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
                .header("Accept-Encoding", "gzip, deflate")
                .header("Accept-Language", "en-US,en;q=0.5")
                .header("Connection", "keep-alive")
                .header("DNT", "1")
                .header("Host", "vip-tv.org.ua")
                .userAgent("Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0")
                .method(Connection.Method.GET)
                .execute();
 
        System.out.println(loginForm.url());
        System.out.println("\tResponse headers:");
        for (Map.Entry<String, String> entry : loginForm.headers().entrySet()) {
            System.out.println(entry.getKey() + ": " + entry.getValue());
        }
 
        System.out.println("\tCookies:");
        Map<String, String> loginFormCookies = loginForm.cookies();
        for (Map.Entry<String, String> entry : loginFormCookies.entrySet()) {
            System.out.println(entry.getKey() + ": " + entry.getValue());
        }
 
        // get some hidden inputs from login form
        Document d = loginForm.parse();
 
        Element hiddenInputRnd = d.select("input[name=rnd]").first();
        String rnd = hiddenInputRnd.attr("value");
        System.out.println("Rnd: ".concat(rnd));
        System.out.println();
 
        // Step 2 - send POST request
        Connection.Response post = Jsoup.connect("http://vip-tv.org.ua/index/sub")
                .cookies(loginFormCookies)
                .cookie("_ym_visorc_937608", "w")
                .header("Accept", "application/xml, text/xml, */*; q=0.01")
                .header("Accept-Encoding", "gzip, deflate")
                .header("Accept-Language", "en-US,en;q=0.5")
                .header("Cache-Control", "no-cache")
                .header("Content-Length", "63")
                .header("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8")
                .header("DNT", "1")
                .header("Host", "vip-tv.org.ua")
                .header("Pragma", "no-cache")
                .header("Referer", "http://vip-tv.org.ua/forum/67-382-20")
                .header("X-Requested-With", "XMLHttpRequest")
                .data("user", "***")
                .data("password", "***")
                .data("_tp_", "xml")
                .data("a", "2")
                .data("ajax", "1")
                .data("rem", "1")
                .data("rnd", rnd)
                .userAgent("Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0")
                .method(Connection.Method.POST)
                .execute();
 
 
        System.out.println("\n\nPOST RESULTS:");
        System.out.println("\tResponse headers:");
        for (Map.Entry<String, String> entry : post.headers().entrySet()) {
            System.out.println(entry.getKey() + ": " + entry.getValue());
        }
        System.out.println("\tCookies:");
        Map<String, String> postCookies = post.cookies();
        for (Map.Entry<String, String> entry : postCookies.entrySet()) {
            System.out.println(entry.getKey() + ": " + entry.getValue());
        }
 
        // Extract url-addition generated by javascript
        d = post.parse();
        Element cmd = d.select("cmd").last();
        String urlAddition = cmd.text();
        int index = urlAddition.indexOf("+\"?") + 2; // shift for 2 symbols
        urlAddition = urlAddition.substring(index);
        index = urlAddition.indexOf("\'");
        urlAddition = urlAddition.substring(0, index);
 
        d = Jsoup.connect("http://vip-tv.org.ua/forum/67-382-20" + urlAddition)
                .method(Connection.Method.GET)
                .cookies(postCookies)
                .execute().parse();
 
        Elements spans = d.select("div.uSpoilerText");
        for (Element e : spans) {
            System.out.println(e.text());
        }
    }
}

Результаты:

Code
1
2
3
4
5
6
2shara-testuz47: 
2shara-testEScom: 
2shara-testuzll: 1435530632
2shara-testp2: 0
2shara-testpPp: 0
2shara-testuCoz:

А вот что я ожидаю получить (посмотрел через firebug):

Code
1
2
3
4
5
6
7
2shara-testuz47: 
2shara-testEScom: 
2shara-testuzll: 1435530632
2shara-testp2: 0
2shara-testpPp: 0
2shara-testuCoz: 
2shara-testuCoz: 0KO5iXCqFcvsm73nv

Разница только в том, что у меня кука 2shara-testuCoz только один раз и пустая, а в реальности их две: одна пустая, вторая со значением 0KO5iXCqFcvsm73nv.

Как так? Если кто захочет помочь могу дать свой логин и пароль в личку для теста, чтоб не тратили время на регистрацию.

@KEKCoGEN · 29.06.2015, 09:52

we2seek, если до вечера не получится, скиньте логин, посмотрю.

@1eksus · 19.10.2015, 17:41

Доброе время суток, подскажите пожалуйста нашли решение ???

@we2seek · 16.11.2015, 16:29 **[ТС]**

Сообщение от 1eksus

Доброе время суток, подскажите пожалуйста нашли решение ???

Извините за задержку с ответом. Нет не нашел. Пока отложил эту проблему

Новые блоги и статьи Все статьи Все блоги /
Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .
Functional First Web Framework Suave DevAlt 30.03.2026 Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .	Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .

@we2seek 84 / 84 / 42 Регистрация: 25.01.2010 Сообщений: 386
	21.06.2015, 22:40 [ТС]
	up!.. 0

@KEKCoGEN 2399 / 2224 / 565 Регистрация: 28.12.2010 Сообщений: 8,672
	29.06.2015, 09:52
	we2seek, если до вечера не получится, скиньте логин, посмотрю. 0

@1eksus 0 / 0 / 0 Регистрация: 01.11.2013 Сообщений: 2
	19.10.2015, 17:41
	Доброе время суток, подскажите пожалуйста нашли решение ??? 0