С Новым годом! Форум программистов, компьютерный форум, киберфорум
Java: Сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.56/9: Рейтинг темы: голосов - 9, средняя оценка - 4.56
 Аватар для we2seek
84 / 84 / 42
Регистрация: 25.01.2010
Сообщений: 386

Парсинг форума с авторизацией

16.06.2015, 21:13. Показов 1893. Ответов 5

Студворк — интернет-сервис помощи студентам
Ребята, хочу пропарсить форум на движке ucoz (http://vip-tv.org.ua/forum). Нужная мне инфа доступна только после авторизации. Как решается авторизация?
Я понимаю что нужно сначала отправить POST запрос с логином и паролем и получить в ответ печеньку. А потом с этой печенюшкой шастать по форуму.
Но вот именно заветную куку никак не могу получить? Посмотрите, код, кто разбирается в теме. Что я упускаю?

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
package com.we2seek.parse;
 
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
 
import java.io.IOException;
import java.util.Map;
import java.util.Random;
 
public class Main {
    public static void main(String[] args) {
        Random rnd = new Random();
        int min = 100;
        int max = 999;
        int randomInt = rnd.nextInt(max - min +1) + min;
 
        try {
            //Log in
            Connection.Response res = Jsoup
                    .connect("http://vip-tv.org.ua/forum/index/sub")
//                    .connect("http://vip-tv.org.ua/forum/")
                    .data("_tp_", "xml")
                    .data("a", "2")
                    .data("ajax", "1")
                    .data("password", "___")
                    .data("rem", "0")
                    .data("rnd", Integer.toString(randomInt))
                    .data("user", "___")
                    .method(Connection.Method.POST)
                    .execute();
 
            Document doc = res.parse();
 
            //Keep logged in
            Map<String, String> cookies = res.cookies();
            for (Map.Entry<String, String> entry : cookies.entrySet()) {
                System.out.println(entry.getKey() + ": " + entry.getValue());
            }
 
            Document doc2 = Jsoup
                    .connect("http://vip-tv.org.ua/forum/67-382-21")
                    .cookies(cookies)
                    .get();
 
//            Elements elements = doc2.select("span");
//            for (Element e : elements) {
//                System.out.println(e.text());
//            }
 
        } catch (IOException e) {
            e.printStackTrace();
        }
 
    }
}
Насколько я правильно понял, что форуму от меня нужно - это кука 2shara-testuCoz
Именно она мне приходит пустая:
Code
1
2
3
2shara-testuzfss: lt%3D1434478024%2Cpst%3D1434460024
2shara-testuzll: 1434478024
2shara-testuCoz:
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
16.06.2015, 21:13
Ответы с готовыми решениями:

Клиент приложение с авторизацией вк
Доброй ночи. Не знаю в какой раздел написать, но предполагаю, что правильно. (Если ошибся, прощу прощения). Есть такая задача. Допустим...

Проблема с авторизацией на прокси
Пытаюсь получить WEB-страницу webURL = new URL ('http://www.host.ru/index.html'); InputStream in = webURL.openStream(); ...

HTTPS Client c авторизацией по сертификату
Доброго времени суток! Сложилась ситуация: Требуется написать HTTPS клиент, сервер универсальный (IIS. apache ... и тд). Проблема в...

5
 Аватар для we2seek
84 / 84 / 42
Регистрация: 25.01.2010
Сообщений: 386
21.06.2015, 22:40  [ТС]
up!..
0
 Аватар для we2seek
84 / 84 / 42
Регистрация: 25.01.2010
Сообщений: 386
29.06.2015, 01:40  [ТС]
Вот, что имею на сегодня:
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
package com.we2seek.parse;
 
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
 
import java.io.IOException;
import java.util.Map;
 
public class SimplyJsoup2 {
    public static void main(String[] args) throws IOException {
 
        // Step 1 - get login page cookies and other data by the GET-request
        Connection.Response loginForm = Jsoup.connect("http://vip-tv.org.ua/forum/67-382-20")
                .header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
                .header("Accept-Encoding", "gzip, deflate")
                .header("Accept-Language", "en-US,en;q=0.5")
                .header("Connection", "keep-alive")
                .header("DNT", "1")
                .header("Host", "vip-tv.org.ua")
                .userAgent("Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0")
                .method(Connection.Method.GET)
                .execute();
 
        System.out.println(loginForm.url());
        System.out.println("\tResponse headers:");
        for (Map.Entry<String, String> entry : loginForm.headers().entrySet()) {
            System.out.println(entry.getKey() + ": " + entry.getValue());
        }
 
        System.out.println("\tCookies:");
        Map<String, String> loginFormCookies = loginForm.cookies();
        for (Map.Entry<String, String> entry : loginFormCookies.entrySet()) {
            System.out.println(entry.getKey() + ": " + entry.getValue());
        }
 
        // get some hidden inputs from login form
        Document d = loginForm.parse();
 
        Element hiddenInputRnd = d.select("input[name=rnd]").first();
        String rnd = hiddenInputRnd.attr("value");
        System.out.println("Rnd: ".concat(rnd));
        System.out.println();
 
        // Step 2 - send POST request
        Connection.Response post = Jsoup.connect("http://vip-tv.org.ua/index/sub")
                .cookies(loginFormCookies)
                .cookie("_ym_visorc_937608", "w")
                .header("Accept", "application/xml, text/xml, */*; q=0.01")
                .header("Accept-Encoding", "gzip, deflate")
                .header("Accept-Language", "en-US,en;q=0.5")
                .header("Cache-Control", "no-cache")
                .header("Content-Length", "63")
                .header("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8")
                .header("DNT", "1")
                .header("Host", "vip-tv.org.ua")
                .header("Pragma", "no-cache")
                .header("Referer", "http://vip-tv.org.ua/forum/67-382-20")
                .header("X-Requested-With", "XMLHttpRequest")
                .data("user", "***")
                .data("password", "***")
                .data("_tp_", "xml")
                .data("a", "2")
                .data("ajax", "1")
                .data("rem", "1")
                .data("rnd", rnd)
                .userAgent("Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0")
                .method(Connection.Method.POST)
                .execute();
 
 
        System.out.println("\n\nPOST RESULTS:");
        System.out.println("\tResponse headers:");
        for (Map.Entry<String, String> entry : post.headers().entrySet()) {
            System.out.println(entry.getKey() + ": " + entry.getValue());
        }
        System.out.println("\tCookies:");
        Map<String, String> postCookies = post.cookies();
        for (Map.Entry<String, String> entry : postCookies.entrySet()) {
            System.out.println(entry.getKey() + ": " + entry.getValue());
        }
 
        // Extract url-addition generated by javascript
        d = post.parse();
        Element cmd = d.select("cmd").last();
        String urlAddition = cmd.text();
        int index = urlAddition.indexOf("+\"?") + 2; // shift for 2 symbols
        urlAddition = urlAddition.substring(index);
        index = urlAddition.indexOf("\'");
        urlAddition = urlAddition.substring(0, index);
 
        d = Jsoup.connect("http://vip-tv.org.ua/forum/67-382-20" + urlAddition)
                .method(Connection.Method.GET)
                .cookies(postCookies)
                .execute().parse();
 
        Elements spans = d.select("div.uSpoilerText");
        for (Element e : spans) {
            System.out.println(e.text());
        }
    }
}
Результаты:
Code
1
2
3
4
5
6
2shara-testuz47: 
2shara-testEScom: 
2shara-testuzll: 1435530632
2shara-testp2: 0
2shara-testpPp: 0
2shara-testuCoz:
А вот что я ожидаю получить (посмотрел через firebug):
Code
1
2
3
4
5
6
7
2shara-testuz47: 
2shara-testEScom: 
2shara-testuzll: 1435530632
2shara-testp2: 0
2shara-testpPp: 0
2shara-testuCoz: 
2shara-testuCoz: 0KO5iXCqFcvsm73nv
Разница только в том, что у меня кука 2shara-testuCoz только один раз и пустая, а в реальности их две: одна пустая, вторая со значением 0KO5iXCqFcvsm73nv.

Как так? Если кто захочет помочь могу дать свой логин и пароль в личку для теста, чтоб не тратили время на регистрацию.
0
Эксперт Java
 Аватар для KEKCoGEN
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
29.06.2015, 09:52
we2seek, если до вечера не получится, скиньте логин, посмотрю.
0
 Аватар для 1eksus
0 / 0 / 0
Регистрация: 01.11.2013
Сообщений: 2
19.10.2015, 17:41
Доброе время суток, подскажите пожалуйста нашли решение ???
0
 Аватар для we2seek
84 / 84 / 42
Регистрация: 25.01.2010
Сообщений: 386
16.11.2015, 16:29  [ТС]
Цитата Сообщение от 1eksus Посмотреть сообщение
Доброе время суток, подскажите пожалуйста нашли решение ???
Извините за задержку с ответом. Нет не нашел. Пока отложил эту проблему
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
16.11.2015, 16:29
Помогаю со студенческими работами здесь

Selenium proxy с авторизацией - NoAlertPresentException
Здравствуйте, стоит задача с помощью селениума зайти через прокси с авторизацией driver.get(&quot;http://site.com&quot;); ...

Парсинг с авторизацией
мне нужно собирать информацию со своего аккаунта на определенном сайте, делаю так $url=&quot;some site...&quot;; $ch=curl_init(); ...

Парсинг сайта с авторизацией
Вот что получилось сделать по авторизации: public void ASendPost() { var postData = &quot;&quot;; ...

Парсинг с авторизацией в Python.
Я уже научился парсить веб-страницы с помощью Python очень неплохо получается. Вопрос такого плана на многих сайтах для доступа к нужной...

Парсинг сайта с авторизацией
Всем доброго времени суток. Необходимо пропарсить несколько страниц сайт, при этом заранее авторизировавшись. Для парсинга использую...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Новые блоги и статьи
Модель микоризы: классовый агентный подход
anaschu 02.01.2026
Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути
Programma_Boinc 01.01.2026
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Сочетание глобально распределённой вычислительной мощности и инновационных. . .
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / **********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf Пост отсюда. . .
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru