Форум программистов, компьютерный форум, киберфорум
Java SE (J2SE)
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.66/29: Рейтинг темы: голосов - 29, средняя оценка - 4.66
0 / 0 / 0
Регистрация: 27.12.2014
Сообщений: 1

Парсер на Java с авторизацией

27.12.2014, 23:48. Показов 5735. Ответов 1
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Есть сайт rabota.by.
Задача - сделать парсер, который будет авторизовываться (как зарегистрированный пользователь) и парсить анкеты кандидатов.

Для начала пытаюсь решить вопрос авторизации. Указанный ниже код не работает (с точки зрения авторизации). Такой вывод можно сделать по результатам проверки ссылок: присутствуют ссылки типа "Регистрация" и "Забыли пароль".

Помогите, плиз, найти ошибку...

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
 
public class TestRabotabyCont3 {
    public static void main(String[] args) throws IOException {
        
    Document doc= Jsoup.connect ("http://rabota.by/login/")
            .data("aai_login", "coachingbel@gmail.com")
            .data("aai_password", "11223344")
            .url("http://rabota.by/resume/view/301159/")
            .post();
                
    String title = doc.title();
    System.out.println(title);
    
    Elements links = doc.select("a[href]");
    System.out.println("Ссылки - "+links.size());
        
        for (Element link : links) {
              System.out.println("\nlink : " + link.attr("href"));
          System.out.println("text : " + link.text());
    
        }
}
}
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
27.12.2014, 23:48
Ответы с готовыми решениями:

Парсер с авторизацией
Всем привет. В общем есть сервис мониторинга. Мне что бы каждый раз не заходить туда нужен виджет на рабочий стол, я решил вывести его...

Парсер с авторизацией
Здравствуйте. ВОзникла такая необходимость: Нужно парсить инфу с одно сайта(и всего 1 страничку определенную с инфой для обновления...

Java Агент. Post Запрос С Авторизацией
Есть Java агент, который по REST API создает POST запрос. .SpoilerTarget">Спойлер: Раскрывающийся Текст Код (Java): static...

1
Эксперт Java
 Аватар для KEKCoGEN
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
28.12.2014, 01:29
Viktar, непонятно откуда вы взяли такие ключи для логина и пароля. Авторизация проходит в два этапа. Сначала нужно зайти на сайт самому и поймать какой точно запрос уходит из браузера. Затем послать тот же запрос из кода, получить авторизованные куки и пользоваться ими во всех остальных запросах.

Вот код, позволяющий пройти авторизацию и получить куки.
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
private static void authorize() throws Exception {
        
        HttpClient httpclient = HttpClients.createDefault();
        HttpPost httppost = new HttpPost("http://rabota.by/login/");
        List<NameValuePair> params = new ArrayList<NameValuePair>(2);
        
        params.add(new BasicNameValuePair("login[login]", "coachingbel@gmail.com"));
        params.add(new BasicNameValuePair("login[password]", "11223344"));
        params.add(new BasicNameValuePair("login[type]", ""));
        httppost.setEntity(new UrlEncodedFormEntity(params, "UTF-8"));
        
        HttpResponse response = httpclient.execute(httppost);
        HttpEntity entity = response.getEntity();
        
        Header[] resrHeaders = response.getHeaders("Set-Cookie");
        for (Header h : resrHeaders) {
            System.out.println(h.getValue().toString());  
        }
 
    }
Добавлено через 1 минуту
Код использует библиотеку org.apache.httpcomponents

http://mvnrepository.com/artif... ient/4.3.5
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
28.12.2014, 01:29
Помогаю со студенческими работами здесь

Парсер на Java
Здравствуйте, как сделать парсер на JS Он должен выполнять следующие функции: 1. Заходить на определённый сайт 2. Спарсить по...

Java парсер
Как получить action Из этой строки ??? &lt;form method=&quot;POST&quot;...

Парсер Java кода
Всем привет! Подскажите какой нибудь инструмент для парсинга Java кода. Задача следующая: Статический анализ java кода на наличие...

Парсер html на java
Пытаюсь написать парсер html. Подсматриваю на другом сайте (del) Согласно данному источнику у меня в импорте должны быть строчки: ...

Парсер математических функций на java
Всех приветствую. Я хочу написать программу под android на java для работы с математическими функциями,но самое сложное,это написать...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru