Форум программистов, компьютерный форум, киберфорум
Java EE (J2EE)
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.55/11: Рейтинг темы: голосов - 11, средняя оценка - 4.55
0 / 0 / 0
Регистрация: 18.04.2016
Сообщений: 75

Jsoup Полная загрузка страницы

31.07.2019, 21:01. Показов 2122. Ответов 1
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Доброго времени суток, проблема следующая: делаю парсер, необходимо загрузить полную страницу, к примеру используется страница "Участники группы ВК" нужно спарсить имена и ссылки на их страницы, как я понимаю, на странице используется AJAX запросы, из-за этого я не могу спарсить всех сразу. Использовал selenium webdriver, но видимо не разобрался с ним до конца, подскажите как загрузить полную страницу.
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
public static void main(String[] args) throws IOException, InterruptedException {
        System.setProperty("webdriver.chrome.driver","/Users/admin/Downloads/chromedriver.exe");
        ChromeDriver driver = new ChromeDriver();
 
        List<Article> articlelist = new ArrayList<>(); // Для данных
 
        String link = "https://m.vk.com/search?c[section]=people&c[group]=184230824";
        driver.get("https://vk.com/search?c[section]=people&c[group]=184230824");
 
        Document doc = Jsoup.parse(driver.getPageSource());// Пытался получить полную страницу
        //Document doc = Jsoup.connect(link).get();
        
        // Далее идет сбор данных 
        Elements start = doc.getElementsByAttributeValue("id", "results");
        Elements search = start.select("div[class=people_row search_row clear_fix]");
        String name, url;
        int i=1;
        for (Element usr:search
        ) {
            Element label = usr.select("a").first();
            name = usr.select("div[class=labeled name]").text();
            url = label.attr("abs:href");
            articlelist.add(new Article(name, url, i));
            i++;
        }
        articlelist.forEach(System.out::println);
    }
Видел делали с помощью явных ожиданий селениума, пробовал, страница все равно не скролилась, опять же не уверен в правильности своих действий
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
31.07.2019, 21:01
Ответы с готовыми решениями:

HTTP Status 500 - java.lang.NoClassDefFoundError: org/jsoup/Jsoup
Добавил библиотеку в pom, все нормально импортируется. Но в рантайме кидает ошибку: &quot;Handler processing failed; nested exception is...

Полная загрузка страницы
Всем доброго дня, возникла проблема(сомневаюсь что в разделе jquery мне помогут, поэтому описываю здесь), мне нужно получить высоту блока,...

Полная загрузка страницы
&lt;?php // создание нового ресурса cURL $ch = curl_init(); // установка URL и других необходимых параметров curl_setopt($ch,...

1
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7391 / 4818 / 1246
Регистрация: 30.03.2015
Сообщений: 13,693
Записей в блоге: 29
01.08.2019, 06:14
Aztek102, если уж ты взялся за селениум, то зачем жсоуп? надо или то или это выбирать, селениум и сам парсить может.
если участники группы не сразу все подгружаются, а только при скролле (а я думаю что это именно так), то придется или искать запрос к апи ВК для получения этих данных или скроллить методами вебдрайвера и подтягивать все новых юзеров вот и все.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
01.08.2019, 06:14
Помогаю со студенческими работами здесь

Полная загрузка страницы в WebBrowser
Какое событие выполняется при полной загрузке страницы в WebBrowser?

Полная загрузка ОП
Всем здравствуйте! Такая проблема: стоит WIN8 pro, стартует быстро, после загрузки оперативка загружена на 25%. И постепенно загрузка ОП...

TWebBrowser полная загрузка
Имеется компонент TWebBrowser, который грузит с диска большое дерево на html и JavaScript. При первом запуске программы наблюдается...

Беспричинная полная загрузка процессора
Здравствуйте. Сегодня утром обнаружилась проблема (вчера до обеда все было ок). При включении компьютера обнаруживается, что работает...

WebBrowser и JavaScript - полная загрузка
Обычный .NET (не ASP, Form - консоль). Нужно парсить страницы в WebBrowser (или другим компонентом). Часть контента генерируется скриптом....


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек SDL3 и Box2D из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия SDL 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual. . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru