Форум программистов, компьютерный форум CyberForum.ru
Наши страницы

Программирование Android

Войти
Регистрация
Восстановить пароль
 
Alexvsalex
7 / 7 / 4
Регистрация: 22.04.2015
Сообщений: 83
#1

Парсинг Html после выполнения скриптов - Программирование Android

27.08.2015, 11:35. Просмотров 310. Ответов 6
Метки нет (Все метки)

Здравствуйте!
Пытаюсь разобраться с парсингом страниц из интернета, вроде бы ничего сложного. Но возникла проблема - сайт, из которого я пытаюсь вытащить информацию, заполняется через пару секунд после открытия страницы, т.е. в исходном коде нужных данных нет.
Пользуюсь JSoup.
Код класса:
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
private class NewThread extends AsyncTask<String, Void, String> {
 
        @Override
        protected String doInBackground(String... arg) {
 
            Elements title;
            Document doc;
            try {
                
                doc = Jsoup.connect("http://www.stratege.ru/xbox360/games#args:ajax=1").get();
 
                title = doc.select("div.platformDate_TPL_games");
 
                for (Element titles : title) {
 
                    date.add(titles.text().split(" — ")[1]);
                }
 
                title = doc.select("a.titleGamesTable");
 
                for (Element titles : title) {
 
                    name.add(titles.text());
                }
 
                title = doc.select("div.description_TPL_games");
 
                for (Element titles : title) {
 
                    desc.add(titles.text());
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
 
            return null;
        }
    }
Как мне получить исходный код после генерации данных?
0
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
27.08.2015, 11:35
Здравствуйте! Я подобрал для вас темы с ответами на вопрос Парсинг Html после выполнения скриптов (Программирование Android):

Парсинг html - Программирование Android
как парсить html таблицу?

Парсинг HTML странцы - Программирование Android
Ув. форумчане, подскажите, пожалуйста. Я следую мануалу, но он, к сожалению, не корректно работает. Я создал layout файл и прописал туда...

Парсинг HTML страницы - Программирование Android
Здравствуйте. Передо мной стоит задача выдрать данные из страницы, (время начала занятия, название предмета, аудиторию, имя преподавателя),...

jsoup, парсинг html - Программирование Android
А почему не работает такой простой код? Парсинг из инета пока не трогаем... Код: package com.example.projecta; import...

Парсинг html страницы андроид - Программирование Android
Здравствуйте. Я новичок в программировании, так что не прошу судить строго. Вот завис на одном момента. Пишу приложение, в котором...

Парсинг элемента HTML страницы! - Программирование Android
Нужно спарсить погоду с главной страницы mail.ru Если смотреть исходный код страницы,то видно где спрятано значение погоды: &lt;span...

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Rube
911 / 559 / 88
Регистрация: 13.02.2014
Сообщений: 2,071
27.08.2015, 20:51 #2
Так не пойдет?
Java
1
doc = Jsoup.connect("http://www.stratege.ru/xbox360/games#args:ajax=1").timeout(10000).get();
1
Alexvsalex
7 / 7 / 4
Регистрация: 22.04.2015
Сообщений: 83
28.08.2015, 08:39  [ТС] #3
Нет, не получается. Полученный код такой же - без нужной таблицы.
Мне кажется Jsoup для статичных сайтов, а моя цель парсить динамичный.
0
Pablito
2494 / 1939 / 605
Регистрация: 12.05.2014
Сообщений: 6,801
Завершенные тесты: 1
28.08.2015, 08:45 #4
Цитата Сообщение от Alexvsalex Посмотреть сообщение
без нужной таблицы
какой?
0
Alexvsalex
7 / 7 / 4
Регистрация: 22.04.2015
Сообщений: 83
28.08.2015, 08:59  [ТС] #5
Если откроете сайт, то там написано - "Подождите, идет загрузка...", после появляется список, мне нужно из этого списка доставать данные.
0
Rube
911 / 559 / 88
Регистрация: 13.02.2014
Сообщений: 2,071
28.08.2015, 10:09 #6
Проверяйте в цикле нужный текст пока не появится.
0
Pablito
28.08.2015, 10:13     Парсинг Html после выполнения скриптов
  #7

Не по теме:

это выше моих способностей на данный момент
я уже попробовал HTMLUnit и Jsoup
почти уверен что первым можно сделать, но я его знаю на уровне "привет мир"

0
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
28.08.2015, 10:13
Привет! Вот еще темы с ответами:

Thread после выполнения закрывается? - Программирование Android
Добрый день!) подскажите такую штуку. есть поток Thread ProcessThread = new Thread(new Runnable() { @Override ...

Выполнить скрипт после выполнения остальных скриптов страницы - jQuery
Есть некий скрипт, который выполняется после загрузки документа $(document).ready() Но на странице таких скриптов несколько(...

.NET 4.x Парсинг сайта после выполнения js - C#
Здравствуйте, есть сайт в котором котором изначально происходит загрузка страницы, а потом с помощью js загружаютсся данные в виде таблицы...

.NET 4.x Парсинг html после полной загрузки страницы - Visual Basic .NET
Здравствуйте Как прописать задержку, чтобы сайт прогрузился полностью, что-то вроде WebBrowser1_DocumentCompleted Imports System.Net ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
Yandex
Объявления
28.08.2015, 10:13
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru