Форум программистов, компьютерный форум CyberForum.ru

Программирование Android

Войти
Регистрация
Восстановить пароль
 
Alexvsalex
7 / 7 / 4
Регистрация: 22.04.2015
Сообщений: 78
#1

Парсинг Html после выполнения скриптов - Программирование Android

27.08.2015, 11:35. Просмотров 301. Ответов 6
Метки нет (Все метки)

Здравствуйте!
Пытаюсь разобраться с парсингом страниц из интернета, вроде бы ничего сложного. Но возникла проблема - сайт, из которого я пытаюсь вытащить информацию, заполняется через пару секунд после открытия страницы, т.е. в исходном коде нужных данных нет.
Пользуюсь JSoup.
Код класса:
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
private class NewThread extends AsyncTask<String, Void, String> {
 
        @Override
        protected String doInBackground(String... arg) {
 
            Elements title;
            Document doc;
            try {
                
                doc = Jsoup.connect("http://www.stratege.ru/xbox360/games#args:ajax=1").get();
 
                title = doc.select("div.platformDate_TPL_games");
 
                for (Element titles : title) {
 
                    date.add(titles.text().split(" — ")[1]);
                }
 
                title = doc.select("a.titleGamesTable");
 
                for (Element titles : title) {
 
                    name.add(titles.text());
                }
 
                title = doc.select("div.description_TPL_games");
 
                for (Element titles : title) {
 
                    desc.add(titles.text());
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
 
            return null;
        }
    }
Как мне получить исходный код после генерации данных?
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
27.08.2015, 11:35     Парсинг Html после выполнения скриптов
Посмотрите здесь:

Парсинг html - Программирование Android
как парсить html таблицу?

Парсинг HTML странцы - Программирование Android
Ув. форумчане, подскажите, пожалуйста. Я следую мануалу, но он, к сожалению, не корректно работает. Я создал layout файл и прописал туда...

Парсинг HTML страницы - Программирование Android
Здравствуйте. Передо мной стоит задача выдрать данные из страницы, (время начала занятия, название предмета, аудиторию, имя преподавателя),...

Thread после выполнения закрывается? - Программирование Android
Добрый день!) подскажите такую штуку. есть поток Thread ProcessThread = new Thread(new Runnable() { @Override ...

Парсинг Википедии - Программирование Android
Здравствуйте. Выручайте! нужно сделать парсинг, т.е. я ввожу слово и его значение мне выдается в листвиев (Википедия). Вот мои наработки:...

Парсинг строки - Программирование Android
У меня есть строка вида {el1=val1,el2=val2...eln=valn} Как её распарсить таким образом, что бы в арайлист занести только...

После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
Rube
911 / 559 / 88
Регистрация: 13.02.2014
Сообщений: 2,070
27.08.2015, 20:51     Парсинг Html после выполнения скриптов #2
Так не пойдет?
Java
1
doc = Jsoup.connect("http://www.stratege.ru/xbox360/games#args:ajax=1").timeout(10000).get();
Alexvsalex
7 / 7 / 4
Регистрация: 22.04.2015
Сообщений: 78
28.08.2015, 08:39  [ТС]     Парсинг Html после выполнения скриптов #3
Нет, не получается. Полученный код такой же - без нужной таблицы.
Мне кажется Jsoup для статичных сайтов, а моя цель парсить динамичный.
Pablito
2453 / 1898 / 590
Регистрация: 12.05.2014
Сообщений: 6,700
Завершенные тесты: 1
28.08.2015, 08:45     Парсинг Html после выполнения скриптов #4
Цитата Сообщение от Alexvsalex Посмотреть сообщение
без нужной таблицы
какой?
Alexvsalex
7 / 7 / 4
Регистрация: 22.04.2015
Сообщений: 78
28.08.2015, 08:59  [ТС]     Парсинг Html после выполнения скриптов #5
Если откроете сайт, то там написано - "Подождите, идет загрузка...", после появляется список, мне нужно из этого списка доставать данные.
Rube
911 / 559 / 88
Регистрация: 13.02.2014
Сообщений: 2,070
28.08.2015, 10:09     Парсинг Html после выполнения скриптов #6
Проверяйте в цикле нужный текст пока не появится.
Pablito
28.08.2015, 10:13     Парсинг Html после выполнения скриптов
  #7

Не по теме:

это выше моих способностей на данный момент
я уже попробовал HTMLUnit и Jsoup
почти уверен что первым можно сделать, но я его знаю на уровне "привет мир"

Yandex
Объявления
28.08.2015, 10:13     Парсинг Html после выполнения скриптов
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru