Форум программистов, компьютерный форум CyberForum.ru

Программирование Android

Войти
Регистрация
Восстановить пароль
 
 
Рейтинг: Рейтинг темы: голосов - 23, средняя оценка - 4.87
Kroshandowski
2 / 2 / 0
Регистрация: 05.04.2013
Сообщений: 234
#1

Парсинг элемента HTML страницы! - Программирование Android

12.12.2013, 23:18. Просмотров 3221. Ответов 21
Метки нет (Все метки)

Нужно спарсить погоду с главной страницы mail.ru
Если смотреть исходный код страницы,то видно где спрятано значение погоды:

Код
<span class="weather__temperature">[B]-7[/B]</span>
Код
<table class="informers informers_first" cellspacing="0"><tr><td class="informers__column informers__column_left"><a name="clb1283812" href="http://pogoda.mail.ru/" class="informers__title"><span class="informers__title__text">Погода</span></a><a class="weather clearfix" name="clb1283825" href="http://pogoda.mail.ru/prognoz/kazan/" title="снег"><span class="weather__image" style="background-image:url(//limg.imgsmail.ru/s/images/n/informers_x2/weather/1/nightsnow.png);"></span><span class="w-weather"><span class="weather__temperature">-7</span><span class="weather__forecast weather__forecast_near">,&nbsp;ночью -6</span></span><span class="w-weather"><span class="weather__forecast weather__forecast_tomorrow">завтра -2</span></span></a></td>
Так вот...нашел здесь на форуме пост про парсинг html страницы:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
package pete.android.study;
 
import java.net.URL;
 
import org.htmlcleaner.CleanerProperties;
import org.htmlcleaner.HtmlCleaner;
import org.htmlcleaner.TagNode;
 
import android.app.Activity;
import android.os.Bundle;
import android.widget.TextView;
 
public class HtmlCleanerStudyActivity extends Activity {
 
    // HTML page
    static final String BLOG_URL = "http://xjaphx.wordpress.com/";
    // XPath query
    static final String XPATH_STATS = "//div[@id='blog-stats']/ul/li";
 
    @Override
    public void onCreate(Bundle savedInstanceState) {
        // init view layout
        super.onCreate(savedInstanceState);
        setContentView(R.layout.main);
 
        // decide output
        String value = "";
        try {
            value = getBlogStats();
            ((TextView)findViewById(R.id.tv)).setText(value);
        } catch(Exception ex) {
            ((TextView)findViewById(R.id.tv)).setText("Error");
        }
    }
 
    /*
     * get blog statistics
     */
    public String getBlogStats() throws Exception {
        String stats = "";
 
        // config cleaner properties
        HtmlCleaner htmlCleaner = new HtmlCleaner();
        CleanerProperties props = htmlCleaner.getProperties();
        props.setAllowHtmlInsideAttributes(false);
        props.setAllowMultiWordAttributes(true);
        props.setRecognizeUnicodeChars(true);
        props.setOmitComments(true);
 
        // create URL object
        URL url = new URL(BLOG_URL);
        // get HTML page root node
        TagNode root = htmlCleaner.clean(url);
 
        // query XPath
        Object[] statsNode = root.evaluateXPath(XPATH_STATS);
        // process data if found any node
        if(statsNode.length > 0) {
            // I already know there's only one node, so pick index at 0.
            TagNode resultNode = (TagNode)statsNode[0];
            // get text data from HTML node
            stats = resultNode.getText().toString();
        }
 
        // return value
        return stats;
    }
}
Код работает...,но мне не понятна строка
Код
static final String XPATH_STATS = "//div[@id='blog-stats']/ul/li";
, а точнее этот кусок
Код
"//div[@id='blog-stats']/ul/li"
Вопрос...как правильно заполнить это место,основываясь на исходном коде mail.ru?

Заранее спасибо.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
12.12.2013, 23:18
Здравствуйте! Я подобрал для вас темы с ответами на вопрос Парсинг элемента HTML страницы! (Программирование Android):

Парсинг HTML страницы - Программирование Android
Здравствуйте. Передо мной стоит задача выдрать данные из страницы, (время начала занятия, название предмета, аудиторию, имя преподавателя),...

Парсинг html страницы андроид - Программирование Android
Здравствуйте. Я новичок в программировании, так что не прошу судить строго. Вот завис на одном момента. Пишу приложение, в котором...

Парсинг html - Программирование Android
как парсить html таблицу?

jsoup, парсинг html - Программирование Android
А почему не работает такой простой код? Парсинг из инета пока не трогаем... Код: package com.example.projecta; import...

Парсинг HTML странцы - Программирование Android
Ув. форумчане, подскажите, пожалуйста. Я следую мануалу, но он, к сожалению, не корректно работает. Я создал layout файл и прописал туда...

Парсинг постов со страницы +Google - Программирование Android
Всем привет, есть задача, нужно чтобы приложение отслеживало новые посты на страницы гугл+ и заносило их в базу данных или просто в файл...

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
dajver
408 / 272 / 18
Регистрация: 18.09.2010
Сообщений: 1,108
13.12.2013, 01:47 #2
Цитата Сообщение от Kroshandowski Посмотреть сообщение
Нужно спарсить погоду с главной страницы mail.ru

Код работает...,но мне не понятна строка
Код
static final String XPATH_STATS = "//div[@id='blog-stats']/ul/li";
, а точнее этот кусок
Код
"//div[@id='blog-stats']/ul/li"
Вопрос...как правильно заполнить это место,основываясь на исходном коде mail.ru?

Заранее спасибо.
Эта строка - регулярное выражение, вместо
HTML5
1
id='blog-stats'
вам нужно вставить
HTML5
1
class='weather__temperature'
и по идее должно заработать, но! советую использовать jsoup как уже готовый парсер, вот тут статья как работать http://dajver.blogspot.com/2013/11/android.html , кода меньше и головняка так же.
Kroshandowski
2 / 2 / 0
Регистрация: 05.04.2013
Сообщений: 234
13.12.2013, 03:13  [ТС] #3
dajver, все сделал как в статье но при запуске приложения ничего не появляется,а потом приложение выбивает и в логах идет следующее:

Код
ERROR/AndroidRuntime(274): FATAL EXCEPTION: AsyncTask #2
        java.lang.RuntimeException: An error occured while executing doInBackground()
        at android.os.AsyncTask$3.done(AsyncTask.java:200)
        at java.util.concurrent.FutureTask$Sync.innerSetException(FutureTask.java:273)
        at java.util.concurrent.FutureTask.setException(FutureTask.java:124)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:307)
        at java.util.concurrent.FutureTask.run(FutureTask.java:137)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1068)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:561)
        at java.lang.Thread.run(Thread.java:1096)
        Caused by: java.lang.NoSuchMethodError: java.lang.String.isEmpty
        at org.jsoup.helper.DataUtil.getCharsetFromContentType(DataUtil.java:173)
        at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:484)
        at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:424)
        at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:178)
        at org.jsoup.helper.HttpConnection.get(HttpConnection.java:167)
        at com.example.kzninformer.TrafficActivity$NewThread.doInBackground(TrafficActivity.java:51)
        at com.example.kzninformer.TrafficActivity$NewThread.doInBackground(TrafficActivity.java:40)
        at android.os.AsyncTask$2.call(AsyncTask.java:185)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:305)
        ... 4 more
Что это может быть?
Заранее спасибо.
dajver
408 / 272 / 18
Регистрация: 18.09.2010
Сообщений: 1,108
13.12.2013, 16:54 #4
Цитата Сообщение от Kroshandowski Посмотреть сообщение
dajver, все сделал как в статье но при запуске приложения ничего не появляется,а потом приложение выбивает и в логах идет следующее:

Что это может быть?
Заранее спасибо.
Код один в один скопировали или что то меняли?
Kroshandowski
2 / 2 / 0
Регистрация: 05.04.2013
Сообщений: 234
13.12.2013, 21:48  [ТС] #5
dajver, менял package на свой,MainActivity на свой и setContentView(R.layout.activity_main)

Также добавил list_item т.к. он подсвечивал красным...типа xml файла list_item не существует.
dajver
408 / 272 / 18
Регистрация: 18.09.2010
Сообщений: 1,108
14.12.2013, 01:30 #6
Цитата Сообщение от Kroshandowski Посмотреть сообщение
dajver, менял package на свой,MainActivity на свой и setContentView(R.layout.activity_main)

Также добавил list_item т.к. он подсвечивал красным...типа xml файла list_item не существует.
ну ошибка в этом
An error occured while executing doInBackground()
, возможно у вас не включен интернет в телефоне или в манифесте не прописано на доступ в интернет.
Kroshandowski
2 / 2 / 0
Регистрация: 05.04.2013
Сообщений: 234
14.12.2013, 17:03  [ТС] #7
dajver, Проверяю через AVD и в манифесте указал
Код
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.INTERNET"/>
Добавлено через 23 минуты
dajver,Я понял в чем причина!В версии android. Просто я делал на 8-ой,а потом заменил на 17-ую.
Но мне все равно нужно как-то сделать для версии 8. Вы не знаете как?
Просто у меня один телефон с 8-ой версией,а второй с 17-ой. И мне нужно чтобы это приложение шло на оба телефона.
Заранее спасибо.
dajver
408 / 272 / 18
Регистрация: 18.09.2010
Сообщений: 1,108
14.12.2013, 17:19 #8
Цитата Сообщение от Kroshandowski Посмотреть сообщение
dajver, Проверяю через AVD и в манифесте указал
Код
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.INTERNET"/>
Добавлено через 23 минуты
dajver,Я понял в чем причина!В версии android. Просто я делал на 8-ой,а потом заменил на 17-ую.
Но мне все равно нужно как-то сделать для версии 8. Вы не знаете как?
Просто у меня один телефон с 8-ой версией,а второй с 17-ой. И мне нужно чтобы это приложение шло на оба телефона.
Заранее спасибо.
делайте на 8 версии, на 17 версии запустится.
Kroshandowski
2 / 2 / 0
Регистрация: 05.04.2013
Сообщений: 234
14.12.2013, 17:22  [ТС] #9
dajver, так на 8 версии у меня приложение ошибку выкидывает,а на 17 все норм.
dajver
408 / 272 / 18
Регистрация: 18.09.2010
Сообщений: 1,108
14.12.2013, 17:59 #10
Цитата Сообщение от Kroshandowski Посмотреть сообщение
dajver, так на 8 версии у меня приложение ошибку выкидывает,а на 17 все норм.
значит андроид не 8 версии, делайте для андроида 2.2 там версия шестая кажется
Kroshandowski
2 / 2 / 0
Регистрация: 05.04.2013
Сообщений: 234
15.12.2013, 03:35  [ТС] #11
dajver, а как в данный код http://dajver.blogspot.ru/2013/11/android.html
встроить button,чтобы по нажатию открывалось другое Activity. Столько видосов и постов пересмотрел...вроде все понятно,а на деле приложение ошибки выдает или сразу выкидывает.
Делаю так,приложение выбивает. Как правильно встроить обработчик кнопки?
Заранее спасибо.

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
import android.app.Activity;
import android.os.AsyncTask;
import android.os.Bundle;
import android.widget.ArrayAdapter;
import android.widget.ListView;
import android.app.ProgressDialog;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.util.ArrayList;
import android.content.Intent;
import android.view.View;
import android.widget.Button;
import android.view.View.OnClickListener;
import android.widget.AdapterView;
 
public class MainActivity extends Activity {
 
        // благодоря этому классу мы будет разбирать данные на куски
        public Elements title;
        // то в чем будем хранить данные пока не передадим адаптеру
        public ArrayList<String> titleList = new ArrayList<String>();
        // Listview Adapter для вывода данных
        private ArrayAdapter<String> adapter;
        // List view
        private ListView lv;
        Button button1
 
        @Override
        protected void onCreate(Bundle savedInstanceState) {
 
                super.onCreate(savedInstanceState);
                setContentView(R.layout.activity_main);
 
// Типа обработчик нажатия кнопки
 
         button1 = (Button)findViewById(R.id.button1);
         button1.setOnClickListener(new OnClickListener() {
             @Override
             public void onClick(View v) {
                 Intent intent = new Intent(v.getContext(),TwoActivity.class);
                 startActivityForResult(intent,0);
 
             }
         });
 
                // определение данных
                lv = (ListView) findViewById(R.id.listView1);
                // запрос к нашему отдельному поток на выборку данных
                new NewThread().execute();
                // Добавляем данные для ListView
                adapter = new ArrayAdapter<String>(this, R.layout.list_item, R.id.product_name, titleList);
        }
 
        /** А вот и внутрений класс который делает запросы, если вы не читали статьи у меня в блоге про отдельные
         * потоки советую почитать */
        public class NewThread extends AsyncTask<String, Void, String> {
 
                // Метод выполняющий запрос в фоне, в версиях выше 4 андроида, запросы в главном потоке выполнять
                // нельзя, поэтому все что вам нужно выполнять - выносите в отдельный тред
                @Override
                protected String doInBackground(String... arg) {
 
                        // класс который захватывает страницу
                        Document doc;
                        try {
                                // определяем откуда будем воровать данные
                                doc = Jsoup.connect("http://freehabr.ru/").get();
                                // задаем с какого места, я выбрал заголовке статей
                                title = doc.select(".title");
                                // чистим наш аррей лист для того что бы заполнить
                                titleList.clear();
                                // и в цикле захватываем все данные какие есть на странице
                                for (Element titles : title) {
                                        // записываем в аррей лист
                                        titleList.add(titles.text());
                                }
                        } catch (IOException e) {
                                e.printStackTrace();
                        }
                        // ничего не возвращаем потому что я так захотел)
                        return null;
                }
 
                @Override
                protected void onPostExecute(String result) {
 
                        // после запроса обновляем листвью
                        lv.setAdapter(adapter);
                }
        }
}
dajver
408 / 272 / 18
Регистрация: 18.09.2010
Сообщений: 1,108
15.12.2013, 13:16 #12
Цитата Сообщение от Kroshandowski Посмотреть сообщение
dajver, а как в данный код http://dajver.blogspot.ru/2013/11/android.html
встроить button,чтобы по нажатию открывалось другое Activity. Столько видосов и постов пересмотрел...вроде все понятно,а на деле приложение ошибки выдает или сразу выкидывает.
Делаю так,приложение выбивает. Как правильно встроить обработчик кнопки?
Заранее спасибо.
А вы пробовали скачать пример исходников которые в самом низу туториала? Там все рабочее, пробовали его изменить? Ну а переходы между активностями ж делаются обычными интентами

Java
1
2
Intent intent = new Intent(MainActivity.this, TwoActivity.class);
    startActivity(intent);
Kroshandowski
2 / 2 / 0
Регистрация: 05.04.2013
Сообщений: 234
15.12.2013, 17:51  [ТС] #13
dajver, сам код то рабочий и у меня. Просто когда добавляю код для вызова другого Activity по нажатию на button, приложение уже не работает. Пишет: Unfortunately app has stopped.
Вот кусок рабочего кода:
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
@Override
        protected void onCreate(Bundle savedInstanceState) {
 
                super.onCreate(savedInstanceState);
                setContentView(R.layout.activity_main);
       
                // определение данных
                lv = (ListView) findViewById(R.id.listView1);
                // запрос к нашему отдельному поток на выборку данных
                new NewThread().execute();
                // Добавляем данные для ListView
                adapter = new ArrayAdapter<String>(this, R.layout.list_item, R.id.product_name, titleList);
        }
Но как только добавляю вот это:
Java
1
2
3
4
5
6
7
8
9
10
// Типа обработчик нажатия кнопки
         button1 = (Button)findViewById(R.id.button1);
         button1.setOnClickListener(new OnClickListener() {
             @Override
             public void onClick(View v) {
                 Intent intent = new Intent(v.getContext(),TwoActivity.class);
                 startActivityForResult(intent,0);
 
             }
         });
Приложение уже не работает. В каком месте должен быть этот самый обработчик?
Еще слышал про то,что второе Activity в манифесте как-то по другому прописывается.
Я просто уже не знаю в чем проблема.
Заранее спасибо.
dajver
408 / 272 / 18
Регистрация: 18.09.2010
Сообщений: 1,108
15.12.2013, 18:05 #14
Цитата Сообщение от Kroshandowski Посмотреть сообщение
dajver, сам код то рабочий и у меня. Просто когда добавляю код для вызова другого Activity по нажатию на button, приложение уже не работает. Пишет: Unfortunately app has stopped.
Вот кусок рабочего кода:


Приложение уже не работает. В каком месте должен быть этот самый обработчик?
Еще слышал про то,что второе Activity в манифесте как-то по другому прописывается.
Я просто уже не знаю в чем проблема.
Заранее спасибо.
Да в манифесте нада прописать обращение к активности, ниже первого объявления
XML
1
<activity ...></activity>
нада прописать вторую активность
XML
1
<activity android:name=".TwoActivity"></activity>
Как у меня в проекте http://data3.floomby.com/files/share...vRKWBeW1Cg.jpg

А вот так вызывать активность, смотрите на интент
Java
1
2
3
4
5
6
7
8
9
10
11
// Типа обработчик нажатия кнопки
         button1 = (Button)findViewById(R.id.button1);
         button1.setOnClickListener(new OnClickListener() {
             @Override
             public void onClick(View v) {
                 
            Intent intent = new Intent(MainActivity.this, TwoActivity.class);
            startActivity(intent);
 
             }
         });
Kroshandowski
2 / 2 / 0
Регистрация: 05.04.2013
Сообщений: 234
15.12.2013, 21:35  [ТС] #15
dajver, после какой строки вставлять этот кусок:
Java
1
2
3
4
5
6
7
8
9
10
11
// Типа обработчик нажатия кнопки
         button1 = (Button)findViewById(R.id.button1);
         button1.setOnClickListener(new OnClickListener() {
             @Override
             public void onClick(View v) {
                 
            Intent intent = new Intent(MainActivity.this, TwoActivity.class);
            startActivity(intent);
 
             }
         });
На примере вашей статьи?
Заранее спасибо.
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
15.12.2013, 21:35
Привет! Вот еще темы с ответами:

Парсинг Html после выполнения скриптов - Программирование Android
Здравствуйте! Пытаюсь разобраться с парсингом страниц из интернета, вроде бы ничего сложного. Но возникла проблема - сайт, из которого я...

Получить HTML код страницы - Программирование Android
Здравствуйте, подскажите. Реально ли стать промежуточным звеном в отображении контента в webView. Т.е при переходе по URL получить код...

Получить код HTML страницы - Программирование Android
Уважаемые гуру, подскажите чем быстрей и проще получить код HTML страницы. Обычной общедоступной, без авторизации.

Получение html кода страницы - Программирование Android
Помогите разобраться с получением html кода интернет страницы в приложении android, для последующего извлечения из неё информации.


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
Yandex
Объявления
15.12.2013, 21:35
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru