Форум программистов, компьютерный форум CyberForum.ru

Программирование Android

Войти
Регистрация
Восстановить пароль
 
Aliara
13 / 13 / 7
Регистрация: 18.06.2015
Сообщений: 68
#1

Парсинг сайта и кодировка - Программирование Android

07.04.2016, 12:40. Просмотров 220. Ответов 1
Метки нет (Все метки)

Добрый день.
Начала изучать вопрос парсинга страниц, наткнулась на тему на хабрена тему на хабре
Сделала, вроде, все правильно, но никак не могу разобраться с кодировкой страниц. Вместо русских букв получаю ромбики с вопросами. Пробовала указать кодировку UTF-8 и Windows-1251 -не помогло.
Прикладываю код классов и скрин экрана. Ради примера взята ветка этого форума.
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
import android.app.Activity;
import android.app.ProgressDialog;
import android.os.AsyncTask;
import android.os.Bundle;
import android.support.v7.app.AppCompatActivity;
import android.view.View;
import android.widget.ArrayAdapter;
import android.widget.Button;
import android.widget.ListView;
 
 
import org.htmlcleaner.TagNode;
 
import java.net.URL;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
 
public class stackParser extends Activity {
 
   /* @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_stack_parser);
    }*/
   @Override
   public void onCreate(Bundle savedInstanceState) {
       super.onCreate(savedInstanceState);
       //setContentView(R.layout.main);
       setContentView(R.layout.activity_stack_parser);
 
       
       Button button = (Button)findViewById(R.id.parse);
     
       button.setOnClickListener(myListener);
   }
 
 
    private ProgressDialog pd;
   
    private View.OnClickListener myListener = new View.OnClickListener() {
        public void onClick(View v) {
           
            pd = ProgressDialog.show(stackParser.this, "Working...", "Connect", true, false);
            
            new ParseSite().execute("http://www.cyberforum.ru/android-dev");
        }
    };
 
    private class ParseSite extends AsyncTask<String, Void, List<String>> {
        
        protected List<String> doInBackground(String... arg) {
            List<String> output = new ArrayList<String>();
            try
            {
                HtmlHelper hh = new HtmlHelper(new URL(arg[0]));
                List<TagNode> links = hh.getLinksByClass("thread_title_1703928");
 
                for (Iterator<TagNode> iterator = links.iterator(); iterator.hasNext();)
                {
                    TagNode divElement = (TagNode) iterator.next();
                    output.add(divElement.getText().toString());
                }
            }
            catch(Exception e)
            {
                e.printStackTrace();
            }
            return output;
        }
 
      
        protected void onPostExecute(List<String> output) {
           
            pd.dismiss();
           
            ListView listview = (ListView) findViewById(R.id.listViewData);
            
            listview.setAdapter(new ArrayAdapter<String>(stackParser.this,
                    android.R.layout.simple_list_item_1 , output));
        }
    }
}
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
public class HtmlHelper {
    TagNode rootNode;
 
    //Конструктор
    public HtmlHelper(URL htmlPage) throws IOException
    {
        //Создаём объект HtmlCleaner
        HtmlCleaner cleaner = new HtmlCleaner();
        //Загружаем html код сайта
        rootNode = cleaner.clean(htmlPage);
    }
 
    List<TagNode> getLinksByClass(String CSSClassname)
    {
        List<TagNode> linkList = new ArrayList<TagNode>();
 
        //Выбираем все ссылки
        TagNode linkElements[] = rootNode.getElementsByName("a", true);
        for (int i = 0; linkElements != null && i < linkElements.length; i++)
        {
            //получаем атрибут по имени
            String classType = linkElements[i].getAttributeByName("id");
            //если атрибут есть и он эквивалентен искомому, то добавляем в список
            if (classType != null && classType.equals(CSSClassname))
            {
                linkList.add(linkElements[i]);
            }
        }
 
        return linkList;
    }
}
Миниатюры
Парсинг сайта и кодировка  
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
07.04.2016, 12:40     Парсинг сайта и кодировка
Посмотрите здесь:

Парсинг сайта - Программирование Android
Здравствуйте уважаемые форумчане. Хочу спарсить расписание занятий определенной группы например Расписание группы ктбо И мне еще...

Парсинг сайта - Программирование Android
Доброго времени суток! Сегодня получил тему диплому... Немного при#%ел. Парсинг сайта ВУЗа. С чего нужно начать это дело?...

Парсинг сайта - Программирование Android
Привет всем, тут вылезла какая то не понятная фигня... Буквально вчера все работало нормально, а сегодня перестало парсить. Суть. Я...

Jsoup парсинг сайта - Программирование Android
Помогите пожалуйста. Пытаюсь получить названия книг с сайта livelib. Но он ничего не парсит. Все сайты парсит нормально а на этом не...

Парсинг изображения с сайта - Программирование Android
Здравствуйте. По практике в универе, нужно написать клиент под сайт. Я выбрал сайт, на котором 90% контента - картинки. Я только учусь...

Парсинг сайта новостей - Программирование Android
Здравствуйте, уважаемые! В приложении Android пытаюсь вывести новости с сайта новостей в ListView Новости выводятся, но без активных...

Парсинг информации с сайта - Программирование Android
Доброго времени суток, ув. форумчане, подскажите как лучше всего парсить какие-либо данные с сайта, если не известны его исходники. Мне...

Кодировка в httppost - Программирование Android
Здравствуйте, имеется такая проблема. хочу отправить файл с параметром на свой сервер делаю так: Thread myThread = new Thread(new...

Парсинг Википедии - Программирование Android
Здравствуйте. Выручайте! нужно сделать парсинг, т.е. я ввожу слово и его значение мне выдается в листвиев (Википедия). Вот мои наработки:...

Парсинг на jsoup - Программирование Android
Добрый всем день! Заминка такая, уже весь гугл перелопатил, синих ссылок в браузере не осталось. Есть пример парсинга сайта: import...

Парсинг тегов - Программирование Android
Здравствуйте. Есть html-страница, с которой я хочу парсить текст, заключенный в теги. Подскажите, как это сделать.

Парсинг+вывод - Программирование Android
Есть страница &quot;http ://meteo - liman. bl .ee/index2&quot;, необходимо её спарсить и данные вывести на экран. Парсинг: Document doc =...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
Pablito
2421 / 1866 / 583
Регистрация: 12.05.2014
Сообщений: 6,606
Завершенные тесты: 1
07.04.2016, 13:51     Парсинг сайта и кодировка #2
статье сто лет в обед
используй библиотеку JSOUP
в build.gradle подключается строкой
XML
1
compile 'org.jsoup:jsoup:1.8.3'
примеров на форуме и в сети полно
Yandex
Объявления
07.04.2016, 13:51     Парсинг сайта и кодировка
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru