Форум программистов, компьютерный форум CyberForum.ru

Парсинг сайта и кодировка - Android

Восстановить пароль Регистрация
 
Aliara
 Аватар для Aliara
13 / 13 / 7
Регистрация: 18.06.2015
Сообщений: 68
07.04.2016, 12:40     Парсинг сайта и кодировка #1
Добрый день.
Начала изучать вопрос парсинга страниц, наткнулась на тему на хабрена тему на хабре
Сделала, вроде, все правильно, но никак не могу разобраться с кодировкой страниц. Вместо русских букв получаю ромбики с вопросами. Пробовала указать кодировку UTF-8 и Windows-1251 -не помогло.
Прикладываю код классов и скрин экрана. Ради примера взята ветка этого форума.
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
import android.app.Activity;
import android.app.ProgressDialog;
import android.os.AsyncTask;
import android.os.Bundle;
import android.support.v7.app.AppCompatActivity;
import android.view.View;
import android.widget.ArrayAdapter;
import android.widget.Button;
import android.widget.ListView;
 
 
import org.htmlcleaner.TagNode;
 
import java.net.URL;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
 
public class stackParser extends Activity {
 
   /* @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_stack_parser);
    }*/
   @Override
   public void onCreate(Bundle savedInstanceState) {
       super.onCreate(savedInstanceState);
       //setContentView(R.layout.main);
       setContentView(R.layout.activity_stack_parser);
 
       
       Button button = (Button)findViewById(R.id.parse);
     
       button.setOnClickListener(myListener);
   }
 
 
    private ProgressDialog pd;
   
    private View.OnClickListener myListener = new View.OnClickListener() {
        public void onClick(View v) {
           
            pd = ProgressDialog.show(stackParser.this, "Working...", "Connect", true, false);
            
            new ParseSite().execute("http://www.cyberforum.ru/android-dev");
        }
    };
 
    private class ParseSite extends AsyncTask<String, Void, List<String>> {
        
        protected List<String> doInBackground(String... arg) {
            List<String> output = new ArrayList<String>();
            try
            {
                HtmlHelper hh = new HtmlHelper(new URL(arg[0]));
                List<TagNode> links = hh.getLinksByClass("thread_title_1703928");
 
                for (Iterator<TagNode> iterator = links.iterator(); iterator.hasNext();)
                {
                    TagNode divElement = (TagNode) iterator.next();
                    output.add(divElement.getText().toString());
                }
            }
            catch(Exception e)
            {
                e.printStackTrace();
            }
            return output;
        }
 
      
        protected void onPostExecute(List<String> output) {
           
            pd.dismiss();
           
            ListView listview = (ListView) findViewById(R.id.listViewData);
            
            listview.setAdapter(new ArrayAdapter<String>(stackParser.this,
                    android.R.layout.simple_list_item_1 , output));
        }
    }
}
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
public class HtmlHelper {
    TagNode rootNode;
 
    //Конструктор
    public HtmlHelper(URL htmlPage) throws IOException
    {
        //Создаём объект HtmlCleaner
        HtmlCleaner cleaner = new HtmlCleaner();
        //Загружаем html код сайта
        rootNode = cleaner.clean(htmlPage);
    }
 
    List<TagNode> getLinksByClass(String CSSClassname)
    {
        List<TagNode> linkList = new ArrayList<TagNode>();
 
        //Выбираем все ссылки
        TagNode linkElements[] = rootNode.getElementsByName("a", true);
        for (int i = 0; linkElements != null && i < linkElements.length; i++)
        {
            //получаем атрибут по имени
            String classType = linkElements[i].getAttributeByName("id");
            //если атрибут есть и он эквивалентен искомому, то добавляем в список
            if (classType != null && classType.equals(CSSClassname))
            {
                linkList.add(linkElements[i]);
            }
        }
 
        return linkList;
    }
}
Миниатюры
Парсинг сайта и кодировка  
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
07.04.2016, 12:40     Парсинг сайта и кодировка
Посмотрите здесь:

Android Кодировка в WebView
Android Парсинг сайта новостей
Android Парсинг XML
Android Парсинг тегов
Android Кодировка в httppost
Парсинг изображения с сайта Android
Android Парсинг информации с сайта
Парсинг сайта Android
Парсинг XML Android
Парсинг сайта Android
Jsoup парсинг сайта Android
Парсинг строки Android

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
Паблито
не спать!
1874 / 1608 / 496
Регистрация: 12.05.2014
Сообщений: 5,810
Завершенные тесты: 1
07.04.2016, 13:51     Парсинг сайта и кодировка #2
статье сто лет в обед
используй библиотеку JSOUP
в build.gradle подключается строкой
XML
1
compile 'org.jsoup:jsoup:1.8.3'
примеров на форуме и в сети полно
Yandex
Объявления
07.04.2016, 13:51     Парсинг сайта и кодировка
Ответ Создать тему
Опции темы

Текущее время: 22:41. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru