Аватар для Aliara
18 / 18 / 13
Регистрация: 18.06.2015
Сообщений: 79

Парсинг сайта и кодировка

07.04.2016, 12:40. Показов 1062. Ответов 1
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый день.
Начала изучать вопрос парсинга страниц, наткнулась на тему на хабрена тему на хабре
Сделала, вроде, все правильно, но никак не могу разобраться с кодировкой страниц. Вместо русских букв получаю ромбики с вопросами. Пробовала указать кодировку UTF-8 и Windows-1251 -не помогло.
Прикладываю код классов и скрин экрана. Ради примера взята ветка этого форума.
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
import android.app.Activity;
import android.app.ProgressDialog;
import android.os.AsyncTask;
import android.os.Bundle;
import android.support.v7.app.AppCompatActivity;
import android.view.View;
import android.widget.ArrayAdapter;
import android.widget.Button;
import android.widget.ListView;
 
 
import org.htmlcleaner.TagNode;
 
import java.net.URL;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
 
public class stackParser extends Activity {
 
   /* @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_stack_parser);
    }*/
   @Override
   public void onCreate(Bundle savedInstanceState) {
       super.onCreate(savedInstanceState);
       //setContentView(R.layout.main);
       setContentView(R.layout.activity_stack_parser);
 
       
       Button button = (Button)findViewById(R.id.parse);
     
       button.setOnClickListener(myListener);
   }
 
 
    private ProgressDialog pd;
   
    private View.OnClickListener myListener = new View.OnClickListener() {
        public void onClick(View v) {
           
            pd = ProgressDialog.show(stackParser.this, "Working...", "Connect", true, false);
            
            new ParseSite().execute("https://www.cyberforum.ru/android-dev");
        }
    };
 
    private class ParseSite extends AsyncTask<String, Void, List<String>> {
        
        protected List<String> doInBackground(String... arg) {
            List<String> output = new ArrayList<String>();
            try
            {
                HtmlHelper hh = new HtmlHelper(new URL(arg[0]));
                List<TagNode> links = hh.getLinksByClass("thread_title_1703928");
 
                for (Iterator<TagNode> iterator = links.iterator(); iterator.hasNext();)
                {
                    TagNode divElement = (TagNode) iterator.next();
                    output.add(divElement.getText().toString());
                }
            }
            catch(Exception e)
            {
                e.printStackTrace();
            }
            return output;
        }
 
      
        protected void onPostExecute(List<String> output) {
           
            pd.dismiss();
           
            ListView listview = (ListView) findViewById(R.id.listViewData);
            
            listview.setAdapter(new ArrayAdapter<String>(stackParser.this,
                    android.R.layout.simple_list_item_1 , output));
        }
    }
}
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
public class HtmlHelper {
    TagNode rootNode;
 
    //Конструктор
    public HtmlHelper(URL htmlPage) throws IOException
    {
        //Создаём объект HtmlCleaner
        HtmlCleaner cleaner = new HtmlCleaner();
        //Загружаем html код сайта
        rootNode = cleaner.clean(htmlPage);
    }
 
    List<TagNode> getLinksByClass(String CSSClassname)
    {
        List<TagNode> linkList = new ArrayList<TagNode>();
 
        //Выбираем все ссылки
        TagNode linkElements[] = rootNode.getElementsByName("a", true);
        for (int i = 0; linkElements != null && i < linkElements.length; i++)
        {
            //получаем атрибут по имени
            String classType = linkElements[i].getAttributeByName("id");
            //если атрибут есть и он эквивалентен искомому, то добавляем в список
            if (classType != null && classType.equals(CSSClassname))
            {
                linkList.add(linkElements[i]);
            }
        }
 
        return linkList;
    }
}
Миниатюры
Парсинг сайта и кодировка  
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
07.04.2016, 12:40
Ответы с готовыми решениями:

Парсинг XML и кодировка
Доброго времени суток. Ребята подскажите. Делаю парсинг XML, все хорошо работает но вот когда запускаю на андроид не хочет правильно...

Парсинг данных с сайта или страницы сайта
Здравствуйте, добрые люди! Есть задача спарсить данные с страницы соц сети. Или просто со страницы с помощью js. На пхп не предлагать....

Кодировка сайта
Здравствуйте. У меня сайт на windows-1251. Недавно мой знакомый кодер сказал что это тупо и глупо, что надо переходить на UTF. С тех...

1
2884 / 2296 / 769
Регистрация: 12.05.2014
Сообщений: 7,978
07.04.2016, 13:51
статье сто лет в обед
используй библиотеку JSOUP
в build.gradle подключается строкой
XML
1
compile 'org.jsoup:jsoup:1.8.3'
примеров на форуме и в сети полно
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
07.04.2016, 13:51
Помогаю со студенческими работами здесь

Кодировка сайта
Вопрос, какая кодировка сайта больше всего &quot;нравиться&quot; поисковикам, и какая лучше всего читается большинством браузеров, нет нет да и...

Кодировка сайта
Помогите пожалуйста, Как сделать так, что кодировка сайта во всех браузерах отображался нормально, а не балаберда(вопросики иероглифы какие...

Кодировка сайта
Проблема в том что ,титлы сайта в символах ,а сам сайт норм ,меняю на другую кодировку ,титлы стоют на нормальном языке,сайт в символах . ...

Кодировка сайта
Здраствуйте всем. Редактировав html страницу столкнулся с проблемой. Назвав разделы сайта Главная, Новости и т.д. на сайт не хочет...

Кодировка сайта
Ребята помогите уже не знаю что делать кодировка (.никод(UTF-8) стоит но иероглифы одни что еще можете посоветовать..


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

Новые блоги и статьи
Отчёт о затраченных материалах за определенный период с макетом печатной формы
Maks 21.04.2026
Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .
Отчёт о спецтехнике находящейся в ремонте
Maks 20.04.2026
Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .
Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)"
Hrethgir 19.04.2026
Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .
Запрет удаления строк ТЧ документа при определённом условии
Maks 19.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов
alhaos 17.04.2026
Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .
Мысли в слух. Про "навсегда".
kumehtar 16.04.2026
Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .
My Business CRM
MaGz GoLd 16.04.2026
Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .
Знаешь почему 90% людей редко бывают счастливыми?
kumehtar 14.04.2026
Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru