Форум программистов, компьютерный форум, киберфорум
Программирование Android
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.57/7: Рейтинг темы: голосов - 7, средняя оценка - 4.57
0 / 0 / 0
Регистрация: 03.04.2016
Сообщений: 69

Парсинг данных с сайта

02.03.2019, 19:09. Показов 1453. Ответов 4
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет, хочу сделать парсинг новостей с сайта, с использованием jsoup. Информация парсится, но парсится всё а не только ссылка и описание новостей. Новости лежат в отдельном классе, а в него включены ссылки. Html код класса 1 новости ниже в картинке.
Вот код с явы:
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
public class MainActivity extends Activity {
    private TextView textView;
    private ListView listView;
 
    @Override
    protected void onCreate(Bundle savedInstanceState) {
 
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        listView=(ListView)findViewById(R.id.listView1);
        textView=(TextView)findViewById(R.id.textView);
        ParseTitle parseTitle = new ParseTitle();
        parseTitle.execute();
        try {
            final HashMap<String,String> hashMap = parseTitle.get();
            final ArrayList<String> arrayList = new ArrayList<>();
            for(Map.Entry entry : hashMap.entrySet()){
                arrayList.add(entry.getKey().toString());
            }
            ArrayAdapter<String> arrayAdapter = new ArrayAdapter<String>(MainActivity.this, android.R.layout.simple_list_item_1, arrayList);
            listView.setAdapter(arrayAdapter);
            listView.setOnItemClickListener(new AdapterView.OnItemClickListener() {
                @Override
                public void onItemClick(AdapterView<?> parent, View view, int position, long id) {
                    ParseText parseText = new ParseText();
                    parseText.execute(hashMap.get(arrayList.get(position)));
                    try {
                        listView.setVisibility(View.GONE);
                        textView.setText(parseText.get());
                    } catch (ExecutionException e) {
                        e.printStackTrace();
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                }
 
            });
        } catch (ExecutionException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
 
    }
    @Override
    public void onBackPressed(){
        listView.setVisibility(View.VISIBLE);
        textView.setVisibility(View.GONE);
    }
 
 
    class ParseText extends AsyncTask<String,Void,String>{
 
        @Override
        protected String doInBackground(String... strings) {
            String str = " ";
            try {
                Document document = Jsoup.connect(strings[0]).get();
                Elements elements = document.select(".desc");
            }catch (IOException e){
                e.printStackTrace();
            }
 
            return str;
 
        }
    }
 class ParseTitle extends AsyncTask<Void, Void, HashMap<String,String>>{
 
     @Override
     protected HashMap<String, String> doInBackground(Void... voids) {
         HashMap<String, String> hashMap=new HashMap<>();
         try {
             Document document = Jsoup.connect("http://ktits.ru").get();
             Elements elements = document.select(".news");
             for(Element element:elements) {
             Elements elements1 = element.select(".title");
             hashMap.put(element.text(), elements1.attr("abs:href"));
 
 
             }
 
         } catch (IOException e) {
             e.printStackTrace();
         }
         return hashMap;
     }
 }
 
 
 
}
Проблема в том что он всё равно выводит всё сплошным потоком текста. Там не только заголовок новости, но и весь её текст в придачу. Были мысли конкретнее указывать на класс но не знаю куда копать.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
02.03.2019, 19:09
Ответы с готовыми решениями:

Парсинг данных с сайта или страницы сайта
Здравствуйте, добрые люди! Есть задача спарсить данные с страницы соц сети. Или просто со страницы с помощью js. На пхп не предлагать....

Парсинг данных с сайта
Добрый вечер, есть проблема : Мне надо парсить количество поставленных денег на каждую из команд на на данном сайте (del). Дело в...

Парсинг данных с сайта
Работаю с HTML Agility Pack. Нужно считать данные с таблицы сайта. public Form1() { string url =...

4
0 / 0 / 0
Регистрация: 03.04.2016
Сообщений: 69
02.03.2019, 19:10  [ТС]
Вот картинка. С самого верху, с класса news.
Миниатюры
Парсинг данных с сайта  
0
0 / 0 / 0
Регистрация: 03.04.2016
Сообщений: 69
02.03.2019, 23:00  [ТС]
Вообщем нужно чтобы выводилась только описание, а на неё подвешивалась ссылка. То есть я указываю на контейнер news, а потом беру только описание новостей. Описание новостей находится в контейнере title. А контейнер title в теге a ссылке.
0
0 / 0 / 0
Регистрация: 03.04.2016
Сообщений: 69
03.03.2019, 14:19  [ТС]
В общем, с выводом только описания я разобрался, теперь проблема в том что при нажатии на эту ссылку. Открывает просто пустое окно, либо крашится приложение. А так же вывод происходит не по порядку...
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
class ParseText extends AsyncTask<String,Void,String>{
 
        @Override
        protected String doInBackground(String... strings) {
            String str = "";
            try {
                Document document = Jsoup.connect("http://ktits.ru/").get();
                Elements elements = document.select("desc");
               // Log.i(str,"fgds");
            }catch (IOException e){
                e.printStackTrace();
            }
 
            return str;
 
        }
    }
 class ParseTitle extends AsyncTask<Void, Void, HashMap<String,String>>
 {
 
     @Override
     protected HashMap<String, String> doInBackground(Void... voids) {
         HashMap<String, String> hashMap=new HashMap<>();
         try {
             Document document = Jsoup.connect("http://ktits.ru").get();
             Elements elements = document.select("div[class=news]").get(0).getElementsByTag("a");
             for(Element element:elements) {
                 hashMap.put(element.getElementsByClass("title").text(), element.attr("href"));
            }
 
         } catch (IOException e) {
             e.printStackTrace();
         }
         return hashMap;
     }
 }
Добавлено через 3 часа 1 минуту
Вот логи ошибки при нажатии на ссылку:
--------- beginning of crash
03-03 14:16:44.732 6555-6761/com.example.myapplication E/AndroidRuntime: FATAL EXCEPTION: AsyncTask #2
Process: com.example.myapplication, PID: 6555
java.lang.RuntimeException: An error occured while executing doInBackground()
at android.os.AsyncTask$3.done(AsyncTask.ja va:300)
at java.util.concurrent.FutureTask.finishCo mpletion(FutureTask.java:355)
at java.util.concurrent.FutureTask.setExcep tion(FutureTask.java:222)
at java.util.concurrent.FutureTask.run(Futu reTask.java:242)
at android.os.AsyncTask$SerialExecutor$1.ru n(AsyncTask.java:231)
at java.util.concurrent.ThreadPoolExecutor. runWorker(ThreadPoolExecutor.java:1112)
at java.util.concurrent.ThreadPoolExecutor$ Worker.run(ThreadPoolExecutor.java:587)
at java.lang.Thread.run(Thread.java:818)
Caused by: java.lang.IllegalArgumentException: Malformed URL: news/v-gapou-laquomck-ktitsraquo-sostoyalasy-viktorina-laquoistoriya-razvitiya-tatarskogo-narodaraquo
at org.jsoup.helper.HttpConnection.url(Http Connection.java:136)
at org.jsoup.helper.HttpConnection.connect( HttpConnection.java:76)
at org.jsoup.Jsoup.connect(Jsoup.java:73)
at com.example.myapplication.MainActivity$P arseText.doInBackground(MainActivity.jav a:79)
at com.example.myapplication.MainActivity$P arseText.doInBackground(MainActivity.jav a:73)
at android.os.AsyncTask$2.call(AsyncTask.ja va:288)
at java.util.concurrent.FutureTask.run(Futu reTask.java:237)
at android.os.AsyncTask$SerialExecutor$1.ru n(AsyncTask.java:231)*
at java.util.concurrent.ThreadPoolExecutor. runWorker(ThreadPoolExecutor.java:1112)*
at java.util.concurrent.ThreadPoolExecutor$ Worker.run(ThreadPoolExecutor.java:587)*
at java.lang.Thread.run(Thread.java:818)*
Caused by: java.net.MalformedURLException: Protocol not found: news/v-gapou-laquomck-ktitsraquo-sostoyalasy-viktorina-laquoistoriya-razvitiya-tatarskogo-narodaraquo
at java.net.URL.<init>(URL.java:176)
at java.net.URL.<init>(URL.java:125)
at org.jsoup.helper.HttpConnection.url(Http Connection.java:134)
at org.jsoup.helper.HttpConnection.connect( HttpConnection.java:76)*
at org.jsoup.Jsoup.connect(Jsoup.java:73)*
at com.example.myapplication.MainActivity$P arseText.doInBackground(MainActivity.jav a:79)*
at com.example.myapplication.MainActivity$P arseText.doInBackground(MainActivity.jav a:73)*
at android.os.AsyncTask$2.call(AsyncTask.ja va:288)*
at java.util.concurrent.FutureTask.run(Futu reTask.java:237)*
at android.os.AsyncTask$SerialExecutor$1.ru n(AsyncTask.java:231)*
at java.util.concurrent.ThreadPoolExecutor. runWorker(ThreadPoolExecutor.java:1112)*
at java.util.concurrent.ThreadPoolExecutor$ Worker.run(ThreadPoolExecutor.java:587)*
at java.lang.Thread.run(Thread.java:818)*
0
0 / 0 / 0
Регистрация: 03.04.2016
Сообщений: 69
05.03.2019, 00:41  [ТС]
В общем разобрался, можете закрывать тему.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
05.03.2019, 00:41
Помогаю со студенческими работами здесь

Парсинг данных с сайта
Есть удаленный сервер, тобиш сайт, на нем стоит рейтинг серверов. Мне нужно спарсить все сервера имеющиеся в рейтинге и если добавится...

Парсинг данных с сайта
Помогите пожалуйста составить регулярное выражение для задания : (Определить количество книг по жанрам на произвольном сайте библиотеки или...

Парсинг данных с сайта
Ребят помогите спарсить данные с https://www.marathonbet.ru/su/betting/11?periodGroupAllEvents=2 нужно спарсить все матчи в массив только...

Парсинг данных с сайта
Здравствуйте, при парсинге данных с сайте, где указаны фамилии по-русски в Powershell получается ерунда, прикладываю скриншот и код. Я...

Парсинг данных с сайта с javascript
Есть сайт с некими данными (раз в день обновляемыми, потому и нужна программа), данные выдаются примерно следующим образом: 1....


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru