Форум программистов, компьютерный форум CyberForum.ru

Программирование Android

Войти
Регистрация
Восстановить пароль
 
Рейтинг: Рейтинг темы: голосов - 27, средняя оценка - 4.93
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
#1

Ускорение SELECT запроса в SQLite - Android

15.11.2013, 16:28. Просмотров 3400. Ответов 17
Метки нет (Все метки)

Добрый день! Имеется база на SQLite. Содержит следующую структуру таблиц:

Форум - Топик - Сообщения

При запросе одного форума, надо получить список топиков, и в каждом из топиком список сообщенией. В сумме таблицы содержат около 4 миллионов записей, но самая большая таблица "Сообщения".

Но при запросе хотя бы одного форума, программа обрабатывает это около 2х-3х минут, что очень долго. На компьютере на это уходит 3мс.

Вот мой код, может в нем что не так?

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
    ArrayList<Forum> listForums = new ArrayList<Forum>();
        
        String[] whereArgs = new String[] {Long.toString(id)};
        String[] forums = new String[] {"id","name","deel"};
        Cursor cursor = database.query("forum", forums, "id = ?", whereArgs, null, null, null);
        cursor.moveToFirst();
        
        while (!cursor.isAfterLast()) 
        {
            Forum forum = new Forum();
            forum.setName(cursor.getString(1));
            forum.setOmschrijving(cursor.getString(2));
            
            ArrayList<Topic> listTopic = new ArrayList<Topic>();
            
                String[] whereArgsCat = new String[] {Integer.toString(cursor.getInt(0))};
                String[] topics = new String[] {"idTopic"};
                Cursor cursorCat = database.query("ForumTopic", topics, "idForum = ?", whereArgsCat, null, null, null);
                cursorCat.moveToFirst();
                while (!cursorCat.isAfterLast()) 
                {
                    Topic topic = new Topic();
                    topic.setName(cursorCat.getString(0));
                    ArrayList<Messages> listMessages = new ArrayList<Messages>();
                        String[] whereArgsVert = new String[] {Integer.toString(cursorCat.getInt(0))};
                        String[] vert = new String[] {"id","name","deel"};
                        Cursor cursorVert = database.query("message", vert, "id IN(SELECT idMessage FROM topicmessage where idtopic=?)", whereArgsVert, null, null, null);
                        cursorVert.moveToFirst();
                        
                        while (!cursorVert.isAfterLast()) 
                        {
                            Messages message = new Messages();
                            message.setVoorOmschrijving(cursorVert.getString(0));
                            message.setName(cursorVert.getString(1));
                            message.setOmschrijving(cursorVert.getString(2));
                            listBetekenis.add(message);
                            cursorVert.moveToNext();
                        }
                        cursorVert.close();
                        topic.setListBetekenis(listMessages);
                    listTopic.add(topic);
                    cursorCat.moveToNext();
                }
                cursorCat.close();
                forum.setListCategory(listTopic);
                listForums.add(forum);
            cursor.moveToNext();
            }
        cursor.close();
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
Wenceslaus
Android Developer
129 / 129 / 4
Регистрация: 05.07.2013
Сообщений: 205
15.11.2013, 22:28     Ускорение SELECT запроса в SQLite #2
suvorov, не грузите все форумы/топики/сообщения сразу, а по мере необходимости. Львиная доля времени уходит не на запросы, а на создание объектов.

Оочень странный запрос:
Java
1
Cursor cursorVert = database.query("message", vert, "id IN(SELECT idMessage FROM topicmessage where idtopic=?)", whereArgsVert, null, null, null);
учитывая, что у вас простая структура таблиц, не понимаю, зачем использовать тяжелый IN. Обойдитесь без него.

Если не помогло, переходите на уровень NDK.
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
16.11.2013, 04:08  [ТС]     Ускорение SELECT запроса в SQLite #3
Цитата Сообщение от Wenceslaus Посмотреть сообщение
suvorov, не грузите все форумы/топики/сообщения сразу, а по мере необходимости. Львиная доля времени уходит не на запросы, а на создание объектов.

Оочень странный запрос:
Java
1
Cursor cursorVert = database.query("message", vert, "id IN(SELECT idMessage FROM topicmessage where idtopic=?)", whereArgsVert, null, null, null);
учитывая, что у вас простая структура таблиц, не понимаю, зачем использовать тяжелый IN. Обойдитесь без него.

Если не помогло, переходите на уровень NDK.
Так вот сам запрос идет очень долго, просто супе долго, секунд 20-30, а создание объектов занимает меньше секунды. В таблице около 300 000 строк. МОжет их слишком много для андроида?

Добавлено через 4 часа 51 минуту
Цитата Сообщение от suvorov Посмотреть сообщение
Так вот сам запрос идет очень долго, просто супер долго, секунд 20-30, а создание объектов занимает меньше секунды. В таблице около 300 000 строк. Может их слишком много для андроида?
IN я заменил на JOIN, и стал процентов на 20 быстрее работать, но все равно не то. Заметил, что число возвращаемых строк роли никакой не играет, будь то всего одна, загружает ее так же долго сколько и 100 строк.
А у вас есть опыт с обработкой огромных БД?
CoolMind
418 / 401 / 65
Регистрация: 06.10.2012
Сообщений: 1,723
16.11.2013, 14:40     Ускорение SELECT запроса в SQLite #4
Я тут немного не в тему, просто хотел спросить. А что, если ещё больше упростить запрос, оставив на выходе примерно то же количество строк, но убрав условия? Ускорится ли работа? Как мне кажется, виноват здесь перебор по циклу. А какая версия Андроида? У одного человека на stackoverflow написано, что на 4.1 быстрее заработало.
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 00:53  [ТС]     Ускорение SELECT запроса в SQLite #5
Пробовал писать совершенно разные query, и длинные и короткие, даже все в одно умещал. Но как показала практика, быстрее всего выполняются маленькие запросы в цикле. Удалось получить 10-15 секунд, но это тоже долго, ибо пользователь такую программу срау удалит.

Подскажите, может кто уже сталкивался, как ускорить запросы?
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 11:10     Ускорение SELECT запроса в SQLite #6
suvorov, сделайте индексы на таблицы. Это в разы облегчит выполнение запроса. И да, вложенные запросы это всегда долго. И не стоит сравнивать мощности ПК и смарта. Пока они сильно разнятся

Добавлено через 2 минуты
id ищите не через IN а используйте обычный INNER JOIN и уже по нему стройте индекс, сначала опишите в индексе поля задействованные в JOIN, а только потом во WHERE и будет вам щастье
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 12:49  [ТС]     Ускорение SELECT запроса в SQLite #7
Цитата Сообщение от dubok79 Посмотреть сообщение
сделайте индексы на таблицы
Что вы подразумеваете под индексами, ключи? Тут как раз небольшой вопрос.У меня есть 2 таблицы с отношением много - много. Отсюда таблица которая их соединяет, в ней содержася 2 колонки с id из обоих таблиц, но нет собсвтенного id(primary key). Нужен ли в этой таблице primary key?

И еще, так как база будет очень большой, имеет ли смысл разделить ее на несколько частей? Допустим по диапазону названий: А-Г, Д-Ж, З-К

Сколько записей должна содержать таблица для оптиальной работы?
Заранее спасибо
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 12:53     Ускорение SELECT запроса в SQLite #8
Вообще кол-во записей в таблице особой роли не играет, важен ее размер в ширину, т.е. кол-во колонок.
Ключ, это тоже индекс, только первичный. Если таблица связывающая идешки двух других таблиц имеет ВСЕГДА уникальные значения (а как иначе?) то делайте первичный ключ по этим двум полям.

Мой вам совет, откройте любую инфу по индексам и почитайте хотя бы основы. Вам кое что станет понятно, зачем они и с чем их едят.
Вот для примера
P.S. не обращайте что статья для iOS, база все равно SQlite
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 13:12  [ТС]     Ускорение SELECT запроса в SQLite #9
Спасибо, еще раз проверил все запросы, и понял, что у меня сейчас все как надо. Надеюсь на индексы, иначе бдет совсем грустно. Под индексами PRIMARY KEY, FOREIGN KEY, UNIQUE, CHECK итп?
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 13:27     Ускорение SELECT запроса в SQLite #10
suvorov, не совсем, я имел ввиду обычный индекс, например:
CREATE INDEX IX_001 ON table(id1,id2)
Скачайте программу SQliteManager, она позволяет создавать индексы визуально, так проще.
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 13:39  [ТС]     Ускорение SELECT запроса в SQLite #11
Я использую SQLite Expert. Там как раз можно добавить индексы, где можно указать PRIMARY KEY или UNIQUE.
Вот скрин программы. Так же есть вкладка FOREIGN KEY
Ускорение SELECT запроса в SQLite
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 13:41     Ускорение SELECT запроса в SQLite #12
suvorov, выберите обе идешки и дайте имя индексу. Поставьте галку примари и уникью, если даст. Но помните, если будет выполнена вставка не уникальных записей, то будет БУМ
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 13:49  [ТС]     Ускорение SELECT запроса в SQLite #13
Цитата Сообщение от dubok79 Посмотреть сообщение
если будет выполнена вставка не уникальных записей, то будет БУМ
Да это я понимаю. Надеюсь эьл поможет, хотя не совсем понимаю, как это может отразиться на производительности, ведь все эти ключи служат для избежания ошибок при insert
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 15:20     Ускорение SELECT запроса в SQLite #14
Нет, ключи не для этого нужны. Почитайте все-таки что такое индекс и для чего он.
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 19:15  [ТС]     Ускорение SELECT запроса в SQLite #15
Прочитал я про индексы, сделал все как и пологалось. Есть такой запрос:
SQL
1
"select c.vooromschrijving, c.woord, c.Omschrijving from categorywoord c where c.idCategory ="+cursorCat.getString(0)
Такой запрос делаю 7 раз, и все это длится 10 секунд. Это нормально? В индексах поставил следующее
SQL
1
CREATE INDEX IX_005 ON categorywoord(idCategory, woord, vooromschrijving, Omschrijving)
При этом результат совсем не изменился. Пробовал и такой индекс, по вторичным ключам:
SQL
1
CREATE INDEX IX_002 ON categorywoord (idWoord, idCategory)
Все увы тоже самое. Где еще может быть проблема, может быть при создании самих таблиц?
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 19:17     Ускорение SELECT запроса в SQLite #16
Вы не поняли, для чего нужны индексы.
Делайте индекс по idCategory для таблицы categorywoord
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 19:34  [ТС]     Ускорение SELECT запроса в SQLite #17
Цитата Сообщение от dubok79 Посмотреть сообщение
Делайте индекс по idCategory для таблицы categorywoord
Да, видимо не понял Сделал, индекс только для idCategory, запрос стал выполняться за 7 секунд! Это уже результат. Можно еще как-то ускорить дело?
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
19.11.2013, 19:39     Ускорение SELECT запроса в SQLite
Еще ссылки по теме:

SQLite Android Android
Ускорение работы AS Android
Android SQLite
Android Акселерометр и ускорение земного притяжения
Android Программно включать/выключать аппаратное ускорение

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 19:39     Ускорение SELECT запроса в SQLite #18
Еще можно пересмотреть запросы, код и многое еще. Ищите "узкое" место, где дольше всего выполняется. Почитайте про SQlite, ее саму тоже можно ускорить и значительно, но для разных случаев методы разные.
Yandex
Объявления
19.11.2013, 19:39     Ускорение SELECT запроса в SQLite
Ответ Создать тему
Опции темы

Текущее время: 18:30. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru