Форум программистов, компьютерный форум, киберфорум
Наши страницы

Программирование Android

Войти
Регистрация
Восстановить пароль
 
 
Рейтинг: Рейтинг темы: голосов - 27, средняя оценка - 4.93
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
#1

Ускорение SELECT запроса в SQLite - Программирование Android

15.11.2013, 16:28. Просмотров 3735. Ответов 17
Метки нет (Все метки)

Добрый день! Имеется база на SQLite. Содержит следующую структуру таблиц:

Форум - Топик - Сообщения

При запросе одного форума, надо получить список топиков, и в каждом из топиком список сообщенией. В сумме таблицы содержат около 4 миллионов записей, но самая большая таблица "Сообщения".

Но при запросе хотя бы одного форума, программа обрабатывает это около 2х-3х минут, что очень долго. На компьютере на это уходит 3мс.

Вот мой код, может в нем что не так?

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
    ArrayList<Forum> listForums = new ArrayList<Forum>();
        
        String[] whereArgs = new String[] {Long.toString(id)};
        String[] forums = new String[] {"id","name","deel"};
        Cursor cursor = database.query("forum", forums, "id = ?", whereArgs, null, null, null);
        cursor.moveToFirst();
        
        while (!cursor.isAfterLast()) 
        {
            Forum forum = new Forum();
            forum.setName(cursor.getString(1));
            forum.setOmschrijving(cursor.getString(2));
            
            ArrayList<Topic> listTopic = new ArrayList<Topic>();
            
                String[] whereArgsCat = new String[] {Integer.toString(cursor.getInt(0))};
                String[] topics = new String[] {"idTopic"};
                Cursor cursorCat = database.query("ForumTopic", topics, "idForum = ?", whereArgsCat, null, null, null);
                cursorCat.moveToFirst();
                while (!cursorCat.isAfterLast()) 
                {
                    Topic topic = new Topic();
                    topic.setName(cursorCat.getString(0));
                    ArrayList<Messages> listMessages = new ArrayList<Messages>();
                        String[] whereArgsVert = new String[] {Integer.toString(cursorCat.getInt(0))};
                        String[] vert = new String[] {"id","name","deel"};
                        Cursor cursorVert = database.query("message", vert, "id IN(SELECT idMessage FROM topicmessage where idtopic=?)", whereArgsVert, null, null, null);
                        cursorVert.moveToFirst();
                        
                        while (!cursorVert.isAfterLast()) 
                        {
                            Messages message = new Messages();
                            message.setVoorOmschrijving(cursorVert.getString(0));
                            message.setName(cursorVert.getString(1));
                            message.setOmschrijving(cursorVert.getString(2));
                            listBetekenis.add(message);
                            cursorVert.moveToNext();
                        }
                        cursorVert.close();
                        topic.setListBetekenis(listMessages);
                    listTopic.add(topic);
                    cursorCat.moveToNext();
                }
                cursorCat.close();
                forum.setListCategory(listTopic);
                listForums.add(forum);
            cursor.moveToNext();
            }
        cursor.close();
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
15.11.2013, 16:28
Здравствуйте! Я подобрал для вас темы с ответами на вопрос Ускорение SELECT запроса в SQLite (Программирование Android):

Пример запроса к базе sqlite - Программирование Android
Подскажите пример запроса к базе с условием WHERE.

SQLite как записать результат запроса в переменную (Android, Java) - Программирование Android
Здравствуйте! Помогите, пожалуйста решить проблему. Необходимо получить кол-во записей в таблице. Для этого использую такой вот запрос:...

Vector и Select SQLite - C++
Здравствуйте. Столкнулся с двумя проблемами и не знаю в чём дело. Есть метод класса: std::vector&lt; std::vector&lt;char*&gt; &gt;...

Ускорение работы запроса - SQL Server
Есть запрос, вытягивающий информацию для отчета. С большими БД работает очень долго. Подскажите как его можно переписать. Буду признателен....

Скорость, касательное ускорение, полное ускорение, нормальное ускорение и радиус кривизны траектории - Механика
Движение точки задано координатным способом. Найти траекторию и начертить ее. Кроме того определить скорость, касательное ускорение, полное...

Ускорение обработки POST-запроса (Indy) - Delphi
Добрый день. Прежде чем задать свой вопрос, хочу немного пояснить ситуацию. Delphi изучаю довольно недолго. И решил от чтения книг...

17
Wenceslaus
Android Developer
130 / 130 / 4
Регистрация: 05.07.2013
Сообщений: 205
15.11.2013, 22:28 #2
suvorov, не грузите все форумы/топики/сообщения сразу, а по мере необходимости. Львиная доля времени уходит не на запросы, а на создание объектов.

Оочень странный запрос:
Java
1
Cursor cursorVert = database.query("message", vert, "id IN(SELECT idMessage FROM topicmessage where idtopic=?)", whereArgsVert, null, null, null);
учитывая, что у вас простая структура таблиц, не понимаю, зачем использовать тяжелый IN. Обойдитесь без него.

Если не помогло, переходите на уровень NDK.
1
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
16.11.2013, 04:08  [ТС] #3
Цитата Сообщение от Wenceslaus Посмотреть сообщение
suvorov, не грузите все форумы/топики/сообщения сразу, а по мере необходимости. Львиная доля времени уходит не на запросы, а на создание объектов.

Оочень странный запрос:
Java
1
Cursor cursorVert = database.query("message", vert, "id IN(SELECT idMessage FROM topicmessage where idtopic=?)", whereArgsVert, null, null, null);
учитывая, что у вас простая структура таблиц, не понимаю, зачем использовать тяжелый IN. Обойдитесь без него.

Если не помогло, переходите на уровень NDK.
Так вот сам запрос идет очень долго, просто супе долго, секунд 20-30, а создание объектов занимает меньше секунды. В таблице около 300 000 строк. МОжет их слишком много для андроида?

Добавлено через 4 часа 51 минуту
Цитата Сообщение от suvorov Посмотреть сообщение
Так вот сам запрос идет очень долго, просто супер долго, секунд 20-30, а создание объектов занимает меньше секунды. В таблице около 300 000 строк. Может их слишком много для андроида?
IN я заменил на JOIN, и стал процентов на 20 быстрее работать, но все равно не то. Заметил, что число возвращаемых строк роли никакой не играет, будь то всего одна, загружает ее так же долго сколько и 100 строк.
А у вас есть опыт с обработкой огромных БД?
0
CoolMind
419 / 402 / 65
Регистрация: 06.10.2012
Сообщений: 1,727
16.11.2013, 14:40 #4
Я тут немного не в тему, просто хотел спросить. А что, если ещё больше упростить запрос, оставив на выходе примерно то же количество строк, но убрав условия? Ускорится ли работа? Как мне кажется, виноват здесь перебор по циклу. А какая версия Андроида? У одного человека на stackoverflow написано, что на 4.1 быстрее заработало.
1
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 00:53  [ТС] #5
Пробовал писать совершенно разные query, и длинные и короткие, даже все в одно умещал. Но как показала практика, быстрее всего выполняются маленькие запросы в цикле. Удалось получить 10-15 секунд, но это тоже долго, ибо пользователь такую программу срау удалит.

Подскажите, может кто уже сталкивался, как ускорить запросы?
0
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 11:10 #6
suvorov, сделайте индексы на таблицы. Это в разы облегчит выполнение запроса. И да, вложенные запросы это всегда долго. И не стоит сравнивать мощности ПК и смарта. Пока они сильно разнятся

Добавлено через 2 минуты
id ищите не через IN а используйте обычный INNER JOIN и уже по нему стройте индекс, сначала опишите в индексе поля задействованные в JOIN, а только потом во WHERE и будет вам щастье
1
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 12:49  [ТС] #7
Цитата Сообщение от dubok79 Посмотреть сообщение
сделайте индексы на таблицы
Что вы подразумеваете под индексами, ключи? Тут как раз небольшой вопрос.У меня есть 2 таблицы с отношением много - много. Отсюда таблица которая их соединяет, в ней содержася 2 колонки с id из обоих таблиц, но нет собсвтенного id(primary key). Нужен ли в этой таблице primary key?

И еще, так как база будет очень большой, имеет ли смысл разделить ее на несколько частей? Допустим по диапазону названий: А-Г, Д-Ж, З-К

Сколько записей должна содержать таблица для оптиальной работы?
Заранее спасибо
0
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 12:53 #8
Вообще кол-во записей в таблице особой роли не играет, важен ее размер в ширину, т.е. кол-во колонок.
Ключ, это тоже индекс, только первичный. Если таблица связывающая идешки двух других таблиц имеет ВСЕГДА уникальные значения (а как иначе?) то делайте первичный ключ по этим двум полям.

Мой вам совет, откройте любую инфу по индексам и почитайте хотя бы основы. Вам кое что станет понятно, зачем они и с чем их едят.
Вот для примера
P.S. не обращайте что статья для iOS, база все равно SQlite
1
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 13:12  [ТС] #9
Спасибо, еще раз проверил все запросы, и понял, что у меня сейчас все как надо. Надеюсь на индексы, иначе бдет совсем грустно. Под индексами PRIMARY KEY, FOREIGN KEY, UNIQUE, CHECK итп?
0
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 13:27 #10
suvorov, не совсем, я имел ввиду обычный индекс, например:
CREATE INDEX IX_001 ON table(id1,id2)
Скачайте программу SQliteManager, она позволяет создавать индексы визуально, так проще.
0
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 13:39  [ТС] #11
Я использую SQLite Expert. Там как раз можно добавить индексы, где можно указать PRIMARY KEY или UNIQUE.
Вот скрин программы. Так же есть вкладка FOREIGN KEY
Ускорение SELECT запроса в SQLite
0
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 13:41 #12
suvorov, выберите обе идешки и дайте имя индексу. Поставьте галку примари и уникью, если даст. Но помните, если будет выполнена вставка не уникальных записей, то будет БУМ
1
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 13:49  [ТС] #13
Цитата Сообщение от dubok79 Посмотреть сообщение
если будет выполнена вставка не уникальных записей, то будет БУМ
Да это я понимаю. Надеюсь эьл поможет, хотя не совсем понимаю, как это может отразиться на производительности, ведь все эти ключи служат для избежания ошибок при insert
0
dubok79
323 / 121 / 11
Регистрация: 01.11.2012
Сообщений: 586
19.11.2013, 15:20 #14
Нет, ключи не для этого нужны. Почитайте все-таки что такое индекс и для чего он.
1
suvorov
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 110
19.11.2013, 19:15  [ТС] #15
Прочитал я про индексы, сделал все как и пологалось. Есть такой запрос:
SQL
1
"select c.vooromschrijving, c.woord, c.Omschrijving from categorywoord c where c.idCategory ="+cursorCat.getString(0)
Такой запрос делаю 7 раз, и все это длится 10 секунд. Это нормально? В индексах поставил следующее
SQL
1
CREATE INDEX IX_005 ON categorywoord(idCategory, woord, vooromschrijving, Omschrijving)
При этом результат совсем не изменился. Пробовал и такой индекс, по вторичным ключам:
SQL
1
CREATE INDEX IX_002 ON categorywoord (idWoord, idCategory)
Все увы тоже самое. Где еще может быть проблема, может быть при создании самих таблиц?
0
19.11.2013, 19:15
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
19.11.2013, 19:15
Привет! Вот еще темы с ответами:

Максимальная длина запроса SQLite - Lazarus
Здравствуйте, подскажите пожалуйста, есть ли максимальная длина запроса в базу SQlite3? Какая она? и можно ли её поменять? и как?

.NET 3.x SQLite Проверка на выполнение запроса - C#
SQLite Проверка на выполнение запроса //создание таблицы запрос таблицы command_SQL public int...

.NET 4.x Записать результат запроса к БД SQLite в массив - C#
Здравствуйте! Я разрабатываю приложение на Windows 8. К сожалению, очень мало документации в инетернете пока, не могла найти ответ на мой...

Sqlite ошибка при выполнении запроса - C++ Qt
выполняю запрос к базе, но не чего не получаю.. что не так?? query.exec(&quot;SELECT MAX(id) FROM vopros&quot;); qDebug() &lt;&lt;...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
15
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru