Форум программистов, компьютерный форум, киберфорум
Программирование Android
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.75/56: Рейтинг темы: голосов - 56, средняя оценка - 4.75
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 111

Ускорение SELECT запроса в SQLite

15.11.2013, 16:28. Показов 10589. Ответов 17
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый день! Имеется база на SQLite. Содержит следующую структуру таблиц:

Форум - Топик - Сообщения

При запросе одного форума, надо получить список топиков, и в каждом из топиком список сообщенией. В сумме таблицы содержат около 4 миллионов записей, но самая большая таблица "Сообщения".

Но при запросе хотя бы одного форума, программа обрабатывает это около 2х-3х минут, что очень долго. На компьютере на это уходит 3мс.

Вот мой код, может в нем что не так?

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
    ArrayList<Forum> listForums = new ArrayList<Forum>();
        
        String[] whereArgs = new String[] {Long.toString(id)};
        String[] forums = new String[] {"id","name","deel"};
        Cursor cursor = database.query("forum", forums, "id = ?", whereArgs, null, null, null);
        cursor.moveToFirst();
        
        while (!cursor.isAfterLast()) 
        {
            Forum forum = new Forum();
            forum.setName(cursor.getString(1));
            forum.setOmschrijving(cursor.getString(2));
            
            ArrayList<Topic> listTopic = new ArrayList<Topic>();
            
                String[] whereArgsCat = new String[] {Integer.toString(cursor.getInt(0))};
                String[] topics = new String[] {"idTopic"};
                Cursor cursorCat = database.query("ForumTopic", topics, "idForum = ?", whereArgsCat, null, null, null);
                cursorCat.moveToFirst();
                while (!cursorCat.isAfterLast()) 
                {
                    Topic topic = new Topic();
                    topic.setName(cursorCat.getString(0));
                    ArrayList<Messages> listMessages = new ArrayList<Messages>();
                        String[] whereArgsVert = new String[] {Integer.toString(cursorCat.getInt(0))};
                        String[] vert = new String[] {"id","name","deel"};
                        Cursor cursorVert = database.query("message", vert, "id IN(SELECT idMessage FROM topicmessage where idtopic=?)", whereArgsVert, null, null, null);
                        cursorVert.moveToFirst();
                        
                        while (!cursorVert.isAfterLast()) 
                        {
                            Messages message = new Messages();
                            message.setVoorOmschrijving(cursorVert.getString(0));
                            message.setName(cursorVert.getString(1));
                            message.setOmschrijving(cursorVert.getString(2));
                            listBetekenis.add(message);
                            cursorVert.moveToNext();
                        }
                        cursorVert.close();
                        topic.setListBetekenis(listMessages);
                    listTopic.add(topic);
                    cursorCat.moveToNext();
                }
                cursorCat.close();
                forum.setListCategory(listTopic);
                listForums.add(forum);
            cursor.moveToNext();
            }
        cursor.close();
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
15.11.2013, 16:28
Ответы с готовыми решениями:

Ускорение работы запроса
Есть запрос, вытягивающий информацию для отчета. С большими БД работает очень долго. Подскажите как его можно переписать. Буду признателен....

Скорость, касательное ускорение, полное ускорение, нормальное ускорение и радиус кривизны траектории
Движение точки задано координатным способом. Найти траекторию и начертить ее. Кроме того определить скорость, касательное ускорение, полное...

Vector и Select SQLite
Здравствуйте. Столкнулся с двумя проблемами и не знаю в чём дело. Есть метод класса: std::vector&lt; std::vector&lt;char*&gt;...

17
Android Developer
 Аватар для Wenceslaus
131 / 131 / 6
Регистрация: 05.07.2013
Сообщений: 205
15.11.2013, 22:28
suvorov, не грузите все форумы/топики/сообщения сразу, а по мере необходимости. Львиная доля времени уходит не на запросы, а на создание объектов.

Оочень странный запрос:
Java
1
Cursor cursorVert = database.query("message", vert, "id IN(SELECT idMessage FROM topicmessage where idtopic=?)", whereArgsVert, null, null, null);
учитывая, что у вас простая структура таблиц, не понимаю, зачем использовать тяжелый IN. Обойдитесь без него.

Если не помогло, переходите на уровень NDK.
1
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 111
16.11.2013, 04:08  [ТС]
Цитата Сообщение от Wenceslaus Посмотреть сообщение
suvorov, не грузите все форумы/топики/сообщения сразу, а по мере необходимости. Львиная доля времени уходит не на запросы, а на создание объектов.

Оочень странный запрос:
Java
1
Cursor cursorVert = database.query("message", vert, "id IN(SELECT idMessage FROM topicmessage where idtopic=?)", whereArgsVert, null, null, null);
учитывая, что у вас простая структура таблиц, не понимаю, зачем использовать тяжелый IN. Обойдитесь без него.

Если не помогло, переходите на уровень NDK.
Так вот сам запрос идет очень долго, просто супе долго, секунд 20-30, а создание объектов занимает меньше секунды. В таблице около 300 000 строк. МОжет их слишком много для андроида?

Добавлено через 4 часа 51 минуту
Цитата Сообщение от suvorov Посмотреть сообщение
Так вот сам запрос идет очень долго, просто супер долго, секунд 20-30, а создание объектов занимает меньше секунды. В таблице около 300 000 строк. Может их слишком много для андроида?
IN я заменил на JOIN, и стал процентов на 20 быстрее работать, но все равно не то. Заметил, что число возвращаемых строк роли никакой не играет, будь то всего одна, загружает ее так же долго сколько и 100 строк.
А у вас есть опыт с обработкой огромных БД?
0
426 / 406 / 68
Регистрация: 06.10.2012
Сообщений: 1,748
16.11.2013, 14:40
Я тут немного не в тему, просто хотел спросить. А что, если ещё больше упростить запрос, оставив на выходе примерно то же количество строк, но убрав условия? Ускорится ли работа? Как мне кажется, виноват здесь перебор по циклу. А какая версия Андроида? У одного человека на stackoverflow написано, что на 4.1 быстрее заработало.
1
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 111
19.11.2013, 00:53  [ТС]
Пробовал писать совершенно разные query, и длинные и короткие, даже все в одно умещал. Но как показала практика, быстрее всего выполняются маленькие запросы в цикле. Удалось получить 10-15 секунд, но это тоже долго, ибо пользователь такую программу срау удалит.

Подскажите, может кто уже сталкивался, как ускорить запросы?
0
 Аватар для dubok79
325 / 123 / 10
Регистрация: 01.11.2012
Сообщений: 587
19.11.2013, 11:10
suvorov, сделайте индексы на таблицы. Это в разы облегчит выполнение запроса. И да, вложенные запросы это всегда долго. И не стоит сравнивать мощности ПК и смарта. Пока они сильно разнятся

Добавлено через 2 минуты
id ищите не через IN а используйте обычный INNER JOIN и уже по нему стройте индекс, сначала опишите в индексе поля задействованные в JOIN, а только потом во WHERE и будет вам щастье
1
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 111
19.11.2013, 12:49  [ТС]
Цитата Сообщение от dubok79 Посмотреть сообщение
сделайте индексы на таблицы
Что вы подразумеваете под индексами, ключи? Тут как раз небольшой вопрос.У меня есть 2 таблицы с отношением много - много. Отсюда таблица которая их соединяет, в ней содержася 2 колонки с id из обоих таблиц, но нет собсвтенного id(primary key). Нужен ли в этой таблице primary key?

И еще, так как база будет очень большой, имеет ли смысл разделить ее на несколько частей? Допустим по диапазону названий: А-Г, Д-Ж, З-К

Сколько записей должна содержать таблица для оптиальной работы?
Заранее спасибо
0
 Аватар для dubok79
325 / 123 / 10
Регистрация: 01.11.2012
Сообщений: 587
19.11.2013, 12:53
Вообще кол-во записей в таблице особой роли не играет, важен ее размер в ширину, т.е. кол-во колонок.
Ключ, это тоже индекс, только первичный. Если таблица связывающая идешки двух других таблиц имеет ВСЕГДА уникальные значения (а как иначе?) то делайте первичный ключ по этим двум полям.

Мой вам совет, откройте любую инфу по индексам и почитайте хотя бы основы. Вам кое что станет понятно, зачем они и с чем их едят.
Вот для примера
P.S. не обращайте что статья для iOS, база все равно SQlite
1
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 111
19.11.2013, 13:12  [ТС]
Спасибо, еще раз проверил все запросы, и понял, что у меня сейчас все как надо. Надеюсь на индексы, иначе бдет совсем грустно. Под индексами PRIMARY KEY, FOREIGN KEY, UNIQUE, CHECK итп?
0
 Аватар для dubok79
325 / 123 / 10
Регистрация: 01.11.2012
Сообщений: 587
19.11.2013, 13:27
suvorov, не совсем, я имел ввиду обычный индекс, например:
CREATE INDEX IX_001 ON table(id1,id2)
Скачайте программу SQliteManager, она позволяет создавать индексы визуально, так проще.
0
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 111
19.11.2013, 13:39  [ТС]
Я использую SQLite Expert. Там как раз можно добавить индексы, где можно указать PRIMARY KEY или UNIQUE.
Вот скрин программы. Так же есть вкладка FOREIGN KEY
0
 Аватар для dubok79
325 / 123 / 10
Регистрация: 01.11.2012
Сообщений: 587
19.11.2013, 13:41
suvorov, выберите обе идешки и дайте имя индексу. Поставьте галку примари и уникью, если даст. Но помните, если будет выполнена вставка не уникальных записей, то будет БУМ
1
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 111
19.11.2013, 13:49  [ТС]
Цитата Сообщение от dubok79 Посмотреть сообщение
если будет выполнена вставка не уникальных записей, то будет БУМ
Да это я понимаю. Надеюсь эьл поможет, хотя не совсем понимаю, как это может отразиться на производительности, ведь все эти ключи служат для избежания ошибок при insert
0
 Аватар для dubok79
325 / 123 / 10
Регистрация: 01.11.2012
Сообщений: 587
19.11.2013, 15:20
Нет, ключи не для этого нужны. Почитайте все-таки что такое индекс и для чего он.
1
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 111
19.11.2013, 19:15  [ТС]
Прочитал я про индексы, сделал все как и пологалось. Есть такой запрос:
SQL
1
"select c.vooromschrijving, c.woord, c.Omschrijving from categorywoord c where c.idCategory ="+cursorCat.getString(0)
Такой запрос делаю 7 раз, и все это длится 10 секунд. Это нормально? В индексах поставил следующее
SQL
1
CREATE INDEX IX_005 ON categorywoord(idCategory, woord, vooromschrijving, Omschrijving)
При этом результат совсем не изменился. Пробовал и такой индекс, по вторичным ключам:
SQL
1
CREATE INDEX IX_002 ON categorywoord (idWoord, idCategory)
Все увы тоже самое. Где еще может быть проблема, может быть при создании самих таблиц?
0
 Аватар для dubok79
325 / 123 / 10
Регистрация: 01.11.2012
Сообщений: 587
19.11.2013, 19:17
Вы не поняли, для чего нужны индексы.
Делайте индекс по idCategory для таблицы categorywoord
1
5 / 5 / 0
Регистрация: 14.11.2012
Сообщений: 111
19.11.2013, 19:34  [ТС]
Цитата Сообщение от dubok79 Посмотреть сообщение
Делайте индекс по idCategory для таблицы categorywoord
Да, видимо не понял Сделал, индекс только для idCategory, запрос стал выполняться за 7 секунд! Это уже результат. Можно еще как-то ускорить дело?
0
 Аватар для dubok79
325 / 123 / 10
Регистрация: 01.11.2012
Сообщений: 587
19.11.2013, 19:39
Еще можно пересмотреть запросы, код и многое еще. Ищите "узкое" место, где дольше всего выполняется. Почитайте про SQlite, ее саму тоже можно ускорить и значительно, но для разных случаев методы разные.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
19.11.2013, 19:39
Помогаю со студенческими работами здесь

Ускорение обработки POST-запроса (Indy)
Добрый день. Прежде чем задать свой вопрос, хочу немного пояснить ситуацию. Delphi изучаю довольно недолго. И решил от чтения книг...

SQLite Проверка на выполнение запроса
SQLite Проверка на выполнение запроса //создание таблицы запрос таблицы command_SQL public int...

Пример запроса к базе sqlite
Подскажите пример запроса к базе с условием WHERE.

Максимальная длина запроса SQLite
Здравствуйте, подскажите пожалуйста, есть ли максимальная длина запроса в базу SQlite3? Какая она? и можно ли её поменять? и как?

SQLite. Составление запроса с исключением элемента
Здравствуйте. Во время работы с SQLite DB заметил, что запрос зачастую получается на столько длинным, что выскакивает эксепшен, и...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
18
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru