Форум программистов, компьютерный форум CyberForum.ru

Программирование Android

Войти
Регистрация
Восстановить пароль
 
REALIST07
Автор FAQ
Автор FAQ
176 / 176 / 13
Регистрация: 11.06.2010
Сообщений: 932
#1

Правильное проектирование баз данных при очень частом обращении - Программирование Android

26.12.2015, 20:18. Просмотров 232. Ответов 5
Метки нет (Все метки)

Пишу мессенджер и в истории переписок в адаптере очень часто вызывается последнее сообщение для каждого чата и база данных садится, какие могут быть идеи для проектирования БД при очень частом обращении к ней?
Лучшие ответы (1)
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
26.12.2015, 20:18     Правильное проектирование баз данных при очень частом обращении
Посмотрите здесь:

Запрос данных по ID из нескольких баз данных - Программирование Android
Доброго времени суток. Суть вопроса: есть две готовых таблицы: text и buttons, подключенные к проекту. В таблице text поля(тип):...

Вылетает приложение при обращении к серверу - Программирование Android
Обращаюсь к серверу для получения списка продуктов. Сервер проверил, JSON ответ в порядке, на IOS работает без проблем. В случае с андроид...

Синхронизация баз данных через облако - Программирование Android
Здравствуйте! Имеется несколько баз данных на разных ОС, включая Android, беда в том, что есть локальная и удаленная БД. И нужен...

Возможно ли создание двух баз данных - Программирование Android
Возможно ли создание двух баз? А так же как скажеться на производительности такое решение. Одна база данных заполнена, а другую...

Синхронизация баз данных на клиенте и сервере - Программирование Android
Здравствуйте, подскажите как реализовать простенькое клиент-серверное приложение в котором при редактировании бд сервера автоматически...

Сохранение положения seekbar (не сохраняет прогресс при повторном обращении) - Программирование Android
Добрый вечер, возник еще один вопрос: Как в SeekBar сохранить прогресс на ползунке, после повторного обращения к приложению, он находится...

После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
YuraAAA
1567 / 1309 / 269
Регистрация: 25.10.2009
Сообщений: 3,424
Записей в блоге: 2
26.12.2015, 20:46     Правильное проектирование баз данных при очень частом обращении #2
REALIST07, отключить индексы, использовать кэш

Добавлено через 28 секунд
REALIST07, а насколько часто надо вызывать БД чтобы она просела?оО
REALIST07
Автор FAQ
Автор FAQ
176 / 176 / 13
Регистрация: 11.06.2010
Сообщений: 932
26.12.2015, 21:41  [ТС]     Правильное проектирование баз данных при очень частом обращении #3
Можно пример?
Вот мой класс:
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
package com.elowire.t2b.androidapp;
 
import android.content.ContentValues;
import android.content.Context;
import android.database.Cursor;
import android.database.sqlite.SQLiteDatabase;
import android.database.sqlite.SQLiteException;
import android.database.sqlite.SQLiteOpenHelper;
import android.graphics.Bitmap;
import android.util.Log;
 
import com.elowire.t2b.androidapp.Application.App;
 
import java.util.ArrayList;
import java.util.HashMap;
 
public class DatabaseHandler extends SQLiteOpenHelper {
 
  private static DatabaseHandler instance;
 
    public static synchronized DatabaseHandler getInstance(Context context)
    {
        if (instance == null)
            instance = new DatabaseHandler(context);
 
        return instance;
    }
 
    private DatabaseHandler(Context context) {
        super(context, DB_NAME, null, DB_VERSION);
    }
 
   
    @Override
    public void onCreate(SQLiteDatabase sqLiteDatabase) {
        
        sqLiteDatabase.execSQL(CREATE_CHAT_TABLE);
        sqLiteDatabase.execSQL(CREATE_HISTORY_TABLE);
        sqLiteDatabase.execSQL(CREATE_ICONS_TABLE);
    }
 
    @Override
    public void onUpgrade(SQLiteDatabase sqLiteDatabase, int oldVersion, int newVersion) {
        try{
            System.out.println("UPGRADE DB oldVersion="+oldVersion+" - newVersion="+newVersion);
            recreateDb(sqLiteDatabase);
        }
        catch (Exception e){e.printStackTrace();}
    }
 
    private void recreateDb(SQLiteDatabase db) {
        // Drop older table if existed
 
        db.execSQL("DROP TABLE IF EXISTS " + TABLE_CHATS);
        db.execSQL("DROP TABLE IF EXISTS " + TABLE_HISTORY);
        db.execSQL("DROP TABLE IF EXISTS " + TABLE_ICONS);
        // Create tables again
        onCreate(db);
    }
 
    @Override
    public void onDowngrade(SQLiteDatabase db, int oldVersion, int newVersion) {
        // super.onDowngrade(db, oldVersion, newVersion);
        System.out.println("DOWNGRADE DB oldVersion=" + oldVersion + " - newVersion=" + newVersion);
    }
 
    private boolean insertChat (Conference conference)throws SQLiteException{
      try {
 
          if (!containsInDB(conference)) {
              SQLiteDatabase database = this.getWritableDatabase();
              ContentValues values = new ContentValues();
              values.put(FIELD_ID,conference.get_id());
              values.put(FIELD_ROOM_NAME, conference.get_name());
              values.put(FIELD_ROOM_JID, conference.get_jid());
              database.insert(TABLE_CHATS, null, values);
              Log.e(App.getAppContext().getPackageName(),
                      "insert " + TABLE_CHATS + conference.toString());
              if (conference.get_chatHistory() != null) {
                  for (ChatMessage message : conference.get_chatHistory()) {
                      if (message.getRoomJID() != null ) {
                      ContentValues valuesHistory = new ContentValues();
                      valuesHistory.put(FIELD_CHAT_ID, conference.get_id());
                      valuesHistory.put(FIELD_SENDER_JID, message.getName());
                      valuesHistory.put(FIELD_MESSAGE, message.getMessage());
                      valuesHistory.put(FIELD_DATE, message.getDate());
                      database.insert(TABLE_HISTORY, null, values);
                      Log.e(App.getAppContext().getPackageName(),
                              "insert " + TABLE_HISTORY + message.toString());
                  }
                  }
              }
              database.close();
          }
 
          return true;
      }
      catch (Exception e) {
          Log.e(App.getAppContext().getPackageName(),e.getMessage());
       return false;
      }
 
    }
 
    private void deleteConference(Conference conference) throws SQLiteException{
        SQLiteDatabase database = this.getWritableDatabase();
        database.delete(TABLE_CHATS, FIELD_ROOM_NAME + "=? AND " + FIELD_ROOM_JID + "=?", new String[]{conference.get_name(), conference.get_jid()});
        database.close();
    }
 
    private boolean insertHistory(long id,ChatMessage message) throws SQLiteException{
        HashMap<String,String> mapReplace = new HashMap<>();
        mapReplace.put("'", "\'");
        if (message.getRoomJID() == null ) return false;
            try {
            SQLiteDatabase database = this.getWritableDatabase();
            ContentValues values = new ContentValues();
            values.put(FIELD_CHAT_ID, id);
            values.put(FIELD_SENDER_JID, message.getName());
            String text = message.getMessage();
            for (String rep : mapReplace.keySet())
            if (text.contains(rep))
                text = text.replace(rep,mapReplace.get(rep));
            values.put(FIELD_MESSAGE, text);
            values.put(FIELD_DATE, message.getDate());
            values.put(FIELD_MY_MSG, (message.getIsme()) ? 1 : 0);
 
            Cursor c = database.rawQuery(queryFindChatMessage(message),null);
            if (!c.moveToFirst()) {
                database.insert(TABLE_HISTORY, null, values);
                Log.e(App.getAppContext().getPackageName(),
                        "insert " + TABLE_HISTORY + " " + message.toString());
            }
            database.close();
        }
        catch (Exception e) {
            Log.e(App.getAppContext().getPackageName(), e.getMessage());
            return false;
        }
        return true;
    }
    private boolean containsInDB(Conference conference) throws SQLiteException{
        SQLiteDatabase database = this.getWritableDatabase();
        Cursor c = database.rawQuery(queryGetId(String.valueOf(conference.get_id())), null);
        boolean result = c.moveToFirst();
        Log.e(App.getAppContext().getPackageName(),
                "containsInDb conference " +
                        conference.get_name() +
                        " result:" + result);
        database.close();
        return result;
    }
 
 
 
 
    /**
     *
     * @param name Room Name
     * @return if record was found in db return his index, else return -1
     */
    public long getIdByJID(String name) throws SQLiteException{
        long id = -1;
        SQLiteDatabase database = this.getWritableDatabase();
        Cursor c = database.rawQuery(queryGetIdByJID(name), null);
        if (c.moveToFirst())
        {
            id = c.getLong(0);
        }
        database.close();
 
        return id;
    }
 
    /**
     *
     * @param conference Save conference
     */
    public void saveHistoryAll(Conference conference) {
/*
        for (ChatMessage cm : conference.get_chatHistory()) {
            insertHistory(conference);
*/    }
    public boolean saveHistory(long id,ChatMessage cm) throws SQLiteException{
 
        return insertHistory(id,cm);
    }
 
    /**
     * Save Chat
     * @param conference conference needing for save
     */
    public boolean saveChat(Conference conference) throws SQLiteException {
        return  insertChat(conference);
    }
 
    /**
     *
     * @param id room id
     * @return return history for parameter conference
     * @throws SQLiteException
     */
    public  ArrayList<ChatMessage> getHistory(String id) throws SQLiteException {
        SQLiteDatabase db = this.getWritableDatabase();
 
 
            Cursor c = db.rawQuery(queryGetHistory(id), null);
            ArrayList<ChatMessage> list = new ArrayList<>();
            if (c.moveToFirst())
            {
                Log.e(App.getAppContext().getPackageName(),"-----Start getHistory-----");
 
                do
                {
                    ChatMessage item = new ChatMessage(
                            c.getString(2), // name
                            c.getString(3),// message
                            c.getLong(1), // id
                            c.getString(4), //date
                            c.getInt(5));   // isMe
                   /* item.setId();
                    item.setMessage();
                    item.setDate();*/
                    list.add(item);
                    Log.e(App.getAppContext().getPackageName(), "get "+item.toString());
                }
                while (c.moveToNext());
            }
 
        return  list;
    }
 
 
    /**
     * Return last message by Id or null
     * @param Id Conference Id
     * @return Last Message by Id
     * @throws SQLiteException
     */
    public ChatMessage getLastMessage(String Id) throws SQLiteException {
        SQLiteDatabase database = this.getWritableDatabase();
        ChatMessage msg = getLastMessageById(database,Id);
        database.close();
        return msg;
    }
 
    private ChatMessage getLastMessageById(SQLiteDatabase db,String Id) throws SQLiteException{
        Cursor c = db.query(TABLE_HISTORY, new String[]{FIELD_CHAT_ID, FIELD_SENDER_JID, FIELD_MESSAGE, FIELD_DATE, FIELD_MY_MSG}, FIELD_CHAT_ID+"=?", new String[]{Id}, null, null,FIELD_ID);
         //db.rawQuery(queryGetLastMessageFromHistory(Id), null);
 
        if (c.moveToLast())
        {
            Log.e(App.getAppContext().getPackageName(),"-----Start get last history: "+Id);
 
 
                ChatMessage item = new ChatMessage(
                        c.getString(1), // name
                        c.getString(2),// message
                        c.getLong(0), // id
                        c.getString(3), //date
                        c.getInt(4));   // isMe
 
 
                Log.e(App.getAppContext().getPackageName(), "get " + item.toString());
 
            return item;
        }
        return null;
    }
 
    /**
     *
     * @return get all chats in database
     * @throws SQLiteException
     */
    public ArrayList<Conference> getAllChats() throws SQLiteException {
        SQLiteDatabase db = this.getWritableDatabase();
 
        Log.e(App.getAppContext().getPackageName()," get all chats ");
        Cursor c = db.rawQuery(queryGetAllChats, null);
        ArrayList<Conference> list = new ArrayList<>();
        if (c.moveToFirst())
        {
 
            do
            {
                Conference conference = new Conference(c.getLong(0),c.getString(1),c.getString(2));
                list.add(conference);
                Log.e(App.getAppContext().getPackageName(),conference.toString());
            }
            while (c.moveToNext());
        }
 
        return list;
    }
 
 
    public boolean saveIcon(long id,Bitmap bmp) {
        try {
            SQLiteDatabase database = this.getWritableDatabase();
            ContentValues values = new ContentValues();
            values.put(FIELD_ID, id);
            values.put(FIELD_ICON, Helper.convertToBase64(bmp));
            database.insert(TABLE_ICONS, null, values);
            Log.e(App.getAppContext().getPackageName(), "Save icons for category with id:"+String.valueOf(id));
            database.close();
        }
        catch (Exception e) {
            Log.e(App.getAppContext().getPackageName(), e.getMessage());
            return false;
        }
        return true;
    }
 
    public HashMap<Long,Bitmap> getIcons() {
        HashMap<Long,Bitmap> map = new HashMap<>();
        SQLiteDatabase db = this.getWritableDatabase();
 
        Log.e(App.getAppContext().getPackageName()," get all icons ");
        try {
 
 
            Cursor c = db.rawQuery(queryGetAllIcons, null);
            if (c.moveToFirst()) {
 
                do {
                    Bitmap bmp = Helper.convertToBitmap(c.getString(1));
                    map.put(c.getLong(0), bmp);
                    Log.e(App.getAppContext().getPackageName(), c.getString(1));
                }
                while (c.moveToNext());
            }
        }
        catch (Exception e) {
            e.printStackTrace();
            Log.e(App.getAppContext().getPackageName(), e.getMessage());
        }
        return map;
    }
}
REALIST07
Автор FAQ
Автор FAQ
176 / 176 / 13
Регистрация: 11.06.2010
Сообщений: 932
26.12.2015, 21:56  [ТС]     Правильное проектирование баз данных при очень частом обращении #4
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
 private final static int    DB_VERSION = 10;
    private final static String DB_NAME = "CHATS";
    //  table name
    private static final String TABLE_ICONS = "ICONS";
    private static final String TABLE_CHATS = "CHATS";
    private static final String TABLE_HISTORY = "HISTORY";
 
    // CHATS Table Columns names
    private static final String FIELD_ID = "Id";
    private static final String FIELD_ROOM_NAME= "Room_name";
    private static final String FIELD_ROOM_JID = "JID";
 
    private static final String FIELD_CHAT_ID = "Chat_Id";
    private static final String FIELD_SENDER_JID = "Sender_JID";
    private static final String FIELD_MESSAGE = "Message";
    private static final String FIELD_DATE = "Date";
    private static final String FIELD_MY_MSG ="My";
 
    private static final String FIELD_CONFERENCE_NAME ="Conference_name" ;
    private static final String FIELD_ICON ="Icon" ;
    /**
     * queries for execute
     */
    private static final String CREATE_ICONS_TABLE =
            "CREATE TABLE "+ TABLE_ICONS+ "("+
                    FIELD_ID + " INTEGER NOT NULL PRIMARY KEY,"+
                    //FIELD_CATEGORY_NAME+ " TEXT,"+
                    FIELD_ICON + " TEXT)";
 
    private static final String CREATE_CHAT_TABLE =
            "CREATE TABLE "+ TABLE_CHATS+ "("+
                    FIELD_ID + " INTEGER NOT NULL PRIMARY KEY,"+
                    FIELD_ROOM_NAME + " TEXT,"+
                    FIELD_ROOM_JID + " TEXT)";
    private static final String CREATE_HISTORY_TABLE =
            "CREATE TABLE "+ TABLE_HISTORY+ "("+
                    FIELD_ID+ " INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,"+
                    FIELD_CHAT_ID+ " INTEGER NOT NULL,"+
                    FIELD_SENDER_JID + " TEXT,"+
                    FIELD_MESSAGE + " TEXT," +
                    FIELD_DATE + " TEXT," +
                    FIELD_MY_MSG + " INTEGER," +
    " FOREIGN KEY (" + FIELD_CHAT_ID  + ") REFERENCES " + TABLE_CHATS + "(" + FIELD_ID + ") ON DELETE CASCADE)";
 
    private static  String queryGetHistory(String id) {
        return  "SELECT * FROM " +TABLE_HISTORY +
            " WHERE "+FIELD_CHAT_ID + "=" + id;
    }
 
    private static  String queryGetLastMessageFromHistory(String id) {
        return  "SELECT MAX("+FIELD_ID+"),* FROM " +TABLE_HISTORY +
                " WHERE "+FIELD_CHAT_ID + "=" + id;//+
              //  " ORDER BY "+FIELD_ID+ " DESC";
    }
 
    private static  String queryGetIdByJID(String name) {
       return  "Select "+FIELD_ID +" FROM "+TABLE_CHATS +
               " WHERE " + FIELD_ROOM_JID + "='"+name+"'";
    }
 
    private static final String queryGetAllChats = "Select * From "+TABLE_CHATS;
    private static final String queryGetAllIcons = "Select * From "+TABLE_ICONS;
    //"create table logins (userId Integer primary key autoincrement, "+ " username text, password text)";
    private static  String queryFindByNameAndJID(Conference conference) {
        return
                "Select * From "+TABLE_CHATS+
                " Where "+FIELD_ROOM_NAME +"='"+ conference.get_name()+"' AND "+
                 FIELD_ROOM_JID +"='"+ conference.get_jid()+"'";
    }
 
    private static  String queryGetId(String id) {
        return "Select * FROM " + TABLE_CHATS+" WHERE "+FIELD_ID + "="+id;
    }
 
    private static  String queryDeleteConference(Conference conference) {
 
        return  "DELETE FROM "+ TABLE_CHATS+" WHERE "+
                FIELD_ROOM_NAME +" ='"+conference.get_name()+"' AND "+
                FIELD_ROOM_JID + " ='" + conference.get_jid()+"'";
    }
 
    private static  String queryFindChatMessage(ChatMessage message) {
 
        String isme = message.getIsme()? String.valueOf(1) : String.valueOf(0);
        return  "SELECT * FROM "+ TABLE_HISTORY+" WHERE "+
                FIELD_CHAT_ID+"="+message.getId()+" AND "+
                FIELD_MESSAGE+"='"+message.getMessage()+"' AND "+
                FIELD_DATE+"='"+message.getId()+"' AND "+
                FIELD_MY_MSG+"="+isme;
    }
Добавлено через 2 минуты
getLastMessageById вызывается в адаптере, а он очень часто перерисовывается
И еще проблема с
Java
1
2
3
4
5
catch (Exception e) {
            Log.e(App.getAppContext().getPackageName(), e.getMessage());
            return false;
        }
        return true;
Добавлено через 12 минут
Нашел статейку, в которой рекомендуют через контент провайдер зайти к решению проблемы,не знаю даже
YuraAAA
1567 / 1309 / 269
Регистрация: 25.10.2009
Сообщений: 3,424
Записей в блоге: 2
26.12.2015, 23:35     Правильное проектирование баз данных при очень частом обращении #5
Сообщение было отмечено автором темы, экспертом или модератором как ответ
Цитата Сообщение от REALIST07 Посмотреть сообщение
getLastMessageById вызывается в адаптере
Зачем вообще так делать?оО Это неверный подход.
У Вас же есть модели, в них есть данные, их и используйте. А обновляйте только при необходимости.
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
27.12.2015, 01:01     Правильное проектирование баз данных при очень частом обращении
Еще ссылки по теме:

Взаимодействие баз данных на сервере и мобильном устройстве - Программирование Android
Здравствуйте, необходимо найти информацию по теме что в шапке написана. Вообще все что можно о технологиях доступа к удаленным данным ещё...

Отобразить очень большую базу данных в ListView - Программирование Android
Здравствуйте! Разрабатываю приложения для ведения учета прибыли и расходов, что подразумевает довольно большое количество записей в БД. И...

Как перехватить пакет (запрос) данных при текущей передаче данных? - Программирование Android
Хочу сделать на подобии валидации - что бы доступ к сети был только на определённые сайты. Я предполагаю так, перехватить текущий пакет...

Не правильное отображение Текста - Программирование Android
Проект в Android Studio, минимальная версия 4.0, максимальная 4.2.2, таргет версия 4.1. Создал пункты меню, латиница отображается...

Правильное закрытие курсора - Программирование Android
Как правильно закрыть Cursor? Если делать так: .... String from = {&quot;name&quot;,&quot;count&quot;}; intto ={R.id.backpack_text_1,...

Правильное использование Material Design - Программирование Android
Добрый день! Как правильно использовать MAterial Design? Android 4.0 - Android 5.0.x Нормально ли использовать ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
REALIST07
Автор FAQ
Автор FAQ
176 / 176 / 13
Регистрация: 11.06.2010
Сообщений: 932
27.12.2015, 01:01  [ТС]     Правильное проектирование баз данных при очень частом обращении #6

Не по теме:

Точно! Когда много программирую начинаю допускать нелепые ошибки, у меня класса модели нет!


Ну а вообще с ContentProvider неплохие примеры есть, но для моей задачи хватит и оптимизации
Yandex
Объявления
27.12.2015, 01:01     Правильное проектирование баз данных при очень частом обращении
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru