Форум программистов, компьютерный форум CyberForum.ru

Правильное проектирование баз данных при очень частом обращении - Android

Войти
Регистрация
Восстановить пароль
 
REALIST07
Автор FAQ
Автор FAQ
 Аватар для REALIST07
174 / 174 / 13
Регистрация: 11.06.2010
Сообщений: 932
26.12.2015, 20:18     Правильное проектирование баз данных при очень частом обращении #1
Пишу мессенджер и в истории переписок в адаптере очень часто вызывается последнее сообщение для каждого чата и база данных садится, какие могут быть идеи для проектирования БД при очень частом обращении к ней?
Лучшие ответы (1)
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
26.12.2015, 20:18     Правильное проектирование баз данных при очень частом обращении
Посмотрите здесь:

Android Не правильное отображение Текста
Android Правильное закрытие курсора
Запрос данных по ID из нескольких баз данных Android
Отобразить очень большую базу данных в ListView Android
Android Синхронизация баз данных через облако
Взаимодействие баз данных на сервере и мобильном устройстве Android
Android Синхронизация баз данных на клиенте и сервере
Android Возможно ли создание двух баз данных
Правильное использование Material Design Android
Как перехватить пакет (запрос) данных при текущей передаче данных? Android
Вылетает приложение при обращении к серверу Android
Android Не правильное отображение веб страниц в webView

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
YuraAAA
 Аватар для YuraAAA
1563 / 1305 / 269
Регистрация: 25.10.2009
Сообщений: 3,424
Записей в блоге: 2
26.12.2015, 20:46     Правильное проектирование баз данных при очень частом обращении #2
REALIST07, отключить индексы, использовать кэш

Добавлено через 28 секунд
REALIST07, а насколько часто надо вызывать БД чтобы она просела?оО
REALIST07
Автор FAQ
Автор FAQ
 Аватар для REALIST07
174 / 174 / 13
Регистрация: 11.06.2010
Сообщений: 932
26.12.2015, 21:41  [ТС]     Правильное проектирование баз данных при очень частом обращении #3
Можно пример?
Вот мой класс:
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
package com.elowire.t2b.androidapp;
 
import android.content.ContentValues;
import android.content.Context;
import android.database.Cursor;
import android.database.sqlite.SQLiteDatabase;
import android.database.sqlite.SQLiteException;
import android.database.sqlite.SQLiteOpenHelper;
import android.graphics.Bitmap;
import android.util.Log;
 
import com.elowire.t2b.androidapp.Application.App;
 
import java.util.ArrayList;
import java.util.HashMap;
 
public class DatabaseHandler extends SQLiteOpenHelper {
 
  private static DatabaseHandler instance;
 
    public static synchronized DatabaseHandler getInstance(Context context)
    {
        if (instance == null)
            instance = new DatabaseHandler(context);
 
        return instance;
    }
 
    private DatabaseHandler(Context context) {
        super(context, DB_NAME, null, DB_VERSION);
    }
 
   
    @Override
    public void onCreate(SQLiteDatabase sqLiteDatabase) {
        
        sqLiteDatabase.execSQL(CREATE_CHAT_TABLE);
        sqLiteDatabase.execSQL(CREATE_HISTORY_TABLE);
        sqLiteDatabase.execSQL(CREATE_ICONS_TABLE);
    }
 
    @Override
    public void onUpgrade(SQLiteDatabase sqLiteDatabase, int oldVersion, int newVersion) {
        try{
            System.out.println("UPGRADE DB oldVersion="+oldVersion+" - newVersion="+newVersion);
            recreateDb(sqLiteDatabase);
        }
        catch (Exception e){e.printStackTrace();}
    }
 
    private void recreateDb(SQLiteDatabase db) {
        // Drop older table if existed
 
        db.execSQL("DROP TABLE IF EXISTS " + TABLE_CHATS);
        db.execSQL("DROP TABLE IF EXISTS " + TABLE_HISTORY);
        db.execSQL("DROP TABLE IF EXISTS " + TABLE_ICONS);
        // Create tables again
        onCreate(db);
    }
 
    @Override
    public void onDowngrade(SQLiteDatabase db, int oldVersion, int newVersion) {
        // super.onDowngrade(db, oldVersion, newVersion);
        System.out.println("DOWNGRADE DB oldVersion=" + oldVersion + " - newVersion=" + newVersion);
    }
 
    private boolean insertChat (Conference conference)throws SQLiteException{
      try {
 
          if (!containsInDB(conference)) {
              SQLiteDatabase database = this.getWritableDatabase();
              ContentValues values = new ContentValues();
              values.put(FIELD_ID,conference.get_id());
              values.put(FIELD_ROOM_NAME, conference.get_name());
              values.put(FIELD_ROOM_JID, conference.get_jid());
              database.insert(TABLE_CHATS, null, values);
              Log.e(App.getAppContext().getPackageName(),
                      "insert " + TABLE_CHATS + conference.toString());
              if (conference.get_chatHistory() != null) {
                  for (ChatMessage message : conference.get_chatHistory()) {
                      if (message.getRoomJID() != null ) {
                      ContentValues valuesHistory = new ContentValues();
                      valuesHistory.put(FIELD_CHAT_ID, conference.get_id());
                      valuesHistory.put(FIELD_SENDER_JID, message.getName());
                      valuesHistory.put(FIELD_MESSAGE, message.getMessage());
                      valuesHistory.put(FIELD_DATE, message.getDate());
                      database.insert(TABLE_HISTORY, null, values);
                      Log.e(App.getAppContext().getPackageName(),
                              "insert " + TABLE_HISTORY + message.toString());
                  }
                  }
              }
              database.close();
          }
 
          return true;
      }
      catch (Exception e) {
          Log.e(App.getAppContext().getPackageName(),e.getMessage());
       return false;
      }
 
    }
 
    private void deleteConference(Conference conference) throws SQLiteException{
        SQLiteDatabase database = this.getWritableDatabase();
        database.delete(TABLE_CHATS, FIELD_ROOM_NAME + "=? AND " + FIELD_ROOM_JID + "=?", new String[]{conference.get_name(), conference.get_jid()});
        database.close();
    }
 
    private boolean insertHistory(long id,ChatMessage message) throws SQLiteException{
        HashMap<String,String> mapReplace = new HashMap<>();
        mapReplace.put("'", "\'");
        if (message.getRoomJID() == null ) return false;
            try {
            SQLiteDatabase database = this.getWritableDatabase();
            ContentValues values = new ContentValues();
            values.put(FIELD_CHAT_ID, id);
            values.put(FIELD_SENDER_JID, message.getName());
            String text = message.getMessage();
            for (String rep : mapReplace.keySet())
            if (text.contains(rep))
                text = text.replace(rep,mapReplace.get(rep));
            values.put(FIELD_MESSAGE, text);
            values.put(FIELD_DATE, message.getDate());
            values.put(FIELD_MY_MSG, (message.getIsme()) ? 1 : 0);
 
            Cursor c = database.rawQuery(queryFindChatMessage(message),null);
            if (!c.moveToFirst()) {
                database.insert(TABLE_HISTORY, null, values);
                Log.e(App.getAppContext().getPackageName(),
                        "insert " + TABLE_HISTORY + " " + message.toString());
            }
            database.close();
        }
        catch (Exception e) {
            Log.e(App.getAppContext().getPackageName(), e.getMessage());
            return false;
        }
        return true;
    }
    private boolean containsInDB(Conference conference) throws SQLiteException{
        SQLiteDatabase database = this.getWritableDatabase();
        Cursor c = database.rawQuery(queryGetId(String.valueOf(conference.get_id())), null);
        boolean result = c.moveToFirst();
        Log.e(App.getAppContext().getPackageName(),
                "containsInDb conference " +
                        conference.get_name() +
                        " result:" + result);
        database.close();
        return result;
    }
 
 
 
 
    /**
     *
     * @param name Room Name
     * @return if record was found in db return his index, else return -1
     */
    public long getIdByJID(String name) throws SQLiteException{
        long id = -1;
        SQLiteDatabase database = this.getWritableDatabase();
        Cursor c = database.rawQuery(queryGetIdByJID(name), null);
        if (c.moveToFirst())
        {
            id = c.getLong(0);
        }
        database.close();
 
        return id;
    }
 
    /**
     *
     * @param conference Save conference
     */
    public void saveHistoryAll(Conference conference) {
/*
        for (ChatMessage cm : conference.get_chatHistory()) {
            insertHistory(conference);
*/    }
    public boolean saveHistory(long id,ChatMessage cm) throws SQLiteException{
 
        return insertHistory(id,cm);
    }
 
    /**
     * Save Chat
     * @param conference conference needing for save
     */
    public boolean saveChat(Conference conference) throws SQLiteException {
        return  insertChat(conference);
    }
 
    /**
     *
     * @param id room id
     * @return return history for parameter conference
     * @throws SQLiteException
     */
    public  ArrayList<ChatMessage> getHistory(String id) throws SQLiteException {
        SQLiteDatabase db = this.getWritableDatabase();
 
 
            Cursor c = db.rawQuery(queryGetHistory(id), null);
            ArrayList<ChatMessage> list = new ArrayList<>();
            if (c.moveToFirst())
            {
                Log.e(App.getAppContext().getPackageName(),"-----Start getHistory-----");
 
                do
                {
                    ChatMessage item = new ChatMessage(
                            c.getString(2), // name
                            c.getString(3),// message
                            c.getLong(1), // id
                            c.getString(4), //date
                            c.getInt(5));   // isMe
                   /* item.setId();
                    item.setMessage();
                    item.setDate();*/
                    list.add(item);
                    Log.e(App.getAppContext().getPackageName(), "get "+item.toString());
                }
                while (c.moveToNext());
            }
 
        return  list;
    }
 
 
    /**
     * Return last message by Id or null
     * @param Id Conference Id
     * @return Last Message by Id
     * @throws SQLiteException
     */
    public ChatMessage getLastMessage(String Id) throws SQLiteException {
        SQLiteDatabase database = this.getWritableDatabase();
        ChatMessage msg = getLastMessageById(database,Id);
        database.close();
        return msg;
    }
 
    private ChatMessage getLastMessageById(SQLiteDatabase db,String Id) throws SQLiteException{
        Cursor c = db.query(TABLE_HISTORY, new String[]{FIELD_CHAT_ID, FIELD_SENDER_JID, FIELD_MESSAGE, FIELD_DATE, FIELD_MY_MSG}, FIELD_CHAT_ID+"=?", new String[]{Id}, null, null,FIELD_ID);
         //db.rawQuery(queryGetLastMessageFromHistory(Id), null);
 
        if (c.moveToLast())
        {
            Log.e(App.getAppContext().getPackageName(),"-----Start get last history: "+Id);
 
 
                ChatMessage item = new ChatMessage(
                        c.getString(1), // name
                        c.getString(2),// message
                        c.getLong(0), // id
                        c.getString(3), //date
                        c.getInt(4));   // isMe
 
 
                Log.e(App.getAppContext().getPackageName(), "get " + item.toString());
 
            return item;
        }
        return null;
    }
 
    /**
     *
     * @return get all chats in database
     * @throws SQLiteException
     */
    public ArrayList<Conference> getAllChats() throws SQLiteException {
        SQLiteDatabase db = this.getWritableDatabase();
 
        Log.e(App.getAppContext().getPackageName()," get all chats ");
        Cursor c = db.rawQuery(queryGetAllChats, null);
        ArrayList<Conference> list = new ArrayList<>();
        if (c.moveToFirst())
        {
 
            do
            {
                Conference conference = new Conference(c.getLong(0),c.getString(1),c.getString(2));
                list.add(conference);
                Log.e(App.getAppContext().getPackageName(),conference.toString());
            }
            while (c.moveToNext());
        }
 
        return list;
    }
 
 
    public boolean saveIcon(long id,Bitmap bmp) {
        try {
            SQLiteDatabase database = this.getWritableDatabase();
            ContentValues values = new ContentValues();
            values.put(FIELD_ID, id);
            values.put(FIELD_ICON, Helper.convertToBase64(bmp));
            database.insert(TABLE_ICONS, null, values);
            Log.e(App.getAppContext().getPackageName(), "Save icons for category with id:"+String.valueOf(id));
            database.close();
        }
        catch (Exception e) {
            Log.e(App.getAppContext().getPackageName(), e.getMessage());
            return false;
        }
        return true;
    }
 
    public HashMap<Long,Bitmap> getIcons() {
        HashMap<Long,Bitmap> map = new HashMap<>();
        SQLiteDatabase db = this.getWritableDatabase();
 
        Log.e(App.getAppContext().getPackageName()," get all icons ");
        try {
 
 
            Cursor c = db.rawQuery(queryGetAllIcons, null);
            if (c.moveToFirst()) {
 
                do {
                    Bitmap bmp = Helper.convertToBitmap(c.getString(1));
                    map.put(c.getLong(0), bmp);
                    Log.e(App.getAppContext().getPackageName(), c.getString(1));
                }
                while (c.moveToNext());
            }
        }
        catch (Exception e) {
            e.printStackTrace();
            Log.e(App.getAppContext().getPackageName(), e.getMessage());
        }
        return map;
    }
}
REALIST07
Автор FAQ
Автор FAQ
 Аватар для REALIST07
174 / 174 / 13
Регистрация: 11.06.2010
Сообщений: 932
26.12.2015, 21:56  [ТС]     Правильное проектирование баз данных при очень частом обращении #4
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
 private final static int    DB_VERSION = 10;
    private final static String DB_NAME = "CHATS";
    //  table name
    private static final String TABLE_ICONS = "ICONS";
    private static final String TABLE_CHATS = "CHATS";
    private static final String TABLE_HISTORY = "HISTORY";
 
    // CHATS Table Columns names
    private static final String FIELD_ID = "Id";
    private static final String FIELD_ROOM_NAME= "Room_name";
    private static final String FIELD_ROOM_JID = "JID";
 
    private static final String FIELD_CHAT_ID = "Chat_Id";
    private static final String FIELD_SENDER_JID = "Sender_JID";
    private static final String FIELD_MESSAGE = "Message";
    private static final String FIELD_DATE = "Date";
    private static final String FIELD_MY_MSG ="My";
 
    private static final String FIELD_CONFERENCE_NAME ="Conference_name" ;
    private static final String FIELD_ICON ="Icon" ;
    /**
     * queries for execute
     */
    private static final String CREATE_ICONS_TABLE =
            "CREATE TABLE "+ TABLE_ICONS+ "("+
                    FIELD_ID + " INTEGER NOT NULL PRIMARY KEY,"+
                    //FIELD_CATEGORY_NAME+ " TEXT,"+
                    FIELD_ICON + " TEXT)";
 
    private static final String CREATE_CHAT_TABLE =
            "CREATE TABLE "+ TABLE_CHATS+ "("+
                    FIELD_ID + " INTEGER NOT NULL PRIMARY KEY,"+
                    FIELD_ROOM_NAME + " TEXT,"+
                    FIELD_ROOM_JID + " TEXT)";
    private static final String CREATE_HISTORY_TABLE =
            "CREATE TABLE "+ TABLE_HISTORY+ "("+
                    FIELD_ID+ " INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,"+
                    FIELD_CHAT_ID+ " INTEGER NOT NULL,"+
                    FIELD_SENDER_JID + " TEXT,"+
                    FIELD_MESSAGE + " TEXT," +
                    FIELD_DATE + " TEXT," +
                    FIELD_MY_MSG + " INTEGER," +
    " FOREIGN KEY (" + FIELD_CHAT_ID  + ") REFERENCES " + TABLE_CHATS + "(" + FIELD_ID + ") ON DELETE CASCADE)";
 
    private static  String queryGetHistory(String id) {
        return  "SELECT * FROM " +TABLE_HISTORY +
            " WHERE "+FIELD_CHAT_ID + "=" + id;
    }
 
    private static  String queryGetLastMessageFromHistory(String id) {
        return  "SELECT MAX("+FIELD_ID+"),* FROM " +TABLE_HISTORY +
                " WHERE "+FIELD_CHAT_ID + "=" + id;//+
              //  " ORDER BY "+FIELD_ID+ " DESC";
    }
 
    private static  String queryGetIdByJID(String name) {
       return  "Select "+FIELD_ID +" FROM "+TABLE_CHATS +
               " WHERE " + FIELD_ROOM_JID + "='"+name+"'";
    }
 
    private static final String queryGetAllChats = "Select * From "+TABLE_CHATS;
    private static final String queryGetAllIcons = "Select * From "+TABLE_ICONS;
    //"create table logins (userId Integer primary key autoincrement, "+ " username text, password text)";
    private static  String queryFindByNameAndJID(Conference conference) {
        return
                "Select * From "+TABLE_CHATS+
                " Where "+FIELD_ROOM_NAME +"='"+ conference.get_name()+"' AND "+
                 FIELD_ROOM_JID +"='"+ conference.get_jid()+"'";
    }
 
    private static  String queryGetId(String id) {
        return "Select * FROM " + TABLE_CHATS+" WHERE "+FIELD_ID + "="+id;
    }
 
    private static  String queryDeleteConference(Conference conference) {
 
        return  "DELETE FROM "+ TABLE_CHATS+" WHERE "+
                FIELD_ROOM_NAME +" ='"+conference.get_name()+"' AND "+
                FIELD_ROOM_JID + " ='" + conference.get_jid()+"'";
    }
 
    private static  String queryFindChatMessage(ChatMessage message) {
 
        String isme = message.getIsme()? String.valueOf(1) : String.valueOf(0);
        return  "SELECT * FROM "+ TABLE_HISTORY+" WHERE "+
                FIELD_CHAT_ID+"="+message.getId()+" AND "+
                FIELD_MESSAGE+"='"+message.getMessage()+"' AND "+
                FIELD_DATE+"='"+message.getId()+"' AND "+
                FIELD_MY_MSG+"="+isme;
    }
Добавлено через 2 минуты
getLastMessageById вызывается в адаптере, а он очень часто перерисовывается
И еще проблема с
Java
1
2
3
4
5
catch (Exception e) {
            Log.e(App.getAppContext().getPackageName(), e.getMessage());
            return false;
        }
        return true;
Добавлено через 12 минут
Нашел статейку, в которой рекомендуют через контент провайдер зайти к решению проблемы,не знаю даже
YuraAAA
 Аватар для YuraAAA
1563 / 1305 / 269
Регистрация: 25.10.2009
Сообщений: 3,424
Записей в блоге: 2
26.12.2015, 23:35     Правильное проектирование баз данных при очень частом обращении #5
Сообщение было отмечено автором темы, экспертом или модератором как ответ
Цитата Сообщение от REALIST07 Посмотреть сообщение
getLastMessageById вызывается в адаптере
Зачем вообще так делать?оО Это неверный подход.
У Вас же есть модели, в них есть данные, их и используйте. А обновляйте только при необходимости.
REALIST07
Автор FAQ
Автор FAQ
 Аватар для REALIST07
174 / 174 / 13
Регистрация: 11.06.2010
Сообщений: 932
27.12.2015, 01:01  [ТС]     Правильное проектирование баз данных при очень частом обращении #6

Не по теме:

Точно! Когда много программирую начинаю допускать нелепые ошибки, у меня класса модели нет!


Ну а вообще с ContentProvider неплохие примеры есть, но для моей задачи хватит и оптимизации
Yandex
Объявления
27.12.2015, 01:01     Правильное проектирование баз данных при очень частом обращении
Ответ Создать тему
Опции темы

Текущее время: 02:04. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru