Добавление множества записей в SQLite за одну транзакцию на примере Qt C++

@Rose_rose · Регистрация: 12.03.2014

Author24 — интернет-сервис помощи студентам

Доброе утро!

Передо мной стоит задача ускорить запись данных в БД. Бд использую SQLite, пишу на С++ Qt. Ознакомилась с интерестной статей, посвященной данному вопросу. В которой предлагался следующий вариант для ускорения записи в БД: увеличить количество insert-ов в одной транзакции. Безусловно, это увеличивает риск потери информации, но в то же время позволяет более оперативно добавлять данные в БД.

Ссылка на саму статью: http://devpractice.ru/fast-insert-in-sqlite/

Исходя из этого я попыталась реализовать эту идею следующим образом:

C++ (Qt)

.h 
    QSqlDatabase db;
    QSqlQuery *query;
 
    void connectDb();
    void writeBd();

C++ (Qt)

.cpp
 
// Данный метод вызывается в конструкторе класса
void facadeBd::connectDb()
{
    db = QSqlDatabase::addDatabase("QSQLITE");
    db.setDatabaseName("data_drone.db");
    if(db.open())
        query = new QSqlQuery(db);
    else
        query = 0;
 
    qDebug()<<"connectDataBase()"<<db.open();
}
 
bool facadeBd::execAdd(/*QString request*/)
{
    qDebug()<<"ExecAdd";
 
    if(!query)
        return false;
 
    query->clear();
    query->prepare("INSERT INTO test VALUES (?,?);");
 
    QVariantList name;
    name<<"1.0"<<"1.1"<<"1.2"<<"1.3"<<"1.4"<<"1.5"<<"1.6"<<"1.7"<<"1.8"<<"1.9"<<"2.0"<<"2.1"<<"2.2"<<"2.3"<<QVariant(QVariant::String);
    query->addBindValue(name);
 
    QVariantList age;
    age<<"1.0"<<"1.1"<<"1.2"<<"1.3"<<"1.4"<<"1.5"<<"1.6"<<"1.7"<<"1.8"<<"1.9"<<"2.0"<<"2.1"<<"2.2"<<"2.3"<<QVariant(QVariant::String);
    query->addBindValue(age);
 
    db.transaction();                      //Начало транзации
    if (!query->execBatch(QSqlQuery::ValuesAsColumns))      //Вставка пачки данных в базу данных
    {
        qDebug()<<"request"<<query->executedQuery();
        QString error = query->lastError().text();
        qDebug()<<"Работа с БД. " +error;
        db.rollback();
        return false;
    }
    else
    {
       db.commit();
        return true;
    }
 
}

В результате выполнения кода возникает след. ошибка при попытке записи в БД: Parameter count mismatch

Также подскажите пожалуйста какие еще способы можно предпринять для организации ускорения записи в БД? Может кто-то сможет поделиться своим опытом, как оптимальнее работать с БД

@Slip. · 02.02.2017, 14:10

Если у вас запись данных в БД идет параллельно с чем-то, например, с работой пользователем, то было бы правильнее выделить работу с БД в отдельный поток, плюс добавить очередь
То есть у вас есть поток для работы с БД и поток для всего остального (ГУИ, например)
Между потоками у вас есть один контейнер (например, QQueue), в который вы из одного потока данные запихиваете, а в другом вынимаете и записываете их в БД
Таким образом по мере наполнения очереди-контейнера у вас будет происходить запись, а остальная работа будет продолжаться

@Slip. 93 / 93 / 33 Регистрация: 17.03.2012 Сообщений: 536
	02.02.2017, 14:10	2
	Если у вас запись данных в БД идет параллельно с чем-то, например, с работой пользователем, то было бы правильнее выделить работу с БД в отдельный поток, плюс добавить очередь То есть у вас есть поток для работы с БД и поток для всего остального (ГУИ, например) Между потоками у вас есть один контейнер (например, QQueue), в который вы из одного потока данные запихиваете, а в другом вынимаете и записываете их в БД Таким образом по мере наполнения очереди-контейнера у вас будет происходить запись, а остальная работа будет продолжаться 0

Опции темы