Как фильтровать большой объем данных?

@Env · Регистрация: 24.01.2017

Author24 — интернет-сервис помощи студентам

использую QSortFilterProxyModel

я вначале загружаю файл, скажем 6 Мегобайт
все это загружается, через секунду отображает в таблице
потом все это фильтруется. Вот такое вот написал:

строк больше 66к

C++ (Qt)

bool SortFilterProxyModel::filterAcceptsRow(int sourceRow, const QModelIndex & sourceParent) const
{
    if (m_include || m_exclude)
    {
        for (int i = 0; i < sourceModel()->columnCount(); i++)
        {
            QModelIndex index = sourceModel()->index(sourceRow, i, sourceParent);
            QString str = sourceModel()->data(index).toString();
 
            if ((str.contains(m_inc1) && !m_inc1.isEmpty())
                || (str.contains(m_inc2) && !m_inc2.isEmpty())
                || (str.contains(m_inc3) && !m_inc3.isEmpty()))
 
                return true;
            else return false;
        }
    }
    return true;
}

этот код работает немного дольше из-за того что он проходит по всем клеткам таблицы
Есть три разные строки которые я ищу.
Вот в чем проблема. Как это оптимизировать?

C++ (Qt)

1	QString m_inc1= 66666;

отображает секунд через 7 примерно

Добавлено через 8 минут
А ведь это только которые включают подстроку. А что будет если добавить по мимо этого исключающую...

Добавлено через 4 минуты
Я тут еще понял, что у меня колонки невидимые учитывает

@terriblemike · 26.06.2018, 15:53

Чтобы как-то ускорить, можно разбить условие и сделать 3 if () return; вместо условия, но это не сильно ускорит обработку

Сообщение от Env

if ((str.contains(m_inc1) && !m_inc1.isEmpty()) || (str.contains(m_inc2) && !m_inc2.isEmpty()) || (str.contains(m_inc3) && !m_inc3.isEmpty())) return true;

Добавлено через 7 минут
Если поиск может быть регистронезависимым, то попробуйте использовать флаг Qt::CaseInsensitive в contains

Добавлено через 2 минуты
хотя не уверен что мой последний совет ускорит процесс, скорее наоборот

@nmcf · 26.06.2018, 19:03

Так там строки или числа? Что за 66666?

oxotnik · 26.06.2018, 19:08

А зачем бегать по всей модели, когда в данный метод приходит конкретный индекс, который просит его отфильтровать?

@Env · 27.06.2018, 08:06 **[ТС]**

нет. Он возвращает парента этой строки (нужно для иерархической структуры) и номер строки. Следовательно, я должен пробегаться по всем колонкам, а не только по одной. Находить индекс ее, узнавать то, что она содержит.. и сравнивать каждую колонку в каждой строке
Returns true if the item in the row indicated by the given source_row and source_parent should be included in the model; otherwise returns false.
The default implementation returns true if the value held by the relevant item matches the filter string, wildcard string or regular expression.

Добавлено через 1 час 13 минут
не возвращает, а принмает..

@TRam_ · 27.06.2018, 10:42

Можно попробовать часть условий вынести из цикла:

C++

bool SortFilterProxyModel::filterAcceptsRow(int sourceRow, const QModelIndex & sourceParent) const
{
    if (m_include || m_exclude)
    {
        if(m_inc1.isEmpty() && m_inc2.isEmpty() && m_inc3.isEmpty())
            return false;
 
        bool res_incl[3] = {m_inc1.isEmpty(), m_inc2.isEmpty(), m_inc3.isEmpty()};
 
        for (int i = 0; i < sourceModel()->columnCount(); i++)
        {
            QModelIndex index = sourceModel()->index(sourceRow, i, sourceParent);
            QString str = sourceModel()->data(index).toString();
 
            if ((res_incl[0] && str.contains(m_inc1))
                || (res_incl[1] && str.contains(m_inc2))
                || (res_incl[2] && str.contains(m_inc3)))
 
                return true;
            else
                return false;
        }
    }
    return true;
}

@terriblemike 59 / 49 / 19 Регистрация: 16.06.2015 Сообщений: 206
	26.06.2018, 15:53	2
	Чтобы как-то ускорить, можно разбить условие и сделать 3 if () return; вместо условия, но это не сильно ускорит обработку Сообщение от Env if ((str.contains(m_inc1) && !m_inc1.isEmpty()) \|\| (str.contains(m_inc2) && !m_inc2.isEmpty()) \|\| (str.contains(m_inc3) && !m_inc3.isEmpty())) return true; Добавлено через 7 минут Если поиск может быть регистронезависимым, то попробуйте использовать флаг Qt::CaseInsensitive в contains Добавлено через 2 минуты хотя не уверен что мой последний совет ускорит процесс, скорее наоборот 1

@nmcf 7784 / 6553 / 2982 Регистрация: 14.04.2014 Сообщений: 28,615
	26.06.2018, 19:03	3
	Так там строки или числа? Что за 66666? 0

oxotnik 1665 / 1134 / 80 Регистрация: 21.08.2008 Сообщений: 4,734 Записей в блоге: 1
	26.06.2018, 19:08	4
	А зачем бегать по всей модели, когда в данный метод приходит конкретный индекс, который просит его отфильтровать? 0

@Env 10 / 8 / 4 Регистрация: 24.01.2017 Сообщений: 111
	27.06.2018, 08:06 [ТС]	5
	нет. Он возвращает парента этой строки (нужно для иерархической структуры) и номер строки. Следовательно, я должен пробегаться по всем колонкам, а не только по одной. Находить индекс ее, узнавать то, что она содержит.. и сравнивать каждую колонку в каждой строке Returns true if the item in the row indicated by the given source_row and source_parent should be included in the model; otherwise returns false. The default implementation returns true if the value held by the relevant item matches the filter string, wildcard string or regular expression. Добавлено через 1 час 13 минут не возвращает, а принмает.. 0

	27.06.2018, 10:42

Опции темы