Нужен алгоритм поиска дубликатов файлов

Сразу скажут что один алгоритм я уже осуществил, но других алгоритмов я не знаю, просто интуитивно понял.
1. Имеется окно для drag-and-drop каталогов, куда перетягиваются каталоги и далее происходит поиск в цикле файлов по каждому добавленному каталогу.
2. Для того, чтоб не хэшировать все файлы, а только дубликаты, то сначала за первый проход создаётся массив (размер в байтах|путь)
3. Далее сортировка массива по размеру (время выполнения пропорционально квадрату кол. элементов).
4. Далее цикл проверяющий повтор размера, т.е. в цикле перебирается каждый элемент массива с хранением в цикле предыдущего элемента массива. При совпадении предыдущего и последующего элемента массива (совпадение размеров) происходит создание временного массива в который добавляется текущий и предыдущий элемент. За счёт тригеров происходит переключение состояния цикла "режим совпадения" при последующем совпадении добавляется только текущий элемент. Если последующий элемент несовпадает, то происходит переключение на временно созданный массив.
5. Временно созданный массив - это массив хэш MD5 (хэш MD5|путь). Предыдущий цикл прерывается на обработку временного цикла, который аналогичен с массивом размера/пути, т.е. в цикле проверяется совпадение MD5 и если оно происходит, то в ListView добавляется группы совпавших MD5, вернее пути с Checkbox.
6. Все дубликаты, кроме первого помечаются галочками.

При тесте выяснил, что торможение создаёт обновление окна.
В чистов виде (только поиск дубликатов без вывода чекбоксов и строки состояния) каталог Windows (12000 файлов) обрабатывается за 30 сек. После добавления стилей ListView (первый дубликат отличается по цвету и фону и расстановка галочек) и вывода в строку состояния статистику по каждому файлу в момент перебора в цикле (имя/всего файлов/кол. совп. по разм./кол. дубликатов/время) увеличилось время обработки до 2,5 минут.

Интересуют другие варианты алгоритма или способ оптимизировать скорость выполнения.

0

Далее сортировка массива по размеру (время выполнения пропорционально квадрату кол. элементов).

quicksort дает n*log2(n) действий

В чистов виде (только поиск дубликатов без вывода чекбоксов и строки состояния) каталог Windows (12000 файлов) обрабатывается за 30 сек.

Чего-то долго
Сколько раз при этому вычисляется MD5 ?

Вообще стоит наверное сделать отдельный поток вычисления дубликатов
Чтобы GUI не подвисал на время счета

0

Сколько раз при этому вычисляется MD5 ?

примерно 3000 файлов, посмотреть и попробовать можно здесь. Вообще то я сравнивал с другой прогой, результаты приблизительно одинаковые, хотя многое зависит от отдельных этапов. Например CloneSpy быстрее и удобнее, проверил ту же папку Windows за 12 сек.

Вообще стоит наверное сделать отдельный поток вычисления дубликатов

это к сожалению не получится, так как использую AutoIt3, в нём нет многопоточности. В конце каждого цикла/файла обновляется вывод в строку состояния. Могу разгрузить обновление гуи за счёт вывода данных для файлов проверяемых MD5, а не всех подряд. Всё равно они слишком быстро мелькают, а те что вычисляются c MD5 можно успеть прочитать.

0