Поиск одинаковых по содержанию файлов

@Baumanetc · Регистрация: 11.11.2019

Студворк — интернет-сервис помощи студентам

Всем здравствуйте

Помогите, пожалуйста, написать программу, которая на вход получает путь к папке, а на выходе возвращает сгруппированные названия одинаковых по содержанию файлов.
На выходе должен получиться словарь, где ключом будет хэш файла, а значением массив имен файлов. Раньше с файлами и хэшами не работал. Почитал, конечно, кое-что в сети, но дальше, чем получить список файлов по указанному пути и вычислить хэш конкретного файла не продвинулся.

Python
1
2
3
def filesList(dir):
    files = os.listdir(dir)
    return files

Python
1
2
3
4
5
6
7
8
9
def get_hash_md5(file):
    with open(file, 'rb') as f:
        m = hashlib.md5()
        while True:
            data = f.read(8192)
            if not data:
                break
            m.update(data)
        return m.hexdigest()

Поэтому прошу помощи у сообщества.

@Semen-Semenich · 22.06.2020, 21:30

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import os
import hashlib
 
def get_hash_md5(file):
    with open(file, 'rb') as f:
        m = hashlib.md5()
        while True:
            data = f.read(8192)
            if not data:
                break
            m.update(data)
        return m.hexdigest()
 
 
dct ={}
 
files = os.listdir() # в скобках путь к папке
for file in files:
    key = get_hash_md5(file)
    dct[key] = dct.get(key, []) + [file]
 
print(dct)

вроде так. проверить не судьба, нет папки с одинаковым содержанием в файлах

@Baumanetc · 23.06.2020, 08:36 **[ТС]**

Просто создал папку Temp в корне С и в ней 4 текстовых файла (3 с одинаковым содержимым). Указал путь к ней в скрипте. Выдает ошибку: FileNotFoundError: [Errno 2] No such file or directory: '1.txt'. По указанному пути к папке такой файл есть (ставил print в цикле, нашел 4 файла, все ок). Ругается на строку

Python
1
with open(file, 'rb') as f:

и на

Python
1
key = get_hash_md5(file)

@Semen-Semenich · 23.06.2020, 18:09

Сообщение от Baumanetc

with open(file, 'rb') as f:

вы же пытаетесь прочитать файл по имени а питон не знает что этот файл находиться в корне с в папке temp поэтому ищет в той папке откуда запущен скрипт. тут нужен полный путь к файлу. что то я это упустил вчера.

Python
1
2
3
4
5
6
7
8
9
dct ={}
path = f'C:\Temp' # путь к папке
files = os.listdir(path) 
for name in files:
    file = f'{path}\{name}'
    key = get_hash_md5(file)
    dct[key] = dct.get(key, []) + [name]
 
print(dct)

@Baumanetc · 24.06.2020, 09:34 **[ТС]**

Огромное спасибо, Semen-Semenich. Все получилось

Новые блоги и статьи Все статьи Все блоги /
Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .	Уведомление о неверно выбранном значении справочника Maks 06.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .	Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .
Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .	Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .	Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .

Поиск одинаковых по содержанию файлов

Решение

Решение

@Baumanetc 5 / 5 / 1 Регистрация: 11.11.2019 Сообщений: 143 Записей в блоге: 2
	24.06.2020, 09:34 [ТС]
	Сообщение было отмечено DobroAlex как решение Решение Огромное спасибо, Semen-Semenich. Все получилось 0