Найти файлы с одинаковыми данными

@DavidJarr · Регистрация: 17.08.2017

Студворк — интернет-сервис помощи студентам

Добрый день, у меня есть 2 папки: Start и End , в папке Start есть .txt файлы некоторые из них одинаковые(имеют одинаковые данные, но названия у всех разные), мне нужно пройтись по файлам, и в папку End переписать только по одной копии файла, т.е. если в 5 файлах одинаковые данные - в папку End переписать только один
Как это лучше всего реализовать?

YuS_2 · 07.03.2018, 14:54

Сообщение от DavidJarr

в папку End переписать только по одной копии файла, т.е. если в 5 файлах одинаковые данные

Копии файлов и одинаковые данные - это не эквиваленты
Если файлы являются копиями друг друга, но с различными наименованиями, то:

PowerShell
1
2
3
$src = 'c:\Start\'
$dst = 'c:\End\'
dir $src -file|get-filehash|sort hash -uni|select path|%{copy $_.path "$dst"}

@DavidJarr · 07.03.2018, 15:05 **[ТС]**

YuS_2, да, то что нужно, спасибо

@KDE777 · 07.03.2018, 15:49

Не по теме:

Сообщение от YuS_2

dir $src -file|get-filehash|sort hash -uni|select path|%{copy $_.path "$dst"}

На всякий случай: Copy-Item умеет сразу понимать список (без ForEach-Object)

PowerShell
1
cp (ls $src -file|Get-FileHash|sort hash -uni).Path $dst

greg zakharov · 08.03.2018, 11:15

Хм...

Кликните здесь для просмотра всего текста

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
PS E:\sandbox> ls .\collisions
 
    Каталог: E:\sandbox\collisions
 
 
Mode                LastWriteTime     Length Name
----                -------------     ------ ----
-a---        21.02.2017     22:35      11264 app.exe
-a---        31.01.2018     13:19      11776 poc.pdf
... # вывод урезан
 
# первый файл - обычный PE
PS E:\sandbox> xxd -l 120 .\collisions\app.exe
00000000: 4d5a 9000 0300 0000 0400 0000 ffff 0000  MZ..............
00000010: b800 0000 0000 0000 4000 0000 0000 0000  ........@.......
00000020: 0000 0000 0000 0000 0000 0000 0000 0000  ................
00000030: 0000 0000 0000 0000 0000 0000 f000 0000  ................
00000040: 0e1f ba0e 00b4 09cd 21b8 014c cd21 5468  ........!..L.!Th
00000050: 6973 2070 726f 6772 616d 2063 616e 6e6f  is program canno
00000060: 7420 6265 2072 756e 2069 6e20 444f 5320  t be run in DOS
00000070: 6d6f 6465 2e0d 0d0a                      mode....
 
# второй - PDF
PS E:\sandbox>  xxd -l 120 .\collisions\poc.pdf
00000000: 2550 4446 2d31 2e34 0d25 e2e3 cfd3 0d0a  %PDF-1.4.%......
00000010: 3233 3638 2030 206f 626a 0d3c 3c20 0d2f  2368 0 obj.<< ./
00000020: 4c69 6e65 6172 697a 6564 2031 200d 2f4f  Linearized 1 ./O
00000030: 2032 3337 3020 0d2f 4820 5b20 3131 3934   2370 ./H [ 1194
00000040: 2031 3637 3131 205d 200d 2f4c 2032 3130   16711 ] ./L 210
00000050: 3331 3230 200d 2f45 2036 3030 3639 200d  3120 ./E 60069 .
00000060: 2f4e 2034 3832 200d 2f54 2032 3035 3536  /N 482 ./T 20556
00000070: 3430 200d 3e3e 200d                      40 .>> .
 
# а теперь медетируем над результатом
PS E:\sandbox> openssl dgst -r -sha256 .\collisions\*
7e64c0d22d5584eab6d68d969a7ca351d05bda74216e7a3cbcac2db7ed57020d *.\collisions\app.exe
7e64c0d22d5584eab6d68d969a7ca351d05bda74216e7a3cbcac2db7ed57020d *.\collisions\poc.pdf
... # снова вывод урезан

Такие коврижки.

YuS_2 · 08.03.2018, 14:18

Сообщение от greg zakharov

Такие коврижки.

Ну, вероятность такой коллизии исчезающе мала, если только не задаться целью создать её специально

тем не менее, всегда же есть возможность поменять алгоритм на более внушительный...скажем -alg SHA512

Новые блоги и статьи Все статьи Все блоги /
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .

@DavidJarr 0 / 0 / 2 Регистрация: 17.08.2017 Сообщений: 118

	Найти файлы с одинаковыми данными 07.03.2018, 13:05. Показов 1472. Ответов 5 Метки files, powershell (Все метки) Добрый день, у меня есть 2 папки: Start и End , в папке Start есть .txt файлы некоторые из них одинаковые(имеют одинаковые данные, но названия у всех разные), мне нужно пройтись по файлам, и в папку End переписать только по одной копии файла, т.е. если в 5 файлах одинаковые данные - в папку End переписать только один Как это лучше всего реализовать? 0

@DavidJarr 0 / 0 / 2 Регистрация: 17.08.2017 Сообщений: 118
	07.03.2018, 15:05 [ТС]
	YuS_2, да, то что нужно, спасибо 0

Найти файлы с одинаковыми данными

Решение