Поиск совпадений массива в самом себе

Привет, изначально я просто хотел сравнивать тыыыщу текстовых документов по хэшу и выводить совпадения, но время шло и в очередной раз излазив весь инет я понял что вроде-как это анрил?!! Мой вопрос как сделать часть скрипта которая будет брать первую строку из массива и сравнивать со всеми остальными а когда цикл завершен брать вторую свою строку и так же прогонять на совпадения , и так хоть овер100500 строк !??

Массив выглядит примерно так :

Algorithm Hash Path
--------- ---- ----
MD5 96E79218965EB72C92A549DD5A330112 C:\Users\public\10.txt
MD5 7FB1F7D9669342EDD37786A5578F91C9 C:\Users\public\11 — копия.txt
MD5 7FB1F7D9669342EDD37786A5578F91C9 C:\Users\public\11.txt
MD5 E3CEB5881A0A1FDAAD01296D7554868D C:\Users\public\2.txt
MD5 7FB1F7D9669342EDD37786A5578F91C9 C:\Users\public\3.txt
MD5 96E79218965EB72C92A549DD5A330112 C:\Users\public\55.txt
MD5 56BC580EE499E52405CD9CEB17F72CE5 C:\Users\public\77.txt
MD5 FD8F4787AFC3391ECABD104E277B93A4 C:\Users\public\ee.txt

0

Ежели вам не жаль системные ресурсы, можно конечно перебирать все построчно, однако покумекав трошки детальней, вы заметите одну простую вещь: опорой в сравнении строк является сама контрольная сумма файла, а сравнение 'MD5' с 'MD5', если конечно не задан регистрозависимый режим, лишено логики, так как всегда будет истинно.
Сам массив, нужно полагать, вы получаете из CSV файла, так? Можно просто группировать контрольные суммы, например:
А далее просто разбираете полученные группы.
Что касается "овердопупа"... При попытке обойти такой файл предложенным вами методом можно схлопотать как переполнение кучи, так и просто аварийное завершение хоста, по этой причине большие по объему файлы лучше разбирать как БД, скажем, с помощью SQLite.

0

для БД это тривиальная задача, если подобные задачи возникают не единично? то можно и заморочиться, Oracle XE + SQL*Loader например, у мелокмяких в SQL Server express есть графический мастер импорта

0

Уважаемый участник форума, честно,я не совсем вас понял ,ответ на ваш вопрос про csv - нет это не из файла а результат выполнения комманды допустим
cd c://users/public
get-filehash "*.txt" -algorithm md5 и получается то что я скинул в первом посте, я попробовал выгрузил результат в csv файл что бы попробовать вашу комманду но вывод какой то совсем странный, кажется вы хотели убрать из массива "md5" я делал это таким способом - get-filehash "*.txt" -algorithm md5 | Select-Object path,hash
а вот сам вывод :


Path Hash
---- ----
C:\Users\public\10.txt 96E79218965EB72C92A549DD5A330112
C:\Users\public\11 — копия.txt 7FB1F7D9669342EDD37786A5578F91C9
C:\Users\public\11.txt 7FB1F7D9669342EDD37786A5578F91C9
C:\Users\public\2.txt E3CEB5881A0A1FDAAD01296D7554868D
C:\Users\public\3.txt 7FB1F7D9669342EDD37786A5578F91C9
C:\Users\public\55.txt 96E79218965EB72C92A549DD5A330112
C:\Users\public\77.txt 56BC580EE499E52405CD9CEB17F72CE5
C:\Users\public\ee.txt FD8F4787AFC3391ECABD104E277B93A4

0

Не менее уважаемый автор темы, четко и внятно поставленный вопрос сам по себе уже является половиной ответа.
Получим сгруппированные по хэшам (более одного совпадения) значения.

1

Хмм.. очень не плохая попытка, знаете я когда читал книгу Попова вот прям чувствовал что решением должен быть скрипт именно такого плана но почему то нет вывода... Скрипт отрабатывает, никаких ошибок и просто пусто .Так же как допустим нельзя сравнить вручную по строчно из переменной , представьте что тот массив я кинул в переменную! compare-object $a[1] $a[2] в этом случае вывода тоже нет

0

4spec7, Вы задали свой путь для txt-файлов ? Вместо Get-FileHash *.txt --> Get-FileHash C:\Users\public\*.txt

у меня отлично отработал скрипт.

0

и правда работает.. странно что в прошлый раз не получилось ведь в истории тот же самый скрипт. Впрочем не важно) кибер спасибон Грегу и всем остальным^^

0