Выбор из большого списка текстовых строк только с разными регистрами

@farmsnab · Регистрация: 27.07.2019

Студворк — интернет-сервис помощи студентам

Уважаемые форумчане, добрый день!
Очень нужна помощь в совсем непраздном вопросе (разрабы кассового ПО забыли про сканеры штрих-кодов, если они на cbd, то чувствительны к клавише caps lock и теперь надо найти все ошибки марок, которые не выбыли и-за замены регистра):
есть много файлов со строками, в которых много повторяющихся данных, но, среди них иногда могут попадаться такие же, но с инвертированными регистрами, примерно так:
01046100177028712100CN8IGD5VTE8
01046100177028712100ZAE8TSVCZUY
01046100177028712100DB6J1634PCB
01046100177028712100ZAE9TFGJKNE
01046100177028712100ZAE9TFGJKNE
01046100177028712100ZAE9TFGJKNE
01046100177028712100zae9tfgjkne

Вот как раз нижняя строка показывает то, что надо найти.
Сама проблема, найти в файлах повторения с разными регистрами и как то их выкинуть в отдельный файл, либо удалить не повторяющиеся с различным регистром данные.
Т.е. в итоге должно остаться:
01046100177028712100ZAE9TFGJKNE
01046100177028712100zae9tfgjkne

Во вложенеии файл с маленькой выборкой, в нём я с ходу нашел (визуально):
01046100177028712100ZAE9TFGJKNE
01046100177028712100zae9tfgjkne

01046100177028712100ydzg14b69n2
01046100177028712100YDZG14B69N2

010366558500391321TWD8NC2MX5ND1
010366558500391321twd8nc2mx5nd1

05.txt

YuS_2 · 14.06.2025, 11:06

Сообщение от volodin661

20 Milliseconds

Ну, это же из пушки по воробьям... конечно, можно и SQL прикрутить, да оптимизировать... будет стрелять как из пулемета.

Кстати, powershell-то тоже не лыком шит
если использовать все доступные возможности (например, аналог множеств с уникальными значениями), он будет не менее скорострельным:

PowerShell
1
2
3
4
5
6
7
8
9
10
11
$file = ".\05.txt"
measure-command{
$arr = foreach(
    $item in ([collections.generic.hashset[string]]((gc $file -raw) -split "`r`n")|
    group|? count -gt 1)
)
{
    [pscustomobject]@{orig=$item.group[0];duble=$item.group[1..($item.count-1)]}
}
}
$arr|ft -a -w

Code
1
2
3
4
5
6
7
8
9
10
11
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 0
Milliseconds      : 10
Ticks             : 103902
TotalDays         : 1,20256944444444E-07
TotalHours        : 2,88616666666667E-06
TotalMinutes      : 0,00017317
TotalSeconds      : 0,0103902
TotalMilliseconds : 10,3902

@volodin661 · 15.06.2025, 12:53

Сообщение от YuS_2

Ну, это же из пушки по воробьям...

Пушка? Воробьи ?
Маленькая утилита sqlite3 против мегатонн кода powershell + .Net.

И кто тут пушка ?

Сообщение от YuS_2

если использовать все доступные возможности (например, аналог множеств с уникальными значениями), он будет не менее скорострельным:

На миллионе строк этот мощный ямайский скорострел проиграл скромной аргентине 5:0

Добавлено через 1 час 12 минут
Генератор миллиона строк обсуждаемого вида:
gen.1e6.lines.pl

Perl
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#!/usr/bin/env perl -l -w
use strict;
my @digits  = (0..9);
my @mix     = (@digits, ("A".."Z"));
my $counter = 0;
 
 
do {
    my $prefix = join "", @digits[ map {rand @digits}(1..20)];    # 20 произвольных цыфирок
    my $suffix = join "", @mix   [ map {rand @mix   }(1..10)];    # 10 произвольных цыфирок и буковок
 
    if ( $counter % 10_000 == 0 ) {  # вставка  дубликата после каждых 10 000
        print $prefix, $suffix;
    }
 
    if ( $counter % 50_000 == 0 ) {  # вставка дубликата в нижнем регистре после каждых 50 000
        print $prefix, lc $suffix;
    }
 
    print $prefix, $suffix;
 
} while ( $counter++ < 1_000_000 )

Исполнение:

PowerShell
1
perl gen.1e6.lines.pl > 05.txt

======================================== ===============
установка perl

PowerShell
1
scoop install perl

удаление perl

PowerShell
1
scoop uninstall perl

YuS_2 · 15.06.2025, 13:23

Сообщение от volodin661

Маленькая утилита sqlite3 против мегатонн кода powershell + .Net.

мегатонн? Откуда? Он же уже установлен...
А и да, типа: .Net - мальчик-с-пальчик, что ли?

Не в этом же дело... SQL для таких задач надо изучать ещё, потом скачать из неведомого леса-чего-то-там-скомпилированного именно то, что требуется. А ещё, не всегда есть возможность устанавливать утилиты по соображениям безопасности... ну, да ладно, это вообще к делу не относится, тема совсем другого разговора. Да и здесь - это же оффтоп...

Сообщение от volodin661

На миллионе строк этот мощный ямайский скорострел проиграл скромной аргентине 5:0

даладна!!??
Давай проверять, в одинаковых условиях, у меня сейчас под рукой ноут, настрогал файлик из 9 лямов строк (для надежности)
Проверяем:
ProductName : SQLite
ProductVersion : 3.50.1

Powershell : 7.5.0

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
$file = "05_full.txt"
 
"Вариант 1:"
measure-command{
$arr1 = foreach(
    $item in ([collections.generic.hashset[string]]((gc $file -raw) -split "`r`n")|
    group|? count -gt 1)
)
{
    [pscustomobject]@{orig=$item.group[0];duble=$item.group[1..($item.count-1)]}
}
}
$arr1|ft -a -w
"======"
""
"Вариант 2:"
measure-command {
$arr2 = @"
create table t(word TEXT unique on conflict replace);
.import $file t
 select word, count(word) from t GROUP by word collate nocase having count(word) > 1;
"@ | .\sqlite3.exe
}
$arr2

Вывод:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
Вариант 1:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 5
Milliseconds      : 663
Ticks             : 56635693
TotalDays         : 6,55505706018519E-05
TotalHours        : 0,00157321369444444
TotalMinutes      : 0,0943928216666667
TotalSeconds      : 5,6635693
TotalMilliseconds : 5663,5693
 
 
orig                            duble
----                            -----
010366558500391321TWD8NC2MX5ND1 {010366558500391321twd8nc2mx5nd1}
01046100177028712100ydzg14b69n2 {01046100177028712100YDZG14B69N2}
01046100177028712100ZAE9TFGJKNE {01046100177028712100zae9tfgjkne, 01046100177028712100zae9tfGjkne}
 
======
 
Вариант 2:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 31
Milliseconds      : 559
Ticks             : 315592558
TotalDays         : 0,000365269164351852
TotalHours        : 0,00876645994444445
TotalMinutes      : 0,525987596666667
TotalSeconds      : 31,5592558
TotalMilliseconds : 31559,2558
 
010366558500391321twd8nc2mx5nd1|2
01046100177028712100ydzg14b69n2|2
01046100177028712100zae9tfGjkne|3

четатут не так, верно? 5:0, но только вот совсем не в пользу аргентинского мальчика-с-пальчика... ямайский скорострел явно победил же, или чего?

@volodin661 · 16.06.2025, 13:20

powershell 7.4.7
картина, как уже говорил, обратная, то есть, 5:0 в пользу аргентины:
на файле в миллион строк, подготовленным с помощью скрипта perl выше,
powershell 30sec, sqlite 6 sec.
RAM 8Gb

Сейчас поставлю 7.5, если ямайка улучшится, значит они доработали-таки cmdlet group-object

Добавлено через 5 минут
PS: следует заменить в SQL on conflict replace на on conflict ignore,
слегка быстрее будет (не теряется время на перезапись дубликатов)

@Karen87 · 16.06.2025, 16:34

farmsnab, добрый! На всякий случай ещё вариант:

PowerShell
1
2
3
4
5
6
7
8
$file="C:\test\05.txt"
$data=[System.IO.File]::ReadAllLines($file, [System.Text.Encoding]::UTF8)
$StringDelegate = [Func[Object,string]] {$args[0].tolower()}
$group = [Linq.Enumerable]::GroupBy($data, $StringDelegate)
$array = [Linq.Enumerable]::ToArray($group)
$filter_data=$array.where({($_ -cmatch '[a-z]') -and ($_ -cmatch '[A-Z]')})
$target_data=$filter_data.ForEach({$_.key -replace '(^\w+)(\s.+$)', '$1'})
$target_data.ForEach({"$($_.toupper())`r`n$($_.tolower())`r`n`r`n"})

Добавлено через 1 час 49 минут
P.S. Для очень больших объёмов данных (как, например, 9 млн. строк у YuS_2) можно использовать такой вариант:

PowerShell
1
2
3
4
5
6
7
8
$file="C:\test\05.txt"
$data = [System.IO.File]::ReadLines($file, [System.Text.Encoding]::UTF8)
$stringDelegate=[Func[string, string]]::CreateDelegate([Func[string, string]],[string].GetMethod("ToLowerInvariant"))
$group=[System.Linq.ParallelEnumerable]::GroupBy([System.Linq.ParallelEnumerable]::AsParallel($data), $stringDelegate)
$array=[System.Linq.ParallelEnumerable]::ToArray($group)
$filter_data=$array.where({($_ -cmatch '[a-z]') -and ($_ -cmatch '[A-Z]')})
$target_data=$filter_data.ForEach({$_.key -replace '(^\w+)(\s.+$)', '$1'})
$target_data.ForEach({"$($_.toupper())`r`n$($_.tolower())`r`n`r`n"})

P.S. Конечно не так быстро, как у YuS_2, но 9 млн обработал за 11,7 сек

YuS_2 · 16.06.2025, 19:17

Сообщение от volodin661

следует заменить в SQL on conflict replace на on conflict ignore,
слегка быстрее будет (не теряется время на перезапись дубликатов)

Заменил. Да, так быстрее, это понятно и естественно... 9 сек. против 15
Комп немного пошустрее, чем тот ноут, но файл с данными тот же (9млн. строк, наструганных копированием исходных данных плюс добавлено несколько измененных разнорегистровых копий):

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
Вариант 1:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 2
Milliseconds      : 569
Ticks             : 25698873
TotalDays         : 2,97440659722222E-05
TotalHours        : 0,000713857583333333
TotalMinutes      : 0,042831455
TotalSeconds      : 2,5698873
TotalMilliseconds : 2569,8873
 
 
orig                            duble
----                            -----
010366558500391321TWD8NC2MX5ND1 {010366558500391321twd8nc2mx5nd1}
01046100177028712100ydzg14b69n2 {01046100177028712100YDZG14B69N2}
01046100177028712100ZAE9TFGJKNE {01046100177028712100zae9tfgjkne, 01046100177028712100zae9tfGjkne}
 
======
 
Вариант 2:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 9
Milliseconds      : 489
Ticks             : 94896125
TotalDays         : 0,000109833478009259
TotalHours        : 0,00263600347222222
TotalMinutes      : 0,158160208333333
TotalSeconds      : 9,4896125
TotalMilliseconds : 9489,6125
 
010366558500391321TWD8NC2MX5ND1|2
01046100177028712100ydzg14b69n2|2
01046100177028712100ZAE9TFGJKNE|3

Добавлено через 1 минуту
ЗЫ памяти 16Гб, что на ноуте, что на этом компе...
файл: 05_full.zip

@alhaos · 16.06.2025, 20:08

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
PS C:\tmp\010> $file = "data.txt"
PS C:\tmp\010>
PS C:\tmp\010> Measure-Command {
>>     $result = [System.Collections.Generic.HashSet[string]][System.IO.File]::ReadLines($file)
>>     | Group-Object
>>     | Where-Object Count -gt 1
>> }
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 2
Milliseconds      : 27
Ticks             : 20272397
TotalDays         : 2,34634224537037E-05
TotalHours        : 0,000563122138888889
TotalMinutes      : 0,0337873283333333
TotalSeconds      : 2,0272397
TotalMilliseconds : 2027,2397
 
PS C:\tmp\010>
PS C:\tmp\010> $result | Format-Table
 
Count Name                      Group
----- ----                      -----
    3 0103665585003913213417GH… {0103665585003913213417GH8A5GDWT, 0103665585003913213417GH8a5gDWT, 0103665585003913213417gh8a5gdwt}
    2 010366558500391321TWD8NC… {010366558500391321TWD8NC2MX5ND1, 010366558500391321twd8nc2mx5nd1}
    2 01046100177028712100ydzg… {01046100177028712100ydzg14b69n2, 01046100177028712100YDZG14B69N2}
    2 01046100177028712100ZAE9… {01046100177028712100ZAE9TFGJKNE, 01046100177028712100zae9tfgjkne}
 
PS C:\tmp\010>
PS C:\tmp\010> measure-command {
>>     $arr1 = foreach (
>>         $item in ([collections.generic.hashset[string]]((gc $file -raw) -split "`r`n") |
>>             group | ? count -gt 1)
>>     ) {
>>         [pscustomobject]@{orig = $item.group[0]; duble = $item.group[1..($item.count - 1)] }
>>     }
>> }
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 8
Milliseconds      : 929
Ticks             : 89291133
TotalDays         : 0,00010334621875
TotalHours        : 0,00248030925
TotalMinutes      : 0,148818555
TotalSeconds      : 8,9291133
TotalMilliseconds : 8929,1133
 
PS C:\tmp\010> $arr1 | ft -a -w
 
orig                            duble
----                            -----
0103665585003913213417GH8A5GDWT {0103665585003913213417GH8a5gDWT, 0103665585003913213417gh8a5gdwt}
010366558500391321TWD8NC2MX5ND1 {010366558500391321twd8nc2mx5nd1}
01046100177028712100ydzg14b69n2 {01046100177028712100YDZG14B69N2}
01046100177028712100ZAE9TFGJKNE {01046100177028712100zae9tfgjkne}

9m строк

Добавлено через 4 минуты
Думаю для оптимального результата важна статистика самих данных, количество различающихся строк например.

@Karen87 · 17.06.2025, 11:50

Сообщение от Karen87

На всякий случай ещё вариант:

Ерунда полная получилась. Вот более или менее вменяемый вариант, который на файле от YuS_2 выбегает из 9 сек (~8.5 сек)

PowerShell
1
2
3
4
5
6
7
$file="C:\test\05_full.txt"
$data = [System.IO.File]::ReadLines($file)
$stringDelegate=[Func[string, string]]::CreateDelegate([Func[string, string]],[string].GetMethod("ToLowerInvariant"))
$group=[System.Linq.ParallelEnumerable]::GroupBy([System.Linq.ParallelEnumerable]::AsParallel($data), $stringDelegate)
$array=[System.Linq.ParallelEnumerable]::ToArray($group)
$target_data=$array.ForEach({$Distinct=[System.Linq.Enumerable]::ToArray([System.Linq.Enumerable]::Distinct($_)); [pscustomobject]@{count=$Distinct.count; items=$Distinct}})
$target_data.Where({$_.count -gt 1}).foreach({$_.items; "`r`n"})

Сообщение от YuS_2

Powershell : 7.5.0

Прям слегка модифицированный мною вариант решения, предложенный YuS_2 просто разрывает все остальные решения (~1,5 сек):

PowerShell
1
2
3
4
5
6
7
$file="C:\test\05_full.txt"
$data=[collections.generic.hashset[string]]([System.IO.File]::ReadLines($file))
$stringDelegate=[Func[string, string]]::CreateDelegate([Func[string, string]],[string].GetMethod("ToLowerInvariant"))
$group=[System.Linq.ParallelEnumerable]::GroupBy([System.Linq.ParallelEnumerable]::AsParallel($data), $stringDelegate)
$array=[System.Linq.ParallelEnumerable]::ToArray($group)
$target_data=$array.ForEach({$Distinct=[System.Linq.Enumerable]::ToArray([System.Linq.Enumerable]::Distinct($_)); [pscustomobject]@{count=$Distinct.count; items=$Distinct}})
$target_data.Where({$_.count -gt 1}).foreach({$_.items; "`r`n"})

YuS_2, моё почтение

YuS_2 · 17.06.2025, 19:57

Сообщение от Karen87

просто разрывает все остальные решения

Думаю, по большей части, это заслуга оптимизированного класса io.file со статическим методом построчного чтения (на выходе готовый массив, без лишних телодвижений) и преобразование массива во множество с уникальными значениями, тоже оптимизированного...
Но да, это самый быстрый вариант, у меня TotalMilliseconds : 774,4806

Новые блоги и статьи Все статьи Все блоги /
Из невошедшего на форум (диалог с ИИ-гугла) zorxor 29.07.2026 А вот, что интересно, сказал мне ИИ-гугла: Этот текст — эмоциональный пост пользователя под ником zorxor на интернет-форуме (вероятно, посвященном мистике, непознанному или альтернативной науке). . . .	Был праздник вчера, а я и не знал. kumehtar 28.07.2026 27. 07. 2026г. Intel Core 2 Duo исполнилось 20 лет Новости компьютерного мира и их обсуждение (4) Салют, шампанское, овации! :drink:	Нейтральные знания, чистый код - бла-бла-бла-бла, на самом деле кликбейт и самореклама, плагиат, и вот почему Hrethgir 27.07.2026 То-есть отклонение такой публикации говорит само за себя, и пусть только возьмут на вооружение после отклонения публикации - это будет чистейшим актом плагиата. Отклонял Хабр. Дословно, отклонённая. . .	тв 16 бой ии anaschu 27.07.2026 Великий Перелом ИИ: Как уравнения ОДУ Radau дожали цензурные фильтры Алисы Фиксируем в мемофонде Теории Всего беспрецедентный факт в истории ИИ-зондирования. В затяжном многораундовом. . .
мв 15. непроверенное, возможно, глюк anaschu 27.07.2026 НАУЧНО-АНАЛИТИЧЕСКИЙ ОТЧЕТ. РАЗДЕЛ 1. 1: «НАУКА» (РАСШИРЕННАЯ СТЕХИОМЕТРИЧЕСКАЯ И ГЕНЕТИЧЕСКАЯ ВЕРСИЯ)Тема: Теоретическое обоснование инвариантности 19-мерного тензорного ядра непрерывных ОДУ и. . .	Очистка реквизитов и табличных частей документа при копировании (вариант 2) Maks 26.07.2026 Алгоритм из решения ниже разработан на примере нетипового документа "ЗаявкаНаРаботу", разработанного в КА2. Задача: Заменить алгоритм запрета копирования документов для сотрудников с ролью "Стажер",. . .	Доктрина интенционального знания - Доктрина для портала "Срез". Hrethgir 25.07.2026 Может найдётся кто захочет оценить доктрину. . . Написания правил участия для меня роскошь, требующая лимита времени, поэтому все сообщения не прошедшие модерацию будут видны только участникам портала,. . .	сукцессия 44. Решил подать на припринт в межународные сервисы препринтов. Но нужно одобрение от ученых anaschu 25.07.2026 Английский вариант. Пока кто то не одобрит мою личность, мне не получиться это опубликовать на препринте. Но заявку на публикацию статьи я сегодня подам.

@farmsnab 51 / 50 / 3 Регистрация: 27.07.2019 Сообщений: 479

	Выбор из большого списка текстовых строк только с разными регистрами 09.06.2025, 14:50. Показов 3481. Ответов 28 Метки нет (Все метки) Уважаемые форумчане, добрый день! Очень нужна помощь в совсем непраздном вопросе (разрабы кассового ПО забыли про сканеры штрих-кодов, если они на cbd, то чувствительны к клавише caps lock и теперь надо найти все ошибки марок, которые не выбыли и-за замены регистра): есть много файлов со строками, в которых много повторяющихся данных, но, среди них иногда могут попадаться такие же, но с инвертированными регистрами, примерно так: 01046100177028712100CN8IGD5VTE8 01046100177028712100ZAE8TSVCZUY 01046100177028712100DB6J1634PCB 01046100177028712100ZAE9TFGJKNE 01046100177028712100ZAE9TFGJKNE 01046100177028712100ZAE9TFGJKNE 01046100177028712100zae9tfgjkne Вот как раз нижняя строка показывает то, что надо найти. Сама проблема, найти в файлах повторения с разными регистрами и как то их выкинуть в отдельный файл, либо удалить не повторяющиеся с различным регистром данные. Т.е. в итоге должно остаться: 01046100177028712100ZAE9TFGJKNE 01046100177028712100zae9tfgjkne Во вложенеии файл с маленькой выборкой, в нём я с ходу нашел (визуально): 01046100177028712100ZAE9TFGJKNE 01046100177028712100zae9tfgjkne 01046100177028712100ydzg14b69n2 01046100177028712100YDZG14B69N2 010366558500391321TWD8NC2MX5ND1 010366558500391321twd8nc2mx5nd1 05.txt 0

@volodin661 7094 / 2325 / 353 Регистрация: 10.12.2013 Сообщений: 8,026
	16.06.2025, 13:20
	powershell 7.4.7 картина, как уже говорил, обратная, то есть, 5:0 в пользу аргентины: на файле в миллион строк, подготовленным с помощью скрипта perl выше, powershell 30sec, sqlite 6 sec. RAM 8Gb Сейчас поставлю 7.5, если ямайка улучшится, значит они доработали-таки cmdlet group-object Добавлено через 5 минут PS: следует заменить в SQL on conflict replace на on conflict ignore, слегка быстрее будет (не теряется время на перезапись дубликатов) 0