Выбор из большого списка текстовых строк только с разными регистрами

@farmsnab · Регистрация: 27.07.2019

Студворк — интернет-сервис помощи студентам

Уважаемые форумчане, добрый день!
Очень нужна помощь в совсем непраздном вопросе (разрабы кассового ПО забыли про сканеры штрих-кодов, если они на cbd, то чувствительны к клавише caps lock и теперь надо найти все ошибки марок, которые не выбыли и-за замены регистра):
есть много файлов со строками, в которых много повторяющихся данных, но, среди них иногда могут попадаться такие же, но с инвертированными регистрами, примерно так:
01046100177028712100CN8IGD5VTE8
01046100177028712100ZAE8TSVCZUY
01046100177028712100DB6J1634PCB
01046100177028712100ZAE9TFGJKNE
01046100177028712100ZAE9TFGJKNE
01046100177028712100ZAE9TFGJKNE
01046100177028712100zae9tfgjkne

Вот как раз нижняя строка показывает то, что надо найти.
Сама проблема, найти в файлах повторения с разными регистрами и как то их выкинуть в отдельный файл, либо удалить не повторяющиеся с различным регистром данные.
Т.е. в итоге должно остаться:
01046100177028712100ZAE9TFGJKNE
01046100177028712100zae9tfgjkne

Во вложенеии файл с маленькой выборкой, в нём я с ходу нашел (визуально):
01046100177028712100ZAE9TFGJKNE
01046100177028712100zae9tfgjkne

01046100177028712100ydzg14b69n2
01046100177028712100YDZG14B69N2

010366558500391321TWD8NC2MX5ND1
010366558500391321twd8nc2mx5nd1

05.txt

YuS_2 · 14.06.2025, 11:06

Сообщение от volodin661

20 Milliseconds

Ну, это же из пушки по воробьям... конечно, можно и SQL прикрутить, да оптимизировать... будет стрелять как из пулемета.

Кстати, powershell-то тоже не лыком шит
если использовать все доступные возможности (например, аналог множеств с уникальными значениями), он будет не менее скорострельным:

PowerShell
1
2
3
4
5
6
7
8
9
10
11
$file = ".\05.txt"
measure-command{
$arr = foreach(
    $item in ([collections.generic.hashset[string]]((gc $file -raw) -split "`r`n")|
    group|? count -gt 1)
)
{
    [pscustomobject]@{orig=$item.group[0];duble=$item.group[1..($item.count-1)]}
}
}
$arr|ft -a -w

Code
1
2
3
4
5
6
7
8
9
10
11
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 0
Milliseconds      : 10
Ticks             : 103902
TotalDays         : 1,20256944444444E-07
TotalHours        : 2,88616666666667E-06
TotalMinutes      : 0,00017317
TotalSeconds      : 0,0103902
TotalMilliseconds : 10,3902

@volodin661 · 15.06.2025, 12:53

Сообщение от YuS_2

Ну, это же из пушки по воробьям...

Пушка? Воробьи ?
Маленькая утилита sqlite3 против мегатонн кода powershell + .Net.

И кто тут пушка ?

Сообщение от YuS_2

если использовать все доступные возможности (например, аналог множеств с уникальными значениями), он будет не менее скорострельным:

На миллионе строк этот мощный ямайский скорострел проиграл скромной аргентине 5:0

Добавлено через 1 час 12 минут
Генератор миллиона строк обсуждаемого вида:
gen.1e6.lines.pl

Perl
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#!/usr/bin/env perl -l -w
use strict;
my @digits  = (0..9);
my @mix     = (@digits, ("A".."Z"));
my $counter = 0;
 
 
do {
    my $prefix = join "", @digits[ map {rand @digits}(1..20)];    # 20 произвольных цыфирок
    my $suffix = join "", @mix   [ map {rand @mix   }(1..10)];    # 10 произвольных цыфирок и буковок
 
    if ( $counter % 10_000 == 0 ) {  # вставка  дубликата после каждых 10 000
        print $prefix, $suffix;
    }
 
    if ( $counter % 50_000 == 0 ) {  # вставка дубликата в нижнем регистре после каждых 50 000
        print $prefix, lc $suffix;
    }
 
    print $prefix, $suffix;
 
} while ( $counter++ < 1_000_000 )

Исполнение:

PowerShell
1
perl gen.1e6.lines.pl > 05.txt

======================================== ===============
установка perl

PowerShell
1
scoop install perl

удаление perl

PowerShell
1
scoop uninstall perl

YuS_2 · 15.06.2025, 13:23

Сообщение от volodin661

Маленькая утилита sqlite3 против мегатонн кода powershell + .Net.

мегатонн? Откуда? Он же уже установлен...
А и да, типа: .Net - мальчик-с-пальчик, что ли?

Не в этом же дело... SQL для таких задач надо изучать ещё, потом скачать из неведомого леса-чего-то-там-скомпилированного именно то, что требуется. А ещё, не всегда есть возможность устанавливать утилиты по соображениям безопасности... ну, да ладно, это вообще к делу не относится, тема совсем другого разговора. Да и здесь - это же оффтоп...

Сообщение от volodin661

На миллионе строк этот мощный ямайский скорострел проиграл скромной аргентине 5:0

даладна!!??
Давай проверять, в одинаковых условиях, у меня сейчас под рукой ноут, настрогал файлик из 9 лямов строк (для надежности)
Проверяем:
ProductName : SQLite
ProductVersion : 3.50.1

Powershell : 7.5.0

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
$file = "05_full.txt"
 
"Вариант 1:"
measure-command{
$arr1 = foreach(
    $item in ([collections.generic.hashset[string]]((gc $file -raw) -split "`r`n")|
    group|? count -gt 1)
)
{
    [pscustomobject]@{orig=$item.group[0];duble=$item.group[1..($item.count-1)]}
}
}
$arr1|ft -a -w
"======"
""
"Вариант 2:"
measure-command {
$arr2 = @"
create table t(word TEXT unique on conflict replace);
.import $file t
 select word, count(word) from t GROUP by word collate nocase having count(word) > 1;
"@ | .\sqlite3.exe
}
$arr2

Вывод:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
Вариант 1:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 5
Milliseconds      : 663
Ticks             : 56635693
TotalDays         : 6,55505706018519E-05
TotalHours        : 0,00157321369444444
TotalMinutes      : 0,0943928216666667
TotalSeconds      : 5,6635693
TotalMilliseconds : 5663,5693
 
 
orig                            duble
----                            -----
010366558500391321TWD8NC2MX5ND1 {010366558500391321twd8nc2mx5nd1}
01046100177028712100ydzg14b69n2 {01046100177028712100YDZG14B69N2}
01046100177028712100ZAE9TFGJKNE {01046100177028712100zae9tfgjkne, 01046100177028712100zae9tfGjkne}
 
======
 
Вариант 2:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 31
Milliseconds      : 559
Ticks             : 315592558
TotalDays         : 0,000365269164351852
TotalHours        : 0,00876645994444445
TotalMinutes      : 0,525987596666667
TotalSeconds      : 31,5592558
TotalMilliseconds : 31559,2558
 
010366558500391321twd8nc2mx5nd1|2
01046100177028712100ydzg14b69n2|2
01046100177028712100zae9tfGjkne|3

четатут не так, верно? 5:0, но только вот совсем не в пользу аргентинского мальчика-с-пальчика... ямайский скорострел явно победил же, или чего?

@volodin661 · 16.06.2025, 13:20

powershell 7.4.7
картина, как уже говорил, обратная, то есть, 5:0 в пользу аргентины:
на файле в миллион строк, подготовленным с помощью скрипта perl выше,
powershell 30sec, sqlite 6 sec.
RAM 8Gb

Сейчас поставлю 7.5, если ямайка улучшится, значит они доработали-таки cmdlet group-object

Добавлено через 5 минут
PS: следует заменить в SQL on conflict replace на on conflict ignore,
слегка быстрее будет (не теряется время на перезапись дубликатов)

@Karen87 · 16.06.2025, 16:34

farmsnab, добрый! На всякий случай ещё вариант:

PowerShell
1
2
3
4
5
6
7
8
$file="C:\test\05.txt"
$data=[System.IO.File]::ReadAllLines($file, [System.Text.Encoding]::UTF8)
$StringDelegate = [Func[Object,string]] {$args[0].tolower()}
$group = [Linq.Enumerable]::GroupBy($data, $StringDelegate)
$array = [Linq.Enumerable]::ToArray($group)
$filter_data=$array.where({($_ -cmatch '[a-z]') -and ($_ -cmatch '[A-Z]')})
$target_data=$filter_data.ForEach({$_.key -replace '(^\w+)(\s.+$)', '$1'})
$target_data.ForEach({"$($_.toupper())`r`n$($_.tolower())`r`n`r`n"})

Добавлено через 1 час 49 минут
P.S. Для очень больших объёмов данных (как, например, 9 млн. строк у YuS_2) можно использовать такой вариант:

PowerShell
1
2
3
4
5
6
7
8
$file="C:\test\05.txt"
$data = [System.IO.File]::ReadLines($file, [System.Text.Encoding]::UTF8)
$stringDelegate=[Func[string, string]]::CreateDelegate([Func[string, string]],[string].GetMethod("ToLowerInvariant"))
$group=[System.Linq.ParallelEnumerable]::GroupBy([System.Linq.ParallelEnumerable]::AsParallel($data), $stringDelegate)
$array=[System.Linq.ParallelEnumerable]::ToArray($group)
$filter_data=$array.where({($_ -cmatch '[a-z]') -and ($_ -cmatch '[A-Z]')})
$target_data=$filter_data.ForEach({$_.key -replace '(^\w+)(\s.+$)', '$1'})
$target_data.ForEach({"$($_.toupper())`r`n$($_.tolower())`r`n`r`n"})

P.S. Конечно не так быстро, как у YuS_2, но 9 млн обработал за 11,7 сек

YuS_2 · 16.06.2025, 19:17

Сообщение от volodin661

следует заменить в SQL on conflict replace на on conflict ignore,
слегка быстрее будет (не теряется время на перезапись дубликатов)

Заменил. Да, так быстрее, это понятно и естественно... 9 сек. против 15
Комп немного пошустрее, чем тот ноут, но файл с данными тот же (9млн. строк, наструганных копированием исходных данных плюс добавлено несколько измененных разнорегистровых копий):

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
Вариант 1:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 2
Milliseconds      : 569
Ticks             : 25698873
TotalDays         : 2,97440659722222E-05
TotalHours        : 0,000713857583333333
TotalMinutes      : 0,042831455
TotalSeconds      : 2,5698873
TotalMilliseconds : 2569,8873
 
 
orig                            duble
----                            -----
010366558500391321TWD8NC2MX5ND1 {010366558500391321twd8nc2mx5nd1}
01046100177028712100ydzg14b69n2 {01046100177028712100YDZG14B69N2}
01046100177028712100ZAE9TFGJKNE {01046100177028712100zae9tfgjkne, 01046100177028712100zae9tfGjkne}
 
======
 
Вариант 2:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 9
Milliseconds      : 489
Ticks             : 94896125
TotalDays         : 0,000109833478009259
TotalHours        : 0,00263600347222222
TotalMinutes      : 0,158160208333333
TotalSeconds      : 9,4896125
TotalMilliseconds : 9489,6125
 
010366558500391321TWD8NC2MX5ND1|2
01046100177028712100ydzg14b69n2|2
01046100177028712100ZAE9TFGJKNE|3

Добавлено через 1 минуту
ЗЫ памяти 16Гб, что на ноуте, что на этом компе...
файл: 05_full.zip

@alhaos · 16.06.2025, 20:08

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
PS C:\tmp\010> $file = "data.txt"
PS C:\tmp\010>
PS C:\tmp\010> Measure-Command {
>>     $result = [System.Collections.Generic.HashSet[string]][System.IO.File]::ReadLines($file)
>>     | Group-Object
>>     | Where-Object Count -gt 1
>> }
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 2
Milliseconds      : 27
Ticks             : 20272397
TotalDays         : 2,34634224537037E-05
TotalHours        : 0,000563122138888889
TotalMinutes      : 0,0337873283333333
TotalSeconds      : 2,0272397
TotalMilliseconds : 2027,2397
 
PS C:\tmp\010>
PS C:\tmp\010> $result | Format-Table
 
Count Name                      Group
----- ----                      -----
    3 0103665585003913213417GH… {0103665585003913213417GH8A5GDWT, 0103665585003913213417GH8a5gDWT, 0103665585003913213417gh8a5gdwt}
    2 010366558500391321TWD8NC… {010366558500391321TWD8NC2MX5ND1, 010366558500391321twd8nc2mx5nd1}
    2 01046100177028712100ydzg… {01046100177028712100ydzg14b69n2, 01046100177028712100YDZG14B69N2}
    2 01046100177028712100ZAE9… {01046100177028712100ZAE9TFGJKNE, 01046100177028712100zae9tfgjkne}
 
PS C:\tmp\010>
PS C:\tmp\010> measure-command {
>>     $arr1 = foreach (
>>         $item in ([collections.generic.hashset[string]]((gc $file -raw) -split "`r`n") |
>>             group | ? count -gt 1)
>>     ) {
>>         [pscustomobject]@{orig = $item.group[0]; duble = $item.group[1..($item.count - 1)] }
>>     }
>> }
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 8
Milliseconds      : 929
Ticks             : 89291133
TotalDays         : 0,00010334621875
TotalHours        : 0,00248030925
TotalMinutes      : 0,148818555
TotalSeconds      : 8,9291133
TotalMilliseconds : 8929,1133
 
PS C:\tmp\010> $arr1 | ft -a -w
 
orig                            duble
----                            -----
0103665585003913213417GH8A5GDWT {0103665585003913213417GH8a5gDWT, 0103665585003913213417gh8a5gdwt}
010366558500391321TWD8NC2MX5ND1 {010366558500391321twd8nc2mx5nd1}
01046100177028712100ydzg14b69n2 {01046100177028712100YDZG14B69N2}
01046100177028712100ZAE9TFGJKNE {01046100177028712100zae9tfgjkne}

9m строк

Добавлено через 4 минуты
Думаю для оптимального результата важна статистика самих данных, количество различающихся строк например.

@Karen87 · 17.06.2025, 11:50

Сообщение от Karen87

На всякий случай ещё вариант:

Ерунда полная получилась. Вот более или менее вменяемый вариант, который на файле от YuS_2 выбегает из 9 сек (~8.5 сек)

PowerShell
1
2
3
4
5
6
7
$file="C:\test\05_full.txt"
$data = [System.IO.File]::ReadLines($file)
$stringDelegate=[Func[string, string]]::CreateDelegate([Func[string, string]],[string].GetMethod("ToLowerInvariant"))
$group=[System.Linq.ParallelEnumerable]::GroupBy([System.Linq.ParallelEnumerable]::AsParallel($data), $stringDelegate)
$array=[System.Linq.ParallelEnumerable]::ToArray($group)
$target_data=$array.ForEach({$Distinct=[System.Linq.Enumerable]::ToArray([System.Linq.Enumerable]::Distinct($_)); [pscustomobject]@{count=$Distinct.count; items=$Distinct}})
$target_data.Where({$_.count -gt 1}).foreach({$_.items; "`r`n"})

Сообщение от YuS_2

Powershell : 7.5.0

Прям слегка модифицированный мною вариант решения, предложенный YuS_2 просто разрывает все остальные решения (~1,5 сек):

PowerShell
1
2
3
4
5
6
7
$file="C:\test\05_full.txt"
$data=[collections.generic.hashset[string]]([System.IO.File]::ReadLines($file))
$stringDelegate=[Func[string, string]]::CreateDelegate([Func[string, string]],[string].GetMethod("ToLowerInvariant"))
$group=[System.Linq.ParallelEnumerable]::GroupBy([System.Linq.ParallelEnumerable]::AsParallel($data), $stringDelegate)
$array=[System.Linq.ParallelEnumerable]::ToArray($group)
$target_data=$array.ForEach({$Distinct=[System.Linq.Enumerable]::ToArray([System.Linq.Enumerable]::Distinct($_)); [pscustomobject]@{count=$Distinct.count; items=$Distinct}})
$target_data.Where({$_.count -gt 1}).foreach({$_.items; "`r`n"})

YuS_2, моё почтение

YuS_2 · 17.06.2025, 19:57

Сообщение от Karen87

просто разрывает все остальные решения

Думаю, по большей части, это заслуга оптимизированного класса io.file со статическим методом построчного чтения (на выходе готовый массив, без лишних телодвижений) и преобразование массива во множество с уникальными значениями, тоже оптимизированного...
Но да, это самый быстрый вариант, у меня TotalMilliseconds : 774,4806

Новые блоги и статьи Все статьи Все блоги /
Когда логика программы не спасает от человеческих ошибок Maks 18.08.2026 В последнее время всё чаще и чаще сталкиваюсь с таким явлением, как абсолютная невнимательность (или глупость) пользователей. Проявляется это чаще всего на работе в коллективе. Допустим, человек с. . .	Лето уходит kumehtar 17.08.2026	Мысли в слух kumehtar 17.08.2026 Забавно, насколько сейчас стала доступна информация. Например о магии, духовном развитии, медитациях, и других подобных направлениях, ранее зачастую тайных, передаваемых от учителя к ученику. Хотя. . .	Перемещение строк из ТЧ в другой документ с учетом текущего пробега Maks 17.08.2026 Реализация из решения ниже выполнена на примере нетипового документа "Автозапчасти", с ТЧ "Шины". За основу взят алгоритм отсюда: https:/ / www. cyberforum. ru/ blogs/ 359708/ 10838. html Задача: . . .
Саморегулирующийся социальный контракт для сервера cross-section. Hrethgir 14.08.2026 С кодом конечно таких глубоких размышлений пока не было, впрочем я уже привык к алгоритмизации. Суть предмета записи: снова в диалоге с нейросетью (я взял пока себе ник для учётки админа - Rector). . . .	Часы электронные Uhbif79 12.08.2026 Выкладываю программу часов. Программа позволяет: 1. Использовать системное время и дату, 2. Есть возможность вводить время и дату вручную. 3. Реализованы 2 будильника: начало и конец рабочего дня. . . .	Часы с будильником на основе класса QLCDNumber Uhbif79 12.08.2026 Всем добрый день, выкладываю программу часов с будильником на основе класса QLCDNumber. Здесь я пробовал самостоятельно создавал классы, впервые столкнулся с видимостью переменной одного класса из. . .	Установка MinGW GCC 16.2 и CMake 8Observer8 10.08.2026 VK Видео: https:/ / vkvideo. ru/ video-240781534_456239017 YouTube: eY5-5PyI9NM Текстовая версия

@farmsnab 51 / 50 / 3 Регистрация: 27.07.2019 Сообщений: 479

	Выбор из большого списка текстовых строк только с разными регистрами 09.06.2025, 14:50. Показов 3500. Ответов 28 Метки нет (Все метки) Уважаемые форумчане, добрый день! Очень нужна помощь в совсем непраздном вопросе (разрабы кассового ПО забыли про сканеры штрих-кодов, если они на cbd, то чувствительны к клавише caps lock и теперь надо найти все ошибки марок, которые не выбыли и-за замены регистра): есть много файлов со строками, в которых много повторяющихся данных, но, среди них иногда могут попадаться такие же, но с инвертированными регистрами, примерно так: 01046100177028712100CN8IGD5VTE8 01046100177028712100ZAE8TSVCZUY 01046100177028712100DB6J1634PCB 01046100177028712100ZAE9TFGJKNE 01046100177028712100ZAE9TFGJKNE 01046100177028712100ZAE9TFGJKNE 01046100177028712100zae9tfgjkne Вот как раз нижняя строка показывает то, что надо найти. Сама проблема, найти в файлах повторения с разными регистрами и как то их выкинуть в отдельный файл, либо удалить не повторяющиеся с различным регистром данные. Т.е. в итоге должно остаться: 01046100177028712100ZAE9TFGJKNE 01046100177028712100zae9tfgjkne Во вложенеии файл с маленькой выборкой, в нём я с ходу нашел (визуально): 01046100177028712100ZAE9TFGJKNE 01046100177028712100zae9tfgjkne 01046100177028712100ydzg14b69n2 01046100177028712100YDZG14B69N2 010366558500391321TWD8NC2MX5ND1 010366558500391321twd8nc2mx5nd1 05.txt 0

@volodin661 Нарушитель 7097 / 2328 / 353 Регистрация: 10.12.2013 Сообщений: 8,047
	16.06.2025, 13:20
	powershell 7.4.7 картина, как уже говорил, обратная, то есть, 5:0 в пользу аргентины: на файле в миллион строк, подготовленным с помощью скрипта perl выше, powershell 30sec, sqlite 6 sec. RAM 8Gb Сейчас поставлю 7.5, если ямайка улучшится, значит они доработали-таки cmdlet group-object Добавлено через 5 минут PS: следует заменить в SQL on conflict replace на on conflict ignore, слегка быстрее будет (не теряется время на перезапись дубликатов) 0