Выбор из большого списка текстовых строк только с разными регистрами

@farmsnab · Регистрация: 27.07.2019

Студворк — интернет-сервис помощи студентам

Уважаемые форумчане, добрый день!
Очень нужна помощь в совсем непраздном вопросе (разрабы кассового ПО забыли про сканеры штрих-кодов, если они на cbd, то чувствительны к клавише caps lock и теперь надо найти все ошибки марок, которые не выбыли и-за замены регистра):
есть много файлов со строками, в которых много повторяющихся данных, но, среди них иногда могут попадаться такие же, но с инвертированными регистрами, примерно так:
01046100177028712100CN8IGD5VTE8
01046100177028712100ZAE8TSVCZUY
01046100177028712100DB6J1634PCB
01046100177028712100ZAE9TFGJKNE
01046100177028712100ZAE9TFGJKNE
01046100177028712100ZAE9TFGJKNE
01046100177028712100zae9tfgjkne

Вот как раз нижняя строка показывает то, что надо найти.
Сама проблема, найти в файлах повторения с разными регистрами и как то их выкинуть в отдельный файл, либо удалить не повторяющиеся с различным регистром данные.
Т.е. в итоге должно остаться:
01046100177028712100ZAE9TFGJKNE
01046100177028712100zae9tfgjkne

Во вложенеии файл с маленькой выборкой, в нём я с ходу нашел (визуально):
01046100177028712100ZAE9TFGJKNE
01046100177028712100zae9tfgjkne

01046100177028712100ydzg14b69n2
01046100177028712100YDZG14B69N2

010366558500391321TWD8NC2MX5ND1
010366558500391321twd8nc2mx5nd1

05.txt

YuS_2 · 14.06.2025, 11:06

Сообщение от volodin661

20 Milliseconds

Ну, это же из пушки по воробьям... конечно, можно и SQL прикрутить, да оптимизировать... будет стрелять как из пулемета.

Кстати, powershell-то тоже не лыком шит
если использовать все доступные возможности (например, аналог множеств с уникальными значениями), он будет не менее скорострельным:

PowerShell
1
2
3
4
5
6
7
8
9
10
11
$file = ".\05.txt"
measure-command{
$arr = foreach(
    $item in ([collections.generic.hashset[string]]((gc $file -raw) -split "`r`n")|
    group|? count -gt 1)
)
{
    [pscustomobject]@{orig=$item.group[0];duble=$item.group[1..($item.count-1)]}
}
}
$arr|ft -a -w

Code
1
2
3
4
5
6
7
8
9
10
11
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 0
Milliseconds      : 10
Ticks             : 103902
TotalDays         : 1,20256944444444E-07
TotalHours        : 2,88616666666667E-06
TotalMinutes      : 0,00017317
TotalSeconds      : 0,0103902
TotalMilliseconds : 10,3902

@volodin661 · 15.06.2025, 12:53

Сообщение от YuS_2

Ну, это же из пушки по воробьям...

Пушка? Воробьи ?
Маленькая утилита sqlite3 против мегатонн кода powershell + .Net.

И кто тут пушка ?

Сообщение от YuS_2

если использовать все доступные возможности (например, аналог множеств с уникальными значениями), он будет не менее скорострельным:

На миллионе строк этот мощный ямайский скорострел проиграл скромной аргентине 5:0

Добавлено через 1 час 12 минут
Генератор миллиона строк обсуждаемого вида:
gen.1e6.lines.pl

Perl
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#!/usr/bin/env perl -l -w
use strict;
my @digits  = (0..9);
my @mix     = (@digits, ("A".."Z"));
my $counter = 0;
 
 
do {
    my $prefix = join "", @digits[ map {rand @digits}(1..20)];    # 20 произвольных цыфирок
    my $suffix = join "", @mix   [ map {rand @mix   }(1..10)];    # 10 произвольных цыфирок и буковок
 
    if ( $counter % 10_000 == 0 ) {  # вставка  дубликата после каждых 10 000
        print $prefix, $suffix;
    }
 
    if ( $counter % 50_000 == 0 ) {  # вставка дубликата в нижнем регистре после каждых 50 000
        print $prefix, lc $suffix;
    }
 
    print $prefix, $suffix;
 
} while ( $counter++ < 1_000_000 )

Исполнение:

PowerShell
1
perl gen.1e6.lines.pl > 05.txt

======================================== ===============
установка perl

PowerShell
1
scoop install perl

удаление perl

PowerShell
1
scoop uninstall perl

YuS_2 · 15.06.2025, 13:23

Сообщение от volodin661

Маленькая утилита sqlite3 против мегатонн кода powershell + .Net.

мегатонн? Откуда? Он же уже установлен...
А и да, типа: .Net - мальчик-с-пальчик, что ли?

Не в этом же дело... SQL для таких задач надо изучать ещё, потом скачать из неведомого леса-чего-то-там-скомпилированного именно то, что требуется. А ещё, не всегда есть возможность устанавливать утилиты по соображениям безопасности... ну, да ладно, это вообще к делу не относится, тема совсем другого разговора. Да и здесь - это же оффтоп...

Сообщение от volodin661

На миллионе строк этот мощный ямайский скорострел проиграл скромной аргентине 5:0

даладна!!??
Давай проверять, в одинаковых условиях, у меня сейчас под рукой ноут, настрогал файлик из 9 лямов строк (для надежности)
Проверяем:
ProductName : SQLite
ProductVersion : 3.50.1

Powershell : 7.5.0

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
$file = "05_full.txt"
 
"Вариант 1:"
measure-command{
$arr1 = foreach(
    $item in ([collections.generic.hashset[string]]((gc $file -raw) -split "`r`n")|
    group|? count -gt 1)
)
{
    [pscustomobject]@{orig=$item.group[0];duble=$item.group[1..($item.count-1)]}
}
}
$arr1|ft -a -w
"======"
""
"Вариант 2:"
measure-command {
$arr2 = @"
create table t(word TEXT unique on conflict replace);
.import $file t
 select word, count(word) from t GROUP by word collate nocase having count(word) > 1;
"@ | .\sqlite3.exe
}
$arr2

Вывод:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
Вариант 1:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 5
Milliseconds      : 663
Ticks             : 56635693
TotalDays         : 6,55505706018519E-05
TotalHours        : 0,00157321369444444
TotalMinutes      : 0,0943928216666667
TotalSeconds      : 5,6635693
TotalMilliseconds : 5663,5693
 
 
orig                            duble
----                            -----
010366558500391321TWD8NC2MX5ND1 {010366558500391321twd8nc2mx5nd1}
01046100177028712100ydzg14b69n2 {01046100177028712100YDZG14B69N2}
01046100177028712100ZAE9TFGJKNE {01046100177028712100zae9tfgjkne, 01046100177028712100zae9tfGjkne}
 
======
 
Вариант 2:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 31
Milliseconds      : 559
Ticks             : 315592558
TotalDays         : 0,000365269164351852
TotalHours        : 0,00876645994444445
TotalMinutes      : 0,525987596666667
TotalSeconds      : 31,5592558
TotalMilliseconds : 31559,2558
 
010366558500391321twd8nc2mx5nd1|2
01046100177028712100ydzg14b69n2|2
01046100177028712100zae9tfGjkne|3

четатут не так, верно? 5:0, но только вот совсем не в пользу аргентинского мальчика-с-пальчика... ямайский скорострел явно победил же, или чего?

@volodin661 · 16.06.2025, 13:20

powershell 7.4.7
картина, как уже говорил, обратная, то есть, 5:0 в пользу аргентины:
на файле в миллион строк, подготовленным с помощью скрипта perl выше,
powershell 30sec, sqlite 6 sec.
RAM 8Gb

Сейчас поставлю 7.5, если ямайка улучшится, значит они доработали-таки cmdlet group-object

Добавлено через 5 минут
PS: следует заменить в SQL on conflict replace на on conflict ignore,
слегка быстрее будет (не теряется время на перезапись дубликатов)

@Karen87 · 16.06.2025, 16:34

farmsnab, добрый! На всякий случай ещё вариант:

PowerShell
1
2
3
4
5
6
7
8
$file="C:\test\05.txt"
$data=[System.IO.File]::ReadAllLines($file, [System.Text.Encoding]::UTF8)
$StringDelegate = [Func[Object,string]] {$args[0].tolower()}
$group = [Linq.Enumerable]::GroupBy($data, $StringDelegate)
$array = [Linq.Enumerable]::ToArray($group)
$filter_data=$array.where({($_ -cmatch '[a-z]') -and ($_ -cmatch '[A-Z]')})
$target_data=$filter_data.ForEach({$_.key -replace '(^\w+)(\s.+$)', '$1'})
$target_data.ForEach({"$($_.toupper())`r`n$($_.tolower())`r`n`r`n"})

Добавлено через 1 час 49 минут
P.S. Для очень больших объёмов данных (как, например, 9 млн. строк у YuS_2) можно использовать такой вариант:

PowerShell
1
2
3
4
5
6
7
8
$file="C:\test\05.txt"
$data = [System.IO.File]::ReadLines($file, [System.Text.Encoding]::UTF8)
$stringDelegate=[Func[string, string]]::CreateDelegate([Func[string, string]],[string].GetMethod("ToLowerInvariant"))
$group=[System.Linq.ParallelEnumerable]::GroupBy([System.Linq.ParallelEnumerable]::AsParallel($data), $stringDelegate)
$array=[System.Linq.ParallelEnumerable]::ToArray($group)
$filter_data=$array.where({($_ -cmatch '[a-z]') -and ($_ -cmatch '[A-Z]')})
$target_data=$filter_data.ForEach({$_.key -replace '(^\w+)(\s.+$)', '$1'})
$target_data.ForEach({"$($_.toupper())`r`n$($_.tolower())`r`n`r`n"})

P.S. Конечно не так быстро, как у YuS_2, но 9 млн обработал за 11,7 сек

YuS_2 · 16.06.2025, 19:17

Сообщение от volodin661

следует заменить в SQL on conflict replace на on conflict ignore,
слегка быстрее будет (не теряется время на перезапись дубликатов)

Заменил. Да, так быстрее, это понятно и естественно... 9 сек. против 15
Комп немного пошустрее, чем тот ноут, но файл с данными тот же (9млн. строк, наструганных копированием исходных данных плюс добавлено несколько измененных разнорегистровых копий):

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
Вариант 1:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 2
Milliseconds      : 569
Ticks             : 25698873
TotalDays         : 2,97440659722222E-05
TotalHours        : 0,000713857583333333
TotalMinutes      : 0,042831455
TotalSeconds      : 2,5698873
TotalMilliseconds : 2569,8873
 
 
orig                            duble
----                            -----
010366558500391321TWD8NC2MX5ND1 {010366558500391321twd8nc2mx5nd1}
01046100177028712100ydzg14b69n2 {01046100177028712100YDZG14B69N2}
01046100177028712100ZAE9TFGJKNE {01046100177028712100zae9tfgjkne, 01046100177028712100zae9tfGjkne}
 
======
 
Вариант 2:
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 9
Milliseconds      : 489
Ticks             : 94896125
TotalDays         : 0,000109833478009259
TotalHours        : 0,00263600347222222
TotalMinutes      : 0,158160208333333
TotalSeconds      : 9,4896125
TotalMilliseconds : 9489,6125
 
010366558500391321TWD8NC2MX5ND1|2
01046100177028712100ydzg14b69n2|2
01046100177028712100ZAE9TFGJKNE|3

Добавлено через 1 минуту
ЗЫ памяти 16Гб, что на ноуте, что на этом компе...
файл: 05_full.zip

@alhaos · 16.06.2025, 20:08

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
PS C:\tmp\010> $file = "data.txt"
PS C:\tmp\010>
PS C:\tmp\010> Measure-Command {
>>     $result = [System.Collections.Generic.HashSet[string]][System.IO.File]::ReadLines($file)
>>     | Group-Object
>>     | Where-Object Count -gt 1
>> }
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 2
Milliseconds      : 27
Ticks             : 20272397
TotalDays         : 2,34634224537037E-05
TotalHours        : 0,000563122138888889
TotalMinutes      : 0,0337873283333333
TotalSeconds      : 2,0272397
TotalMilliseconds : 2027,2397
 
PS C:\tmp\010>
PS C:\tmp\010> $result | Format-Table
 
Count Name                      Group
----- ----                      -----
    3 0103665585003913213417GH… {0103665585003913213417GH8A5GDWT, 0103665585003913213417GH8a5gDWT, 0103665585003913213417gh8a5gdwt}
    2 010366558500391321TWD8NC… {010366558500391321TWD8NC2MX5ND1, 010366558500391321twd8nc2mx5nd1}
    2 01046100177028712100ydzg… {01046100177028712100ydzg14b69n2, 01046100177028712100YDZG14B69N2}
    2 01046100177028712100ZAE9… {01046100177028712100ZAE9TFGJKNE, 01046100177028712100zae9tfgjkne}
 
PS C:\tmp\010>
PS C:\tmp\010> measure-command {
>>     $arr1 = foreach (
>>         $item in ([collections.generic.hashset[string]]((gc $file -raw) -split "`r`n") |
>>             group | ? count -gt 1)
>>     ) {
>>         [pscustomobject]@{orig = $item.group[0]; duble = $item.group[1..($item.count - 1)] }
>>     }
>> }
 
Days              : 0
Hours             : 0
Minutes           : 0
Seconds           : 8
Milliseconds      : 929
Ticks             : 89291133
TotalDays         : 0,00010334621875
TotalHours        : 0,00248030925
TotalMinutes      : 0,148818555
TotalSeconds      : 8,9291133
TotalMilliseconds : 8929,1133
 
PS C:\tmp\010> $arr1 | ft -a -w
 
orig                            duble
----                            -----
0103665585003913213417GH8A5GDWT {0103665585003913213417GH8a5gDWT, 0103665585003913213417gh8a5gdwt}
010366558500391321TWD8NC2MX5ND1 {010366558500391321twd8nc2mx5nd1}
01046100177028712100ydzg14b69n2 {01046100177028712100YDZG14B69N2}
01046100177028712100ZAE9TFGJKNE {01046100177028712100zae9tfgjkne}

9m строк

Добавлено через 4 минуты
Думаю для оптимального результата важна статистика самих данных, количество различающихся строк например.

@Karen87 · 17.06.2025, 11:50

Сообщение от Karen87

На всякий случай ещё вариант:

Ерунда полная получилась. Вот более или менее вменяемый вариант, который на файле от YuS_2 выбегает из 9 сек (~8.5 сек)

PowerShell
1
2
3
4
5
6
7
$file="C:\test\05_full.txt"
$data = [System.IO.File]::ReadLines($file)
$stringDelegate=[Func[string, string]]::CreateDelegate([Func[string, string]],[string].GetMethod("ToLowerInvariant"))
$group=[System.Linq.ParallelEnumerable]::GroupBy([System.Linq.ParallelEnumerable]::AsParallel($data), $stringDelegate)
$array=[System.Linq.ParallelEnumerable]::ToArray($group)
$target_data=$array.ForEach({$Distinct=[System.Linq.Enumerable]::ToArray([System.Linq.Enumerable]::Distinct($_)); [pscustomobject]@{count=$Distinct.count; items=$Distinct}})
$target_data.Where({$_.count -gt 1}).foreach({$_.items; "`r`n"})

Сообщение от YuS_2

Powershell : 7.5.0

Прям слегка модифицированный мною вариант решения, предложенный YuS_2 просто разрывает все остальные решения (~1,5 сек):

PowerShell
1
2
3
4
5
6
7
$file="C:\test\05_full.txt"
$data=[collections.generic.hashset[string]]([System.IO.File]::ReadLines($file))
$stringDelegate=[Func[string, string]]::CreateDelegate([Func[string, string]],[string].GetMethod("ToLowerInvariant"))
$group=[System.Linq.ParallelEnumerable]::GroupBy([System.Linq.ParallelEnumerable]::AsParallel($data), $stringDelegate)
$array=[System.Linq.ParallelEnumerable]::ToArray($group)
$target_data=$array.ForEach({$Distinct=[System.Linq.Enumerable]::ToArray([System.Linq.Enumerable]::Distinct($_)); [pscustomobject]@{count=$Distinct.count; items=$Distinct}})
$target_data.Where({$_.count -gt 1}).foreach({$_.items; "`r`n"})

YuS_2, моё почтение

YuS_2 · 17.06.2025, 19:57

Сообщение от Karen87

просто разрывает все остальные решения

Думаю, по большей части, это заслуга оптимизированного класса io.file со статическим методом построчного чтения (на выходе готовый массив, без лишних телодвижений) и преобразование массива во множество с уникальными значениями, тоже оптимизированного...
Но да, это самый быстрый вариант, у меня TotalMilliseconds : 774,4806

Новые блоги и статьи Все статьи Все блоги /
Debian 13: Установка Lazarus QT5 ВитГо 09.05.2026 Эта инструкция моя компиляция инструкций volvo https:/ / www. cyberforum. ru/ blogs/ 203668/ 10753. html и его же старой инструкции по установке Lazarus с gtk2. . .	Нейросеть на алгоритме "эстафета хвоста" как перспектива. Hrethgir 06.05.2026 На десерт, когда запущу сервер. Статья тут https:/ / habr. com/ ru/ articles/ 1030914/ . Автор я сам, нейросеть только помогает в вопросах которые мне не известны - не знаю людей которые знали-бы. . .	Асинхронный приём данных из COM-порта Argus19 01.05.2026 Асинхронный приём данных из COM-порта Купил на aliexpress термопринтер QR701. Он оказался странным. Поключил к Arduino Nano. Был очень удивлён. Наотрез отказывается печатать русские буквы. Чтобы. . .	попытка написать игровой сервер на C++ pyirrlicht 29.04.2026 попытка написать игровой сервер на плюсах с открытым бесконечным миром. возможно получится прикрутить интерпретатор питон для кастомизации игровой логики. что есть на текущий момент:. . .
Контроль уникальности выбранного документа-основания при изменении реквизита Maks 28.04.2026 Алгоритм из решения ниже разработан на примере нетипового документа "ЗаявкаНаРемонтСпецтехники", разработанного в КА2. Задача: уведомлять пользователя, если указанная заявка (документ-основание). . .	Благородство как наказание Maks 24.04.2026 У хорошего человека отношения с женщинами всегда складываются трудно. А я человек хороший. Заявляю без тени смущения, потому что гордиться тут нечем. От хорошего человека ждут соответствующего. . .	Валидация и контроль данных табличной части документа перед записью Maks 22.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в КА2. Задача: контроль и валидация данных табличной части документа перед записью с учетом регламента компании. . .	Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .

@farmsnab 51 / 50 / 3 Регистрация: 27.07.2019 Сообщений: 471

	Выбор из большого списка текстовых строк только с разными регистрами 09.06.2025, 14:50. Показов 3374. Ответов 28 Метки нет (Все метки) Уважаемые форумчане, добрый день! Очень нужна помощь в совсем непраздном вопросе (разрабы кассового ПО забыли про сканеры штрих-кодов, если они на cbd, то чувствительны к клавише caps lock и теперь надо найти все ошибки марок, которые не выбыли и-за замены регистра): есть много файлов со строками, в которых много повторяющихся данных, но, среди них иногда могут попадаться такие же, но с инвертированными регистрами, примерно так: 01046100177028712100CN8IGD5VTE8 01046100177028712100ZAE8TSVCZUY 01046100177028712100DB6J1634PCB 01046100177028712100ZAE9TFGJKNE 01046100177028712100ZAE9TFGJKNE 01046100177028712100ZAE9TFGJKNE 01046100177028712100zae9tfgjkne Вот как раз нижняя строка показывает то, что надо найти. Сама проблема, найти в файлах повторения с разными регистрами и как то их выкинуть в отдельный файл, либо удалить не повторяющиеся с различным регистром данные. Т.е. в итоге должно остаться: 01046100177028712100ZAE9TFGJKNE 01046100177028712100zae9tfgjkne Во вложенеии файл с маленькой выборкой, в нём я с ходу нашел (визуально): 01046100177028712100ZAE9TFGJKNE 01046100177028712100zae9tfgjkne 01046100177028712100ydzg14b69n2 01046100177028712100YDZG14B69N2 010366558500391321TWD8NC2MX5ND1 010366558500391321twd8nc2mx5nd1 05.txt 0

@volodin661 6809 / 2307 / 350 Регистрация: 10.12.2013 Сообщений: 7,952
	16.06.2025, 13:20
	powershell 7.4.7 картина, как уже говорил, обратная, то есть, 5:0 в пользу аргентины: на файле в миллион строк, подготовленным с помощью скрипта perl выше, powershell 30sec, sqlite 6 sec. RAM 8Gb Сейчас поставлю 7.5, если ямайка улучшится, значит они доработали-таки cmdlet group-object Добавлено через 5 минут PS: следует заменить в SQL on conflict replace на on conflict ignore, слегка быстрее будет (не теряется время на перезапись дубликатов) 0