awk и удаление лишних строк

Здравствуйте!

Столкнулся с проблемой выборки текста средствами awk в файле вида:Хотел получить следующий вывод по самому короткому совпадению:Родилась следующая конструкция:
Пробежавшись по форуму натолкнулся на следующую конструкцию: awk '!D[$1]++' filename , что меня очень и очень заинтересовало. Прекрасно понимаю, что оно делает, но пока не дошёл как приспособиться к этой конструкции, потому как она делает выборку по первой подстроке.

Больше готового решения жажду наводки. Банальности вроде "прочти руководства тонну" и ссылка: принимаются ;-).

Всем добра.

P.S. задачу свою в любом случае решил башем, хочется средствами awk. Заранее спасибо.
P.P.S. ЧЯДНТ?

2

Исходя из условия, должно помочь

1

Попробовала изменить порядок строк во входном файле и усложнить ради спортивного интереса:
cat file:
cat awk.sh:
Добавила сортировку:

2

Спасибо за Ваш ответ, nezabudka, и ответ sonar200.

Возник ряд вопросов касательно кода с сортировкой:

BEGIN {PROCINFO["sorted_in"]="@ind_str_asc"}

- вот эта магия совершенно непонятна. Символ @ в awk встречал разве что... касательно выборок по паттерну вида @/foo/ - жёсткий поиск, насколько помню в отличии от /foo/ - нахождения в строке.

NR==FNR {A[$0]; next}

- как понимаю тут формируется одномерный массив содержащий в первом столбце всю строку $0 пока NR - номер строки, не сравняется с общим количеством строк FNR на входе. Какой-то странный аналог while без while, как мне видется.

{a=$0; NF-=1; if(!($0 in A)) D[a]}

- тут объявляется переменная a, равная всей строке $0; теперь непонятно - зачем мы отнимаем у строки единицу в значении кол-ва полей?; последняя конструкция этой строки чуточку яснее "если строка $0 не в массиве A, то" что - что это значит? Спрашиваю, потому как подобная конструкция была в моём вопросе, значащая дубль. То есть выходит, что это создаёт дубль строки?

END {for(i in D) print i}

- опять непонятно. "для каждой i в D(БОЖЕЧКИ! АБЯСНИТЕ!) печатай i"

file{,}

- что значат фигурные скобки с запятой применительно к названию?

Как говорил ранее - можете направить на чтение документации, если в доке есть примеры - спасёт время и нервы, если нет - пожалуйста объясните, хотя бы своими словами.

P.S. в итоге из 5 строчек у меня счёт на понимание меньше единицы.

0

apeshand, Судя по уровню ваших вопросов, рискну объяснить своими словами, думаю это будет полезней, но все равно вам стоит хотя бы по диагонали пролистать ман страничку man awk.
PROCINFO это внутренняя переменная - массив, через который можно влиять на работу процессора awk в том числе и сортировку. Попробуйте изменить значение с "@ind_str_asc" на "@ind_str_desc" и получите обратную сортировку по убывающей. Заметно невооруженным глазом, что значение состоит из трех объектов, читаю с переводом на русский по порядку @индекс_строка_поВозростанию, следующая - @индекс_строка_поУбыванию. Индекс - в данном случае имеется ввиду ключ
NR==FNR {A[$0]; next} Предполагает что процессор работает с несколькими файлами и массив из всех строк первого файла создается в переменной А. Я написала один и тот же файл в программе два раза, применяя "Расскрытие скобок", первый раз читая файл процессор создает массив, а второй производит обработку с записью в другой массив D. Расскрытие скобок или Brace Expantion хорошо наблюдать через команду echo:
или как в нашем случае:
Получим как видите 2 файла. Их можно в программе так и указать безо всяких раскрытий скобок. Кстати, два файла нужны в моем случае из за того, что порядок следования строк перемешан и зачастую более короткое значение идет после длинного и необходимо к моменту обработки иметь полную базу всех вариантов.
Что касается вот этой конструкции {a=$0; NF-=1; if(!($0 in A)) D[a]}, давайте немного изменим программу и возьмем в качестве аргумента ваш первоначальный пример входного файла:
Смотрите что получается, я начну объяснять со второй строчки программы. В строке тело выполняется если строка состоит из двух слов (полей), переменная NF количество полей в строке. Мы присваиваем переменной a всю строку целиком, чтобы не потерять это значение, потому что следующая операция не обратима. Урезаем количество полей на единицу NF=1. Теперь у нас вся строка определенная в переменной $0 урезается на одно - последнее поле, и там ноходится только первое. Теперь проверяем есть ли совпадение в ключе массива D, если нет, добавляем в массив значение (0 по умолчанию) с ключем - первоначальной, не урезанной, полной строкой. Это дает нам возможность применить нежадный алгоритм - то есть по короткому совпадению.
Возвращаемся и видим что одна строчка в боевой программе является универсальной и заменяет множество возможных вариантов из учебной.
Как только скрипт обработает значения и создаст результирующий массив данных, можно прочитать его ключи в цикле и вывести на экран. То есть уже после того как файлы будут прочитаны. Аналог END {for(i in D) print i} на баше будет:

1