Регуляр для bash/grep/sed/awk/perl

@Kubuntovod · Регистрация: 14.01.2013

Студворк — интернет-сервис помощи студентам

Имеется текст такого вида

Code
1
2
3
4
5
6
7
8
9
10
11
12
[29599:1545281] -A Bla_122_123_PREROUTING -d 123.123.123.121/32 -p tcp -m tcp --dport 3332 -j DNAT --to-destination 192.168.0.33
[102155:9816402] -A Bla_122_123_PREROUTING -d 123.123.123.121/32 -p udp -m udp --dport 3332 -j DNAT --to-destination 192.168.0.33
[34828:1815944] -A Bla_122_123_PREROUTING -d 123.123.123.123/32 -p tcp -m tcp --dport 3333 -j DNAT --to-destination 192.168.0.37
[6060:601079] -A Bla_122_123_PREROUTING -d 123.123.123.123/32 -p udp -m udp --dport 3333 -j DNAT --to-destination 192.168.0.37
[37841:1971064] -A Bla_122_123_PREROUTING -d 123.123.123.125/32 -p tcp -m tcp --dport 3334 -j DNAT --to-destination 192.168.0.41
[24203:2336906] -A Bla_122_123_PREROUTING -d 123.123.123.125/32 -p udp -m udp --dport 3334 -j DNAT --to-destination 192.168.0.41
[9315:488572] -A Bla_122_123_PREROUTING -d 123.123.123.127/32 -p tcp -m tcp --dport 3335 -j DNAT --to-destination 192.168.0.45
[133063:12779428] -A Bla_122_123_PREROUTING -d 123.123.123.127/32 -p udp -m udp --dport 3335 -j DNAT --to-destination 192.168.0.45
[779:44092] -A Bla_122_123_PREROUTING -d 123.123.123.129/32 -p tcp -m tcp --dport 3336 -j DNAT --to-destination 192.168.0.49
[0:0] -A Bla_122_123_PREROUTING -d 123.123.123.139/32 -p udp -m udp --dport 3336 -j DNAT --to-destination 192.168.0.49
[1079:58799] -A Bla_122_123_PREROUTING -d 123.123.123.131/32 -p tcp -m tcp --dport 3337 -j DNAT --to-destination 192.168.0.53
[9:1387] -A Bla_122_123_PREROUTING -d 123.123.123.131/32 -p udp -m udp --dport 3337 -j DNAT --to-destination 192.168.0.53

Требуется вынуть второе число из квадратных скобок, не учитывая 0. Т.е. с [0:0] не нужна строка. И ip адрес. Примерный выхлоп

Code
1
1545281 123.123.123.123

С помощью трёхэтажного grep-awk и иже с ними, требуемое извлекается. Но сильно подозреваю, что можно уложиться в один/два регуляра, за один проход. Для Незабудки, наверное, раз плюнуть

Но, поучаствовать могут все желающие.

@nezabudka · 16.11.2024, 20:20

Если хорошо ориентироваться в работе текстового процессора gawk, то подход можно сделать более человеческим. Вместо того чтобы всю строку разбивать на массив разделителей можно выбрать поля 1 и 5 с разделителем по умолчанию и уже эту строку $1$5 [29599:1545281]123.123.123.121/32 разбить на составляющие:

Code
1
awk '{split($1$5,N,"[]:/]")} N[2]{print N[2],N[3]}'

или

Code
1
awk '{split($1$5,N,/[]:/]/);$0=N[2]FS N[3]}N[2]'

Это более удобно. Визуально видны нужные поля в тексте 1 и 5, явно определяются разделители ];/ и подряд идут индексы в массиве N - 2 и 3, отбрасывая первое и последнее значения.

На гнутом седе:

Code
1
sed -nr 's/.*:([0-9]*[1-9]+[0-9]*)].+d( [0-9.]*)/\1\2/p'

Вот эта регулярка [0-9]*[1-9]+[0-9]* гарантирует, что в контрольном числе будут не только нули

@_sg2 · 16.11.2024, 22:50

Вызов сработал

@Kubuntovod · 17.11.2024, 10:04 **[ТС]**

Сообщение от nezabudka

N[2]{print N[2],N[3]

Сообщение от nezabudka

;$0=N[2]FS N[3]}N[2]

Вот эти части - какой-то квадратный трёхчлен. Без ~~пузыря~~ пояснений не укладывается в синопсы.

Сообщение от nezabudka

Это более удобно.

Но менее понятно.

Сообщение от nezabudka

Если хорошо ориентироваться в работе текстового процессора gawk, то подход можно сделать более человеческим.

Самый гуманный вариант в 14 посте. И выглядит очень гармонично.

Добавлено через 2 минуты
Тему пора переименовывать. В "Не очевидные па, в танцах с AWK"

@nezabudka · 17.11.2024, 13:55

Сообщение от Kubuntovod

Вот эти части - какой-то квадратный трёхчлен. Без пузыря пояснений не укладывается в синопсы.

Все в awk имеет форму "условие {действие}". Если условие вычисляется в 1(или true) значит выполняется действие. Если условие опускается значит оно, принимает значение 1 по умолчанию. Если действие опускается и условие при этом вычисляется в 1 значит действие по умолчанию выполняется, то есть выводится на печать строка в буфере - {print $0}. Теперь смотрим что у нас есть:

Сообщение от nezabudka

Code
1
awk '{split($1$5,N,"[]:/]")} N[2]{print N[2],N[3]}'

Запишем это в формате "условие {действие}":

Code
1
2
3
4
5
awk '
1       {split($1$5,N,[]:/"} # условие по умолчанию принимается за 1
N[2]    {print N[2],N[3]}    # если в переменной N[2] - 0 значит действие не выполняется,
                             # если другое число то принимается за 1 и действие выполняется
}'

В переменной N записывается число триггер по которому определяется выводить ли строку на печать, следовательно если записано 0 или 00 то строка не выводится что соответствует условию задачи.
Следующий пример:

Сообщение от nezabudka

Code
1
awk '{split($1$5,N,/[]:/]/);$0=N[2]FS N[3]}N[2]'

Записываем в явном формате:

Code
1
2
3
awk '
{split($1$5,N,/[]:/]/);$0=N[2]FS N[3]}    N[2]
'

Теперь все меняется местами. Первое в фигурных скобках это условие. При выполнении действий в фигурных скобках получаем значение 1. А действие у нас определяет значение которое, находится в переменной N[2]. Если там число 0 или 00, то строка из записи(буфера) не выводится, если любое другое число, то оно означает 1 и выполняется действие по умолчанию {print $0}.
Не посвященному это кажется непонятным, поэтому я в начале и оговорилась:

Сообщение от nezabudka

Если хорошо ориентироваться в работе текстового процессора gawk

@volodin661 · 17.11.2024, 14:07

Сообщение от nezabudka

Если хорошо ориентироваться

традиционно

@Kubuntovod · 17.11.2024, 14:30 **[ТС]**

Сообщение от nezabudka

Теперь все меняется местами. Первое в фигурных скобках это условие. При выполнении действий в фигурных скобках получаем значение 1.

На взгляд непосвящённого, получается два условия. Хотя, первое, по факту, формирует новую строку, из запчастей изначальной строки. И оно всегда будет 1. Верно?

@nezabudka · 17.11.2024, 14:41

Kubuntovod, Да, это действие всегда возвращает 1 и это принимается как условие, а действие принимает значение или 0 или 1 в зависимости от значения в переменной и если это 1 то вызывается действие по умолчанию {print $0}. Так что во многих случаях достаточно поставить число, а не писать явно {print $0}. Обычно так и ставят 1, но подойдет любое число.

Добавлено через 4 минуты
Да и старая запись затирается и записывается новая состоящая из двух полей - значений в массиве N[2] и N[3]

@Kubuntovod · 17.11.2024, 15:19 **[ТС]**

Сообщение от nezabudka

split($1$5,N,/[]:/]/)

Осталось одно белое пятно. Как-то странно расставленные слеши. Можете растолмачить?

@nezabudka · 17.11.2024, 15:34

Kubuntovod, В одном примере регулярка в кавычках, а в этом внутри двух прямых слэшей
/[]:/]/ вместо квадратных скобок - объединения в группу, можно указать через оператор или, но все же удобней будет в кавычках "]|:|/"

@Kubuntovod · 17.11.2024, 16:23 **[ТС]**

Сообщение от nezabudka

но все же удобней будет в кавычках "]|:|/"

Да, так гуманнее.

Добавлено через 40 минут
Выжимка ~~сока мозга~~ нектара для непосвящённых, которые придут сюда после.

Строка "сырец":

Bash
1
[29599:1545281] -A Bla_122_123_PREROUTING -d 123.123.123.121/32 -p tcp -m tcp --dport 3332 -j DNAT --to-destination 192.168.0.33

Bash
1
awk '{split($1$5,N,/[]:/]/);$0=N[2]FS N[3]} N[2]'

• Разделитель по дефолту - пробел. Берём поля 1 и 5. Т.е. [29599:1545281] и 123.123.123.121/32
• Список разделителей в /[ ... ]/
• Разделяем и складываем в массив N
• N[1] = [29599
• N[2] = 1545281
• N[3] = 123.123.123.121
• $0=N[2]FS N[3] - изначальную строку меняем на 1545281 123.123.123.121
• Если N[2] не 0, то выполняется действие по дефолту. А по дефолту, это {print $0}, т.е. выводим строку
И в свете последних обсуждений, брюки превращаются:

Bash
1
awk '{split($1$5,N,"]|:|/");$0=N[2]FS N[3]} N[2]'

Что воспринимается гораздо понятнее.

Bash
1
"]|:|/"

Список разделителей в кавычках и через | - ИЛИ

Новые блоги и статьи Все статьи Все блоги /
Программное добавление префикса в нумерацию документов Maks 27.10.2026 Реализация из решения ниже выполнена в самописной конфигурации на БСП (помощь начинающему коллеге). Задача: Программно добавить префикс в нумерацию документов. Решение: В модуле объекта. . .	После закрытия оутлука продолжает висеть процесс в диспетчере задач Maks 27.10.2026 С недавнего времени в продакшене возникла проблема: при закрытии оутлука в диспетчере задач продолжал висеть процесс outlook. exe. Проблема возникла после установки MS Office 2021 LTSC на машинах, под. . .	Baragoz - DPS/HPS бот для WoW 3.3.5a, многоязычный AmbA 26.10.2026 Хотите ещё ботов? У меня есть один! А я пока отдохну от него. https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=12062&stc=1&d=1793007952 Инструкция внутри. https:/ / youtu. be/ VpfFZSUDGnQ. . .	Особенности gif сгенерированных в Си russiannick 21.10.2026 Рассмотрим генерацию gif файлов, которые в Си имеют свои особенности. Gif представляет собой графический формат популярный в интернете. Посмотрим на палитру. Gif файл сгенерированный в си отличается. . .
FPS контроллер с анимированными Y-Bot и 3D-звуком miniaudio (Box3D, Recast, BehaviorTree.CPP, ozz-animation, ImGui, OpenGL и SDL3) 8Observer8 18.10.2026 Содержание блога \| English Version Полное мультиплатформенное руководство по стартовому проекту с FPS-контроллером игрока, анимированными роботами Y-Bot с 4-слойным блендингом, 3D-физикой Box3D,. . .	Локальный http сервер Argus19 17.10.2026 Локальный http сервер На работе, на двух локальных компьютерах круглосуточно работают программы опроса приборов с записью в книги Excel,которые раз в сутки записываются на сервер компании. Т. к. . . .	Копировать Windows на новый диск на UEFI damix 17.10.2026 https:/ / uriesk. wordpress. com/ 2016/ 11/ 01/ move-window-10-to-ssd-on-a-uefi-dualboot-system-with-basic-linux-tools/ TL DR Вставляем диск, а старый подключаем через переходник, грузимся с лайва. . .	ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .

@_sg2 1154 / 406 / 90 Регистрация: 30.08.2017 Сообщений: 2,503
	16.11.2024, 22:50
	Вызов сработал 0

@nezabudka 3334 / 752 / 252 Регистрация: 28.06.2015 Сообщений: 1,552 Записей в блоге: 16
	17.11.2024, 14:41
	Kubuntovod, Да, это действие всегда возвращает 1 и это принимается как условие, а действие принимает значение или 0 или 1 в зависимости от значения в переменной и если это 1 то вызывается действие по умолчанию `{print $0}`. Так что во многих случаях достаточно поставить число, а не писать явно `{print $0}`. Обычно так и ставят 1, но подойдет любое число. Добавлено через 4 минуты Да и старая запись затирается и записывается новая состоящая из двух полей - значений в массиве N[2] и N[3] 0

@nezabudka 3334 / 752 / 252 Регистрация: 28.06.2015 Сообщений: 1,552 Записей в блоге: 16
	17.11.2024, 15:34
	Kubuntovod, В одном примере регулярка в кавычках, а в этом внутри двух прямых слэшей `/[]:/]/` вместо квадратных скобок - объединения в группу, можно указать через оператор или, но все же удобней будет в кавычках `"]\|:\|/"` 1