Удаление из строки всех одинарных кавычек в теле AWK

@RuCosinus · Регистрация: 03.10.2013

Студворк — интернет-сервис помощи студентам

Добрый день.

Входные данные:

Что делаем: обрабатываем лог-файл и пишем подходящие под условия строки в виде SQL-инструкции в файлик, который потом выполним.
Пример строчки из лог файла:
17-07-31 10:23:18,027 INFORMATION Неважный_столбец [192.168.24.159] Тут некоторое текстовое выражение, которое может в себя включать одинарные кавычки
Правило обработки: если пятый столбец начинается с [ и заканчивается на ], то считаем эту запись подходящей

Проблема: В тексте, который идет после IP могут встречаться кавычки, что ломает мне картину(инсерт не инсертит, что, в общем-то, логично).

Вопрос: как избавиться от одинарных кавычек (удалить из определенного столбца, а точнее из суммы нескольких полей) в теле awk? То есть,по сути, мне нужно удалить кавычки в переменной w, которую я собираю из нескольких столбцов, перед выводом. Много всего пробовал, но, видимо, в край запутался в синтаксисе и кавычках.

Вот сам скриптик:

Bash
1
2
3
4
5
6
7
8
9
10
11
12
13
14
awk '
    $5~/\[.+\]$/{OFS=""}
    {
    for(i=6; i<=NF; i++) {
        w=w $i " "
        };
        { 
        print "INSERT INTO DB.TABLE (logdate,logtime,loglevel,IP,message) VALUES(TO_DATE(\x27",$1,"\x27,\x27MM-DD-YY\x27),\x27",$2,"\x27,\x27",$3,"\x27,\x27",$5,"\x27,\x27",w,"\x27"
        };
        {
        w=""
        }
    }
    ' file.log

Заранее благодарю за помощь.

@Marinero · 01.08.2017, 16:55

Почему Вы решили что awk лучший выбор для этой задачи?

Bash
1
2
3
4
5
6
7
8
9
10
sed "
/\(\S\+\s\+\)\{4\}\[\S\+\]/! d
s/'//g
s/\s\+/ MM-DD-YY /
:a
s/\s\+/','/
/]'/! ba
s/$/'/
s/^/INSERT INTO DB.TABLE (logdate,logtime,loglevel,IP,message) VALUES(TO_DATE('/
" file.log

Добавлено через 1 час 23 минуты

Bash
1
2
3
4
5
6
7
8
9
10
11
12
awk '
$5 ~ /\[/ {
    printf "%s\x27", "INSERT INTO DB.TABLE (logdate,logtime,loglevel,IP,message) VALUES(TO_DATE("
    print $1
    $1="MM-DD-YY"
    for(i=1;i<6;i++)
        print $i
    sub(".*] ", "")
    gsub("\x27", "")
    }
ORS="\x27\n"
'  ORS="\x27,\x27" file.log

@RuCosinus · 01.08.2017, 17:01 **[ТС]**

Marinero,
спасибо за ваш вариант.

Возможно с awk я и не прав, я его в живую только сегодня увидел. Просто он мне показался чуть более логичным и структурированным, чем sed. Вот просто я смотрю на свой код на awk и на ваш на sed и awk мне интуитивно более понятен. Я даже не пойму, как превратить ваш отформатированный код в "код одной строкой", ctrl+c, ПКМ работает (через putty), а при попытке удалить переносы строк, все разваливается. То есть понятно, что это не к sed претензии, а ко мне, что я не удосужился пока его синтаксис разобрать, но вроде начал на awk, поэтому и не смотрел.

Еще пара вопросов, с вашего позволения.
1) Подскажите, а почему вы считаете, что sed подходит лучше для данной задачи?
2) Есть ли решение первоначально заданного вопроса именно относительно awk? Очень уж не хочется сейчас время терять, разбираясь в синтаксисе sed, когда до победы с awk остался один маленький шаг. А в случае применения вашего кода, разбираться все равно придется, хоть задача и разовая, как минимум, чтобы я смог потом что-то поправить и\или объяснить. Ну и копировать чей-то код себе на сервер не разобравшись досконально, что он делает, как-то не комильфо, право слово

Вы, кстати, в своем коде забыли скобочку закрывающую в TO_DATE.

@Marinero · 01.08.2017, 17:17

Сообщение от RuCosinus

почему вы считаете, что sed подходит лучше для данной задачи

sed достаточно сложно производить вычисления, но в остальном, возможно засчет специализации, дает фору другим программам при обработке текста. Все таки awk это более высокий уровень, можно сказать «псевдо»-язык программирования, а sed именно строковый редактор (string editor)

Сообщение от RuCosinus

Есть ли решение первоначально заданного вопроса именно относительно awk

Есть, оно приведено выше.

Сообщение от RuCosinus

Вы, кстати, в своем коде забыли скобочку закрывающую в TO_DATE

«Не мы, а Вы»© Что было у Вас в коде, то и скопировал. И по логике там 2 закрывающие скобки должны быть…

Добавлено через 1 минуту

Сообщение от RuCosinus

Ну и копировать чей-то код себе на сервер не разобравшись досконально, что он делает, как-то не комильфо, право слово

Кто заставляет копировать код? Копируйте результат.

volodin661 · 02.08.2017, 10:42

Для разбора log-файлов и последующего применения SQL существует кросс-платформенный инструмент,
название которого всем известно.

Новые блоги и статьи Все статьи Все блоги /
http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Первый деплой lagorue 16.01.2026 Не спеша развернул своё 1ое приложение в kubernetes. А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит: токи, напряжения и их 1 и 2 производные при t = 0;. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Изучаю kubernetes lagorue 13.01.2026 А пригодятся-ли мне знания kubernetes в России?	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .

@RuCosinus 0 / 0 / 0 Регистрация: 03.10.2013 Сообщений: 15
	01.08.2017, 17:01 [ТС]
	Marinero, спасибо за ваш вариант. Возможно с awk я и не прав, я его в живую только сегодня увидел. Просто он мне показался чуть более логичным и структурированным, чем sed. Вот просто я смотрю на свой код на awk и на ваш на sed и awk мне интуитивно более понятен. Я даже не пойму, как превратить ваш отформатированный код в "код одной строкой", ctrl+c, ПКМ работает (через putty), а при попытке удалить переносы строк, все разваливается. То есть понятно, что это не к sed претензии, а ко мне, что я не удосужился пока его синтаксис разобрать, но вроде начал на awk, поэтому и не смотрел. Еще пара вопросов, с вашего позволения. 1) Подскажите, а почему вы считаете, что sed подходит лучше для данной задачи? 2) Есть ли решение первоначально заданного вопроса именно относительно awk? Очень уж не хочется сейчас время терять, разбираясь в синтаксисе sed, когда до победы с awk остался один маленький шаг. А в случае применения вашего кода, разбираться все равно придется, хоть задача и разовая, как минимум, чтобы я смог потом что-то поправить и\или объяснить. Ну и копировать чей-то код себе на сервер не разобравшись досконально, что он делает, как-то не комильфо, право слово Вы, кстати, в своем коде забыли скобочку закрывающую в TO_DATE. 0

volodin661 6673 / 2266 / 346 Регистрация: 10.12.2013 Сообщений: 7,834
	02.08.2017, 10:42
	Для разбора log-файлов и последующего применения SQL существует кросс-платформенный инструмент, название которого всем известно. 0