Чем лучше распарсить вот такой лог

@leonidkorolev · Регистрация: 23.06.2015

Студворк — интернет-сервис помощи студентам

Code
1
44:57.046006-94004,SDBL,2,process=rphost,p:processName=db,OSThread=43152,t:clientID=2959,....

44:57.046006 - время
94004 - длительность
SDBL
2
process=rphost - далее произвольное количество таких пар

Какие лучше использовать библиотеки или инструменты?

@Arsegg · 17.02.2022, 14:07

Сообщение от leonidkorolev

Какие лучше использовать библиотеки или инструменты?

re.

@leonidkorolev · 17.02.2022, 14:12 **[ТС]**

re это низкий уровень.
Может повыше есть ченить?

@Arsegg · 17.02.2022, 14:40

Сообщение от leonidkorolev

Может повыше есть ченить?

Kibana.

Кликните здесь для просмотра всего текста

@Garry Galler · 17.02.2022, 17:15

Сообщение от leonidkorolev

Какие лучше использовать библиотеки или инструменты

Те, которые написаны для парсинга логов именно этого приложения.

Добавлено через 4 минуты
P.S. Можно было не стесняться и сразу написать что это [censored] 1С...

@Skryp · 17.02.2022, 19:38

Python
1
2
3
4
5
6
7
8
9
10
11
12
text_data = '44:57.046006-94004,SDBL,2,process=rphost,p:processName=db,OSThread=43152,t:clientID=2959'
 
temp = text_data.split(',')
print(f"temp = {temp}")
 
time_data = temp[0].split('-')[0]
duration = temp[0].split('-')[1]
SD_data = temp[1]
number = temp[2]
process_data = temp[3]
 
print(process_data)

Непонятно, далее в строке у вас такие пары где-то повторяются? Нужно знать признак окончания пары.

@leonidkorolev · 17.02.2022, 22:04 **[ТС]**

Arsegg, Kibana это визуализация насколько я понял, хотели сказать наверно elastiksearch? Я почитал про эластик. Тяжко заходит. Пока слабо представляю как прикрутить.

Добавлено через 7 минут

Сообщение от Garry Galler

Те, которые написаны для парсинга логов именно этого приложения.

Есть такие в природе? Подскажите.

Сообщение от Garry Galler

P.S. Можно было не стесняться и сразу написать что это [censored] 1С...

Это технологический журнал 1С. Чем эта информация поможет.

@Garry Galler · 17.02.2022, 22:41

Сообщение от leonidkorolev

Чем эта информация поможет.

Тем, что кто-то мог бы вспомнить, про какой-нибудь Python парсер логов для 1С.
Я не вспомнил - возможно, что никто и не писал такого.

Сообщение от leonidkorolev

наверно elastiksearch?

Здесь понадобится полный стек ELK: elastic, logstash, kibana.
Парсинг логов и трансформацию в JSON документ, пригодный для поиска в эластике, делает logstash. Но среди сотни готовых паттернов логов именно для 1С, конечно, ничего нет. (думаю создатели logstash просто никогда не слышали про 1С: для syslog, apache, nginx, mysql все есть).
Так что писать фильтры (паттерны разбора) придется вручную.

типа такого...

Code
1
2
3
4
5
6
filter {
  grok {
    type => "some_access_log"
    patterns_dir => "/path/to/patterns/"
    pattern => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
  }

Добавлено через 12 минут
Но ELK это все-таки тяжелая артиллерия для промышленного highload'а.
Поэтому если нужен просто разбор лога для построения простой таблички, стоит поднапрячься и написать кастомную регулярку на основе точного формата лога.

Добавлено через 9 минут
Но 1С-ники же сами уже написали себе инструмент. На 1С.
Чем не подходит?

Парсер технологического журнала 1С»

Рыжий Лис · 20.02.2022, 17:24

Сообщение от Skryp

temp = text_data.split(',')

Python
1
2
>>> text_data.split(',', 3)
['44:57.046006-94004', 'SDBL', '2', 'process=rphost,p:processName=db,OSThread=43152,t:clientID=2959']

Новые блоги и статьи Все статьи Все блоги /
Уведомление о неверно выбранном значении справочника Maks 06.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .	Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .
Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .	Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/

@leonidkorolev 7 / 5 / 2 Регистрация: 23.06.2015 Сообщений: 57
	17.02.2022, 14:12 [ТС]
	re это низкий уровень. Может повыше есть ченить? 0