Чем лучше распарсить вот такой лог

@leonidkorolev · Регистрация: 23.06.2015

Студворк — интернет-сервис помощи студентам

Code
1
44:57.046006-94004,SDBL,2,process=rphost,p:processName=db,OSThread=43152,t:clientID=2959,....

44:57.046006 - время
94004 - длительность
SDBL
2
process=rphost - далее произвольное количество таких пар

Какие лучше использовать библиотеки или инструменты?

@Arsegg · 17.02.2022, 14:07

Сообщение от leonidkorolev

Какие лучше использовать библиотеки или инструменты?

re.

@leonidkorolev · 17.02.2022, 14:12 **[ТС]**

re это низкий уровень.
Может повыше есть ченить?

@Arsegg · 17.02.2022, 14:40

Сообщение от leonidkorolev

Может повыше есть ченить?

Kibana.

Кликните здесь для просмотра всего текста

@Garry Galler · 17.02.2022, 17:15

Сообщение от leonidkorolev

Какие лучше использовать библиотеки или инструменты

Те, которые написаны для парсинга логов именно этого приложения.

Добавлено через 4 минуты
P.S. Можно было не стесняться и сразу написать что это [censored] 1С...

@Skryp · 17.02.2022, 19:38

Python
1
2
3
4
5
6
7
8
9
10
11
12
text_data = '44:57.046006-94004,SDBL,2,process=rphost,p:processName=db,OSThread=43152,t:clientID=2959'
 
temp = text_data.split(',')
print(f"temp = {temp}")
 
time_data = temp[0].split('-')[0]
duration = temp[0].split('-')[1]
SD_data = temp[1]
number = temp[2]
process_data = temp[3]
 
print(process_data)

Непонятно, далее в строке у вас такие пары где-то повторяются? Нужно знать признак окончания пары.

@leonidkorolev · 17.02.2022, 22:04 **[ТС]**

Arsegg, Kibana это визуализация насколько я понял, хотели сказать наверно elastiksearch? Я почитал про эластик. Тяжко заходит. Пока слабо представляю как прикрутить.

Добавлено через 7 минут

Сообщение от Garry Galler

Те, которые написаны для парсинга логов именно этого приложения.

Есть такие в природе? Подскажите.

Сообщение от Garry Galler

P.S. Можно было не стесняться и сразу написать что это [censored] 1С...

Это технологический журнал 1С. Чем эта информация поможет.

@Garry Galler · 17.02.2022, 22:41

Сообщение от leonidkorolev

Чем эта информация поможет.

Тем, что кто-то мог бы вспомнить, про какой-нибудь Python парсер логов для 1С.
Я не вспомнил - возможно, что никто и не писал такого.

Сообщение от leonidkorolev

наверно elastiksearch?

Здесь понадобится полный стек ELK: elastic, logstash, kibana.
Парсинг логов и трансформацию в JSON документ, пригодный для поиска в эластике, делает logstash. Но среди сотни готовых паттернов логов именно для 1С, конечно, ничего нет. (думаю создатели logstash просто никогда не слышали про 1С: для syslog, apache, nginx, mysql все есть).
Так что писать фильтры (паттерны разбора) придется вручную.

типа такого...

Code
1
2
3
4
5
6
filter {
  grok {
    type => "some_access_log"
    patterns_dir => "/path/to/patterns/"
    pattern => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
  }

Добавлено через 12 минут
Но ELK это все-таки тяжелая артиллерия для промышленного highload'а.
Поэтому если нужен просто разбор лога для построения простой таблички, стоит поднапрячься и написать кастомную регулярку на основе точного формата лога.

Добавлено через 9 минут
Но 1С-ники же сами уже написали себе инструмент. На 1С.
Чем не подходит?

Парсер технологического журнала 1С»

Рыжий Лис · 20.02.2022, 17:24

Сообщение от Skryp

temp = text_data.split(',')

Python
1
2
>>> text_data.split(',', 3)
['44:57.046006-94004', 'SDBL', '2', 'process=rphost,p:processName=db,OSThread=43152,t:clientID=2959']

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

@leonidkorolev 7 / 5 / 2 Регистрация: 23.06.2015 Сообщений: 57
	17.02.2022, 14:12 [ТС]
	re это низкий уровень. Может повыше есть ченить? 0

Опции темы