Чем лучше распарсить вот такой лог

@leonidkorolev · Регистрация: 23.06.2015

Студворк — интернет-сервис помощи студентам

Code
1
44:57.046006-94004,SDBL,2,process=rphost,p:processName=db,OSThread=43152,t:clientID=2959,....

44:57.046006 - время
94004 - длительность
SDBL
2
process=rphost - далее произвольное количество таких пар

Какие лучше использовать библиотеки или инструменты?

@Arsegg · 17.02.2022, 14:07

Сообщение от leonidkorolev

Какие лучше использовать библиотеки или инструменты?

re.

@leonidkorolev · 17.02.2022, 14:12 **[ТС]**

re это низкий уровень.
Может повыше есть ченить?

@Arsegg · 17.02.2022, 14:40

Сообщение от leonidkorolev

Может повыше есть ченить?

Kibana.

Кликните здесь для просмотра всего текста

@Garry Galler · 17.02.2022, 17:15

Сообщение от leonidkorolev

Какие лучше использовать библиотеки или инструменты

Те, которые написаны для парсинга логов именно этого приложения.

Добавлено через 4 минуты
P.S. Можно было не стесняться и сразу написать что это [censored] 1С...

@Skryp · 17.02.2022, 19:38

Python
1
2
3
4
5
6
7
8
9
10
11
12
text_data = '44:57.046006-94004,SDBL,2,process=rphost,p:processName=db,OSThread=43152,t:clientID=2959'
 
temp = text_data.split(',')
print(f"temp = {temp}")
 
time_data = temp[0].split('-')[0]
duration = temp[0].split('-')[1]
SD_data = temp[1]
number = temp[2]
process_data = temp[3]
 
print(process_data)

Непонятно, далее в строке у вас такие пары где-то повторяются? Нужно знать признак окончания пары.

@leonidkorolev · 17.02.2022, 22:04 **[ТС]**

Arsegg, Kibana это визуализация насколько я понял, хотели сказать наверно elastiksearch? Я почитал про эластик. Тяжко заходит. Пока слабо представляю как прикрутить.

Добавлено через 7 минут

Сообщение от Garry Galler

Те, которые написаны для парсинга логов именно этого приложения.

Есть такие в природе? Подскажите.

Сообщение от Garry Galler

P.S. Можно было не стесняться и сразу написать что это [censored] 1С...

Это технологический журнал 1С. Чем эта информация поможет.

@Garry Galler · 17.02.2022, 22:41

Сообщение от leonidkorolev

Чем эта информация поможет.

Тем, что кто-то мог бы вспомнить, про какой-нибудь Python парсер логов для 1С.
Я не вспомнил - возможно, что никто и не писал такого.

Сообщение от leonidkorolev

наверно elastiksearch?

Здесь понадобится полный стек ELK: elastic, logstash, kibana.
Парсинг логов и трансформацию в JSON документ, пригодный для поиска в эластике, делает logstash. Но среди сотни готовых паттернов логов именно для 1С, конечно, ничего нет. (думаю создатели logstash просто никогда не слышали про 1С: для syslog, apache, nginx, mysql все есть).
Так что писать фильтры (паттерны разбора) придется вручную.

типа такого...

Code
1
2
3
4
5
6
filter {
  grok {
    type => "some_access_log"
    patterns_dir => "/path/to/patterns/"
    pattern => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
  }

Добавлено через 12 минут
Но ELK это все-таки тяжелая артиллерия для промышленного highload'а.
Поэтому если нужен просто разбор лога для построения простой таблички, стоит поднапрячься и написать кастомную регулярку на основе точного формата лога.

Добавлено через 9 минут
Но 1С-ники же сами уже написали себе инструмент. На 1С.
Чем не подходит?

Парсер технологического журнала 1С»

Рыжий Лис · 20.02.2022, 17:24

Сообщение от Skryp

temp = text_data.split(',')

Python
1
2
>>> text_data.split(',', 3)
['44:57.046006-94004', 'SDBL', '2', 'process=rphost,p:processName=db,OSThread=43152,t:clientID=2959']

Новые блоги и статьи Все статьи Все блоги /
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .

@leonidkorolev 7 / 5 / 2 Регистрация: 23.06.2015 Сообщений: 57
	17.02.2022, 14:12 [ТС]
	re это низкий уровень. Может повыше есть ченить? 0