Парсинг radius логов

@k0xy · Регистрация: 12.01.2009

Студворк — интернет-сервис помощи студентам

Подскажите как пропарсить логи радиуса на питоне, логи вот такого вида:

Python
1
2
3
4
5
6
7
8
9
10
11
Sat Jul 23 23:33:19 2016
       User-Name = "ivan.ivanov"
       Framed-IP-Address = 10.10.10.10
       Class = 0x4e424e4800
       Called-Station-Id = "1.1.1.1"
       Calling-Station-Id = "2.2.2.2"
       Acct-Status-Type = Start
       Tunnel-Client-Endpoint:0 = "3.3.3.3"
       NAS-IP-Address = 10.10.10.1
       Acct-Unique-Session-Id = "e2b8f8bbb49ed619"
       Timestamp = 1469305999

Матчу дату из 1 строки ([A-Z-a-z]{3}\s[A-Z-a-z]{3}\s[0-9]{1,2}\s[0-9]{1,2}\:[0-9]{1,2}\:[0-9]{1,2}\s[0-9]{4}) и перевожу ее в timestamp (как название словаря), вопрос в том, как спарсить все что дальше по типу ключ -> значение и поместить это все это в тот же словарь, чтобы потом сортировать / фильтровать по нужным значениям.

@Zuzik · 26.07.2016, 21:23

1 строка - datetime.strptime(строка_формата) (см. документацию по питону.)
Остальные - str.split('=')
И вперед.

Добавлено через 6 минут
1 строка - datetime.strptime(строка_формата) (см. документацию по питону.)
Остальные - str.split('=')
И вперед.

@k0xy · 26.07.2016, 22:06 **[ТС]**

Zuzik, как указывать, что дата - это начало одного блока, а пустая строка - его конец? чтобы оно делало как-то так:
1469305999 = {'User-Name': "ivan.ivanov", 'Framed-IP-Address': "10.10.10.10", ...}
1469356562 = {'User-Name': "petr.petrov", 'Framed-IP-Address': "20.20.20.20", ...}

@Zuzik · 26.07.2016, 22:20

Весь лог в таком формате, что ты написал? Блоки по 11 строк? Тогда взял файл, в цикле считал 11 строк, закинул их в словарь. И так весь файл перегонишь в словарь. Если количество строк разное - тогда регуляркой проверять строку, на то, дата ли она.Если дата- ее как ключ словаря, и считываешь все строки до тех пор пока не встретишь следующую дату.

@k0xy · 26.07.2016, 22:30 **[ТС]**

Zuzik, да, весь лог в таком формате со строгим количеством строк. задача состоит в том, чтобы не перегнать все в словари, а чтобы найти нужные данные по общему ключу. Например последний вход пользователя или все пользователи с одного ip и тд. Просто тупо перегонять все из одного формата в другой не нужно.

@Zuzik · 26.07.2016, 22:31

Загоняете все в один большой словарь и по нему ищете. Все просто. Очень.

@Marinero · 30.07.2016, 13:06

Сообщение от k0xy

найти нужные данные по общему ключу. Например последний вход пользователя или все пользователи с одного ip

Тогда плохая идея иметь ключом дату.

Jabbson · 30.07.2016, 14:41

имхо, если вариант, логи радиуса нужно писать все-таки в базу данных и поиск производить оптимизированными для этого средствами базы.

@k0xy · 03.08.2016, 12:14 **[ТС]**

Marinero, предложите более удобный вариант, нашел готовый модуль у перла Logfile:Radius, думаю как это перенести на питон.

Jabbson, количество сжатых текстовых логов радиуса исчисляется терабайтами, в базу такое не запихнешь быстро, а вот пропарсить файлы за нужные даты очень даже реально.

Новые блоги и статьи Все статьи Все блоги /
Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .	Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .
Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .

@Zuzik 298 / 256 / 57 Регистрация: 11.06.2012 Сообщений: 1,557
	26.07.2016, 21:23
	1 строка - datetime.strptime(строка_формата) (см. документацию по питону.) Остальные - str.split('=') И вперед. Добавлено через 6 минут 1 строка - datetime.strptime(строка_формата) (см. документацию по питону.) Остальные - str.split('=') И вперед. 0

@k0xy 222 / 180 / 5 Регистрация: 12.01.2009 Сообщений: 1,094
	26.07.2016, 22:06 [ТС]
	Zuzik, как указывать, что дата - это начало одного блока, а пустая строка - его конец? чтобы оно делало как-то так: 1469305999 = {'User-Name': "ivan.ivanov", 'Framed-IP-Address': "10.10.10.10", ...} 1469356562 = {'User-Name': "petr.petrov", 'Framed-IP-Address': "20.20.20.20", ...} 0

@Zuzik 298 / 256 / 57 Регистрация: 11.06.2012 Сообщений: 1,557
	26.07.2016, 22:20
	Весь лог в таком формате, что ты написал? Блоки по 11 строк? Тогда взял файл, в цикле считал 11 строк, закинул их в словарь. И так весь файл перегонишь в словарь. Если количество строк разное - тогда регуляркой проверять строку, на то, дата ли она.Если дата- ее как ключ словаря, и считываешь все строки до тех пор пока не встретишь следующую дату. 0

@k0xy 222 / 180 / 5 Регистрация: 12.01.2009 Сообщений: 1,094
	26.07.2016, 22:30 [ТС]
	Zuzik, да, весь лог в таком формате со строгим количеством строк. задача состоит в том, чтобы не перегнать все в словари, а чтобы найти нужные данные по общему ключу. Например последний вход пользователя или все пользователи с одного ip и тд. Просто тупо перегонять все из одного формата в другой не нужно. 0

@Zuzik 298 / 256 / 57 Регистрация: 11.06.2012 Сообщений: 1,557
	26.07.2016, 22:31
	Загоняете все в один большой словарь и по нему ищете. Все просто. Очень. 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	30.07.2016, 14:41
	имхо, если вариант, логи радиуса нужно писать все-таки в базу данных и поиск производить оптимизированными для этого средствами базы. 0

@k0xy 222 / 180 / 5 Регистрация: 12.01.2009 Сообщений: 1,094
	03.08.2016, 12:14 [ТС]
	Marinero, предложите более удобный вариант, нашел готовый модуль у перла Logfile:Radius, думаю как это перенести на питон. Jabbson, количество сжатых текстовых логов радиуса исчисляется терабайтами, в базу такое не запихнешь быстро, а вот пропарсить файлы за нужные даты очень даже реально. 0