Чтение постоянно записываемого файла

@creonz · Регистрация: 29.05.2013

Студворк — интернет-сервис помощи студентам

написал некий код, который в случае обнаружения в строке набор символ отправляет запрос. Также помимо чтения лога, код считывает обновления запросом, все в одном цикле.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
def main():
    logger.info('Starting up')
    with open(filePath,'r') as f:
        while True:
            line = f.readline()
            if not line:
                break
            lastLine = line
    while (True):
        with open(filePath,'r') as f:
            lines = f.readlines()
        if lines[-1] != lastLine:
            lastLine = lines[-1]
            if 'ERROR' in lines[-1]:
                print('USER ROOT')
                for chid in ts_list:
                    sendMessage(chid, lines[-1])
            print(lines[-1])
        r = getUpdates(update_id+1,None, None)
        asyncore.loop()

Но так как такой подход является блокирующим, он мне не подходит, решил переписать используя не блокирующий os.read таким способом:

Python
1
2
3
4
5
6
7
8
fd = os.open('/var/log/auth.log', os.O_RDONLY|os.O_NONBLOCK)
    buff = ''
    while (True):
        buf = os.read(fd, 1024)
        if len(buf) == 0:
            break
        buff += buf
    strings = buff[1:].split("\x00")

Но столкнулся с тем, что в первом случае я мог просто вывести строку, а тут я не знаю как отделить строку от остального текста
Вывод получается таким:

Python
1
Oct 14 05:06:10 freya su[40701]: pam_unix(su:session): session opened for user root by maffa(uid=0)\nOct 14 05:06:13 freya su[40701]: pam_unix(su:session): session closed for user root\nOct 14 05:06:13 freya sudo: pam_unix(sudo:session): session closed for user root\nOct 14 05:06:53 freya sudo:    maffa : TTY=pts/1 ; PWD=/var/log ; USER=root ; COMMAND=/bin/su\nOct 14 05:06:53 freya sudo: pam_unix(sudo:session): session opened for user root by maffa(uid=0)\nOct 14 05:06:53 freya su[40753]: Successful su for root by root\n

т.е. строки разделены символом \n, но я не могу понять как брать нужную мне строку от \n до \n

И еще вопрос на засыпку, каким образом можно читая файл запоминать место на котором остановился в прошлый раз чтобы потом продолжить?

@ivlevdenis · 15.10.2015, 02:50

str.split('\n')

@creonz · 15.10.2015, 10:17 **[ТС]**

тут тогда получается так:

Python
1
strings = buff[0:].split("\n")

И в таком случае дальше я имею дело с листом, с каждой отдельной строкой.

Но можно ли каким либо образом обрабатывать именно буфер на наличие вхождения текста, без дополнительных преобразований?

Jabbson · 15.10.2015, 11:58

а чем вам не нравится работать с листом?

@creonz · 15.10.2015, 12:55 **[ТС]**

Не то, чтобы не нравится. Просто не могу придумать алгоритм поиска по строке в листе, если по элементу листа просто индексом можно, тот тут не так просто.

Добавлено через 42 минуты
Хотя оказалось все проще:

Python
1
2
3
    for str in strings:
        if 'sudo:session' in str:
            print(i)

Остается вопрос: Каким образом можно читая файл запоминать место на котором остановился в прошлый раз чтобы потом продолжить?

Jabbson · 15.10.2015, 12:57

Сообщение от creonz

Хотя оказалось все проще

именно так и имелось ввиду

Сообщение от creonz

Каким образом можно читая файл запоминать место на котором остановился в прошлый раз чтобы потом продолжить?

tell()

@creonz · 15.10.2015, 13:59 **[ТС]**

Да но, в случае использования os.read вариант с tell не подходит

Jabbson · 15.10.2015, 13:59

а так? (не уверен, что сохранится nonblock, проверьте)

Python
1
2
3
4
5
6
7
import os
 
fd = os.open('megaclisas.txt', os.O_RDONLY|os.O_NONBLOCK)
fo = os.fdopen(fd)
line = os.read(fd, 10)
print('line = ', line, '\nposition: ', fo.tell())
fo.close()

@creonz · 15.10.2015, 14:11 **[ТС]**

В таком случае позиция будет всегда 0, т.к. Вы читаете сам файл, а позицию смотрите по дескриптору (вроде правильно назвал). Я думаю, что тут можно использовать запоминание последнего буффера, и сравнивать его.

Jabbson · 15.10.2015, 14:14

я попробовал:

Python
1
2
3
4
5
6
7
8
9
import os
 
fd = os.open('filename.txt', os.O_RDONLY|os.O_NONBLOCK)
fo = os.fdopen(fd)
line = os.read(fd, 10)
print('line = ', line, '\nposition: ', fo.tell())
line = os.read(fd, 10)
print('line = ', line, '\nposition: ', fo.tell())
fo.close()

вывод:

Code
1
2
3
4
line =  b'c0u0p0 | W' 
position:  10
line =  b'D-WCC13019' 
position:  20

позиция сохраняется.

@creonz · 15.10.2015, 16:52 **[ТС]**

Python
1
2
3
4
5
logfile = os.open(tl_file, os.O_RDONLY|os.O_NONBLOCK)
fo = os.fdopen(logfile)
    while (True):
          buf = os.read(fd, 1024)
          print(fo.tell())

Каждый раз выводит ноль, попробовал скрипту выше подкладывая свой файл, тоже самое.

Но мне кажется такой способ не подходит. Сейчас мне надо читать файл, и если в нем нет обновления переходить дальше, поэтому думаю сравнивать по последней строке в уже собранном листе, с первой строкой в полученном листе. Такая идея может сработать?
И еще, я задумался о том, что буфер ведь может переполнится или быть просто огромным за долгое время работы, получается его надо как то очищать.

Jabbson · 15.10.2015, 17:05

Сообщение от creonz

while (True):

что с отступом, откуда там 4 пробела?
На следующей строке их вообще 6.
зачем True - в скобках?

Сообщение от creonz

buf = os.read(fd, 1024)

откуда fd взялось?

@creonz · 15.10.2015, 17:10 **[ТС]**

Кривовато вставил

Python
1
2
3
4
5
logfile = os.open(tl_file, os.O_RDONLY|os.O_NONBLOCK)
    fo = os.fdopen(logfile)
    while True:
        buf = os.read(logfile, 1024)
        print(fo.tell())

Jabbson · 15.10.2015, 17:24

я недавно тоже кому-то писал кусочек кода, чтобы дочитывать файл по мере его записи

Python
1
2
3
4
5
6
7
8
9
10
11
import datetime
import time
 
with open('logs.txt', 'r') as f:
    while True:
        line = f.readline()
        if line:
            print(datetime.datetime.now().strftime('%H:%M:%S'), line.strip())
        else:
            print("Nothing else found in the file, waiting... Position: ", f.tell())
            time.sleep(5)

пруфлинк, йа видеооператор! :)

@creonz · 16.10.2015, 12:51 **[ТС]**

В моем исполнении, но гифкой :)

Кусочек кода дочитывающего файл верный, редлайны замечательный выход, там можно и строку запоминать, и каких вариантов только не делать. Но не в моем варианте с os.read, пока думаю как сделать правильно.

Новые блоги и статьи Все статьи Все блоги /
1С: Контроль уникальности заводского номера Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью. Данные берутся из регистра сведений, по которому настроено. . .	Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 23.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git	1С: Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .	Как я обхитрил таблицу Word Alexander-7 21.03.2026 Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .
Krabik - рыболовный бот для WoW 3.3.5a AmbA 21.03.2026 без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .	1С: Программный отбор элементов справочника по значению перечисления Maks 21.03.2026 Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит значение перечислений. / / Событие "НачалоВыбора" реквизита на форме. . .	Переходник USB-CAN-GPIO Eddy_Em 20.03.2026 Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .	Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .

@ivlevdenis 21 / 34 / 14 Регистрация: 23.07.2014 Сообщений: 148
	15.10.2015, 02:50
	str.split('\n') 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	15.10.2015, 11:58
	а чем вам не нравится работать с листом? 0

@creonz 1 / 1 / 0 Регистрация: 29.05.2013 Сообщений: 24
	15.10.2015, 13:59 [ТС]
	Да но, в случае использования os.read вариант с tell не подходит 0

@creonz 1 / 1 / 0 Регистрация: 29.05.2013 Сообщений: 24
	15.10.2015, 14:11 [ТС]
	В таком случае позиция будет всегда 0, т.к. Вы читаете сам файл, а позицию смотрите по дескриптору (вроде правильно назвал). Я думаю, что тут можно использовать запоминание последнего буффера, и сравнивать его. 0

@creonz 1 / 1 / 0 Регистрация: 29.05.2013 Сообщений: 24
	16.10.2015, 12:51 [ТС]
	В моем исполнении, но гифкой :) Кусочек кода дочитывающего файл верный, редлайны замечательный выход, там можно и строку запоминать, и каких вариантов только не делать. Но не в моем варианте с os.read, пока думаю как сделать правильно. 0