Чтение постоянно записываемого файла

@creonz · Регистрация: 29.05.2013

Студворк — интернет-сервис помощи студентам

написал некий код, который в случае обнаружения в строке набор символ отправляет запрос. Также помимо чтения лога, код считывает обновления запросом, все в одном цикле.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
def main():
    logger.info('Starting up')
    with open(filePath,'r') as f:
        while True:
            line = f.readline()
            if not line:
                break
            lastLine = line
    while (True):
        with open(filePath,'r') as f:
            lines = f.readlines()
        if lines[-1] != lastLine:
            lastLine = lines[-1]
            if 'ERROR' in lines[-1]:
                print('USER ROOT')
                for chid in ts_list:
                    sendMessage(chid, lines[-1])
            print(lines[-1])
        r = getUpdates(update_id+1,None, None)
        asyncore.loop()

Но так как такой подход является блокирующим, он мне не подходит, решил переписать используя не блокирующий os.read таким способом:

Python
1
2
3
4
5
6
7
8
fd = os.open('/var/log/auth.log', os.O_RDONLY|os.O_NONBLOCK)
    buff = ''
    while (True):
        buf = os.read(fd, 1024)
        if len(buf) == 0:
            break
        buff += buf
    strings = buff[1:].split("\x00")

Но столкнулся с тем, что в первом случае я мог просто вывести строку, а тут я не знаю как отделить строку от остального текста
Вывод получается таким:

Python
1
Oct 14 05:06:10 freya su[40701]: pam_unix(su:session): session opened for user root by maffa(uid=0)\nOct 14 05:06:13 freya su[40701]: pam_unix(su:session): session closed for user root\nOct 14 05:06:13 freya sudo: pam_unix(sudo:session): session closed for user root\nOct 14 05:06:53 freya sudo:    maffa : TTY=pts/1 ; PWD=/var/log ; USER=root ; COMMAND=/bin/su\nOct 14 05:06:53 freya sudo: pam_unix(sudo:session): session opened for user root by maffa(uid=0)\nOct 14 05:06:53 freya su[40753]: Successful su for root by root\n

т.е. строки разделены символом \n, но я не могу понять как брать нужную мне строку от \n до \n

И еще вопрос на засыпку, каким образом можно читая файл запоминать место на котором остановился в прошлый раз чтобы потом продолжить?

@ivlevdenis · 15.10.2015, 02:50

str.split('\n')

@creonz · 15.10.2015, 10:17 **[ТС]**

тут тогда получается так:

Python
1
strings = buff[0:].split("\n")

И в таком случае дальше я имею дело с листом, с каждой отдельной строкой.

Но можно ли каким либо образом обрабатывать именно буфер на наличие вхождения текста, без дополнительных преобразований?

Jabbson · 15.10.2015, 11:58

а чем вам не нравится работать с листом?

@creonz · 15.10.2015, 12:55 **[ТС]**

Не то, чтобы не нравится. Просто не могу придумать алгоритм поиска по строке в листе, если по элементу листа просто индексом можно, тот тут не так просто.

Добавлено через 42 минуты
Хотя оказалось все проще:

Python
1
2
3
    for str in strings:
        if 'sudo:session' in str:
            print(i)

Остается вопрос: Каким образом можно читая файл запоминать место на котором остановился в прошлый раз чтобы потом продолжить?

Jabbson · 15.10.2015, 12:57

Сообщение от creonz

Хотя оказалось все проще

именно так и имелось ввиду

Сообщение от creonz

Каким образом можно читая файл запоминать место на котором остановился в прошлый раз чтобы потом продолжить?

tell()

@creonz · 15.10.2015, 13:59 **[ТС]**

Да но, в случае использования os.read вариант с tell не подходит

Jabbson · 15.10.2015, 13:59

а так? (не уверен, что сохранится nonblock, проверьте)

Python
1
2
3
4
5
6
7
import os
 
fd = os.open('megaclisas.txt', os.O_RDONLY|os.O_NONBLOCK)
fo = os.fdopen(fd)
line = os.read(fd, 10)
print('line = ', line, '\nposition: ', fo.tell())
fo.close()

@creonz · 15.10.2015, 14:11 **[ТС]**

В таком случае позиция будет всегда 0, т.к. Вы читаете сам файл, а позицию смотрите по дескриптору (вроде правильно назвал). Я думаю, что тут можно использовать запоминание последнего буффера, и сравнивать его.

Jabbson · 15.10.2015, 14:14

я попробовал:

Python
1
2
3
4
5
6
7
8
9
import os
 
fd = os.open('filename.txt', os.O_RDONLY|os.O_NONBLOCK)
fo = os.fdopen(fd)
line = os.read(fd, 10)
print('line = ', line, '\nposition: ', fo.tell())
line = os.read(fd, 10)
print('line = ', line, '\nposition: ', fo.tell())
fo.close()

вывод:

Code
1
2
3
4
line =  b'c0u0p0 | W' 
position:  10
line =  b'D-WCC13019' 
position:  20

позиция сохраняется.

@creonz · 15.10.2015, 16:52 **[ТС]**

Python
1
2
3
4
5
logfile = os.open(tl_file, os.O_RDONLY|os.O_NONBLOCK)
fo = os.fdopen(logfile)
    while (True):
          buf = os.read(fd, 1024)
          print(fo.tell())

Каждый раз выводит ноль, попробовал скрипту выше подкладывая свой файл, тоже самое.

Но мне кажется такой способ не подходит. Сейчас мне надо читать файл, и если в нем нет обновления переходить дальше, поэтому думаю сравнивать по последней строке в уже собранном листе, с первой строкой в полученном листе. Такая идея может сработать?
И еще, я задумался о том, что буфер ведь может переполнится или быть просто огромным за долгое время работы, получается его надо как то очищать.

Jabbson · 15.10.2015, 17:05

Сообщение от creonz

while (True):

что с отступом, откуда там 4 пробела?
На следующей строке их вообще 6.
зачем True - в скобках?

Сообщение от creonz

buf = os.read(fd, 1024)

откуда fd взялось?

@creonz · 15.10.2015, 17:10 **[ТС]**

Кривовато вставил

Python
1
2
3
4
5
logfile = os.open(tl_file, os.O_RDONLY|os.O_NONBLOCK)
    fo = os.fdopen(logfile)
    while True:
        buf = os.read(logfile, 1024)
        print(fo.tell())

Jabbson · 15.10.2015, 17:24

я недавно тоже кому-то писал кусочек кода, чтобы дочитывать файл по мере его записи

Python
1
2
3
4
5
6
7
8
9
10
11
import datetime
import time
 
with open('logs.txt', 'r') as f:
    while True:
        line = f.readline()
        if line:
            print(datetime.datetime.now().strftime('%H:%M:%S'), line.strip())
        else:
            print("Nothing else found in the file, waiting... Position: ", f.tell())
            time.sleep(5)

пруфлинк, йа видеооператор! :)

@creonz · 16.10.2015, 12:51 **[ТС]**

В моем исполнении, но гифкой :)

Кусочек кода дочитывающего файл верный, редлайны замечательный выход, там можно и строку запоминать, и каких вариантов только не делать. Но не в моем варианте с os.read, пока думаю как сделать правильно.

Новые блоги и статьи Все статьи Все блоги /
Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .

@ivlevdenis 21 / 34 / 14 Регистрация: 23.07.2014 Сообщений: 148
	15.10.2015, 02:50
	str.split('\n') 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	15.10.2015, 11:58
	а чем вам не нравится работать с листом? 0

@creonz 1 / 1 / 0 Регистрация: 29.05.2013 Сообщений: 24
	15.10.2015, 13:59 [ТС]
	Да но, в случае использования os.read вариант с tell не подходит 0

@creonz 1 / 1 / 0 Регистрация: 29.05.2013 Сообщений: 24
	15.10.2015, 14:11 [ТС]
	В таком случае позиция будет всегда 0, т.к. Вы читаете сам файл, а позицию смотрите по дескриптору (вроде правильно назвал). Я думаю, что тут можно использовать запоминание последнего буффера, и сравнивать его. 0

@creonz 1 / 1 / 0 Регистрация: 29.05.2013 Сообщений: 24
	16.10.2015, 12:51 [ТС]
	В моем исполнении, но гифкой :) Кусочек кода дочитывающего файл верный, редлайны замечательный выход, там можно и строку запоминать, и каких вариантов только не делать. Но не в моем варианте с os.read, пока думаю как сделать правильно. 0