Чтение новых данных

@slavavs · Регистрация: 28.04.2009

Студворк — интернет-сервис помощи студентам

Есть файл в который постоянно пишутся новые данные.
Данные поступают построчно через 1 сек.
В строке имеются разные данные с датчиков разделенные точкой с запятой
Данные я читаю окном размером 10 строк ( то есть последние 10 строк). Появилась новая строка - читаю новые 10 строк.
На данные момент во время теста (новые данные не поступают) я это легко делаю с помощью Pandas (read_csv)
Но как это сделать в реал тайме я не понимаю. Может есть идеи?

@Semen-Semenich · 21.06.2019, 21:40

а может сначала читать поступающие данные а потом писать в файл?
получаете данные в список то есть собрали 10 строк в список, прочитали их записали в файл и удалили из списка. проверив что в списке 10 и более строк опять прочитали 10, записали и снова удалили. сырой пример

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
from threading import Thread
import time
 
def reading_data():
    '''функция получения данных в список
        для примера цикл'''
    for i in range(1,10001): 
        data.append('строка номер - ' + str(i))
 
def prescript1(data,num):
    '''функция выводит 10 результатов и дописывает в файл'''
    while True:
        if len(data) >9:
            with open('f1.txt', 'a') as f:
                for i in range(num):
                    str_ = data.pop(0)
                    print(str_)
                    f.write(str_+'\n')
                print(tab)
                f.write(tab+'\n')
                time.sleep(5)
 
data = []
tab = '================='
thread1 = Thread(target=reading_data)
thread2 = Thread(target=prescript1, args= (data,10))
thread1.start()
thread2.start()
thread1.join()
thread2.join()

@slavavs · 21.06.2019, 22:01 **[ТС]**

Дело в том, что я не вижу эти данные в чистом виде, они пишутся другой программой в txt.
Если бы я их получил в оперативку, то проблем бы не было.
Я давно как-то писал подобный код, но было так давно, что не помню как это делал, пишу очень редко.
Там как раз было реализована эта задача. Пришла новая строка, сразу ее считал.

@Semen-Semenich · 21.06.2019, 22:09

Сообщение от slavavs

они пишутся другой программой в txt

тут может проблема в том что файл занят другой программой и вы его не сможете получить в питон для чтения поэтому при тесте файл свободен и вы его можете читать. может я ошибаюсь и есть другие варианты.

Рыжий Лис · 22.06.2019, 14:30

Сообщение от slavavs

Там как раз было реализована эта задача. Пришла новая строка, сразу ее считал.

Bash
1
tail -f file.txt | python script.py

Новые блоги и статьи Все статьи Все блоги /
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .	Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .
Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .

@slavavs 0 / 0 / 0 Регистрация: 28.04.2009 Сообщений: 127

	Чтение новых данных 21.06.2019, 19:56. Показов 973. Ответов 4 Метки нет (Все метки) Есть файл в который постоянно пишутся новые данные. Данные поступают построчно через 1 сек. В строке имеются разные данные с датчиков разделенные точкой с запятой Данные я читаю окном размером 10 строк ( то есть последние 10 строк). Появилась новая строка - читаю новые 10 строк. На данные момент во время теста (новые данные не поступают) я это легко делаю с помощью Pandas (read_csv) Но как это сделать в реал тайме я не понимаю. Может есть идеи? 0

@slavavs 0 / 0 / 0 Регистрация: 28.04.2009 Сообщений: 127
	21.06.2019, 22:01 [ТС]
	Дело в том, что я не вижу эти данные в чистом виде, они пишутся другой программой в txt. Если бы я их получил в оперативку, то проблем бы не было. Я давно как-то писал подобный код, но было так давно, что не помню как это делал, пишу очень редко. Там как раз было реализована эта задача. Пришла новая строка, сразу ее считал. 0