Запись логов в файл с ограниченным числом строк

@_Vladimir_ · Регистрация: 27.07.2010

Студворк — интернет-сервис помощи студентам

Всем привет.

Как лучше писать логи в файл, который должен содержать не больше 100 тыс. строк?

На данным момент у меня организовано так (исторически сложилось), что по достижению максимального лимита, 90% самых новых записей копируется в буфер, файл очищается и строки из буфера построчно обратно пишутся в файл. Но проблема в том, что они записываются очень медленно, минут 5, плюс система замирает и ничего нельзя сделать.
Может важно, т.к. в файл могут писать разные потоки, он блокиется им.

Можно ли оптимизировать этот процесс?

@KEKCoGEN · 17.01.2019, 00:48

Сообщение от _Vladimir_

Можно ли оптимизировать этот процесс?

https://logback.qos.ch/

@_Vladimir_ · 17.01.2019, 01:03 **[ТС]**

KEKCoGEN, спасибо, но в связи с некоторыми особенностями проекта нам настоятельно рекомендуют не использовать сторонние библиотеки ((

Добавлено через 11 минут
Есть идея переименовать текущий файл во временный и с интервалом скажем в 500 миллисекунд перебрасывать строки во вновь созданный, но как-то мне такое решение не очень.

@ViktorFX · 17.01.2019, 01:39

Сообщение от _Vladimir_

Есть идея переименовать текущий файл во временный и с интервалом скажем в 500 миллисекунд перебрасывать строки во вновь созданный, но как-то мне такое решение не очень.

А почему? Вы же делаете тоже самое, только не через время а через лимит заполнения, новый файл с тем же именем, просто 100к раз обращаетесь к записи в буфер, столько же обратно, + все это время постоянно что-то блокируется, то на запись то на чтение.
По сути вы же просто оставляете в файле 90% новых данных, или что еще проще, удаляете 10% первых записей(что бы я и попытался сделать), или я что-то непонял..

@KEKCoGEN · 17.01.2019, 08:59

Сообщение от _Vladimir_

астоятельно рекомендуют не использовать сторонние библиотеки

Там открытые исходники. Скопируй их, вставь в свой проект с изменением пакетов и скажи что сам написал.

Ну и кроме всего прочего это очень идиотское требование.

@korvin_ · 17.01.2019, 11:47

Сообщение от _Vladimir_

Можно ли оптимизировать этот процесс?

Использовать logrotate, например.

@_Vladimir_ · 17.01.2019, 14:50 **[ТС]**

ViktorFX, все верно, целью является удаление певых 10 тыс. записей в файле.

А предложенный мною вариант по сути ничем не отличается от того что есть, даже чем-то лучше, т.к. не даст пропасть данным в случае внезапного завершения работы приложения. Но все это как-то костыльно выглядит ))

Добавлено через 7 минут
KEKCoGEN, Спасибо. Уже смотрю.
А требование основано на горьком опыте )) Проект мягко говоря мудреный и главное - умирающий, в основном фикс багов, т.е. новую зависимость добавят только если совсем без нее никак ((

Добавлено через 41 секунду
korvin_, Интересное решение. Возможно на нем остановимся. Спасибо.

Новые блоги и статьи Все статьи Все блоги /
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом	http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .

@_Vladimir_ 57 / 55 / 10 Регистрация: 27.07.2010 Сообщений: 279

	Запись логов в файл с ограниченным числом строк 17.01.2019, 00:45. Показов 2975. Ответов 6 Метки bigdata, file io, java 8 (Все метки) Всем привет. Как лучше писать логи в файл, который должен содержать не больше 100 тыс. строк? На данным момент у меня организовано так (исторически сложилось), что по достижению максимального лимита, 90% самых новых записей копируется в буфер, файл очищается и строки из буфера построчно обратно пишутся в файл. Но проблема в том, что они записываются очень медленно, минут 5, плюс система замирает и ничего нельзя сделать. Может важно, т.к. в файл могут писать разные потоки, он блокиется им. Можно ли оптимизировать этот процесс? 0

@_Vladimir_ 57 / 55 / 10 Регистрация: 27.07.2010 Сообщений: 279
	17.01.2019, 01:03 [ТС]
	KEKCoGEN, спасибо, но в связи с некоторыми особенностями проекта нам настоятельно рекомендуют не использовать сторонние библиотеки (( Добавлено через 11 минут Есть идея переименовать текущий файл во временный и с интервалом скажем в 500 миллисекунд перебрасывать строки во вновь созданный, но как-то мне такое решение не очень. 0

@_Vladimir_ 57 / 55 / 10 Регистрация: 27.07.2010 Сообщений: 279
	17.01.2019, 14:50 [ТС]
	ViktorFX, все верно, целью является удаление певых 10 тыс. записей в файле. А предложенный мною вариант по сути ничем не отличается от того что есть, даже чем-то лучше, т.к. не даст пропасть данным в случае внезапного завершения работы приложения. Но все это как-то костыльно выглядит )) Добавлено через 7 минут KEKCoGEN, Спасибо. Уже смотрю. А требование основано на горьком опыте )) Проект мягко говоря мудреный и главное - умирающий, в основном фикс багов, т.е. новую зависимость добавят только если совсем без нее никак (( Добавлено через 41 секунду korvin_, Интересное решение. Возможно на нем остановимся. Спасибо. 0

Запись логов в файл с ограниченным числом строк

Решение