Запись логов в файл с ограниченным числом строк

@_Vladimir_ · Регистрация: 27.07.2010

Студворк — интернет-сервис помощи студентам

Всем привет.

Как лучше писать логи в файл, который должен содержать не больше 100 тыс. строк?

На данным момент у меня организовано так (исторически сложилось), что по достижению максимального лимита, 90% самых новых записей копируется в буфер, файл очищается и строки из буфера построчно обратно пишутся в файл. Но проблема в том, что они записываются очень медленно, минут 5, плюс система замирает и ничего нельзя сделать.
Может важно, т.к. в файл могут писать разные потоки, он блокиется им.

Можно ли оптимизировать этот процесс?

@KEKCoGEN · 17.01.2019, 00:48

Сообщение от _Vladimir_

Можно ли оптимизировать этот процесс?

https://logback.qos.ch/

@_Vladimir_ · 17.01.2019, 01:03 **[ТС]**

KEKCoGEN, спасибо, но в связи с некоторыми особенностями проекта нам настоятельно рекомендуют не использовать сторонние библиотеки ((

Добавлено через 11 минут
Есть идея переименовать текущий файл во временный и с интервалом скажем в 500 миллисекунд перебрасывать строки во вновь созданный, но как-то мне такое решение не очень.

@ViktorFX · 17.01.2019, 01:39

Сообщение от _Vladimir_

Есть идея переименовать текущий файл во временный и с интервалом скажем в 500 миллисекунд перебрасывать строки во вновь созданный, но как-то мне такое решение не очень.

А почему? Вы же делаете тоже самое, только не через время а через лимит заполнения, новый файл с тем же именем, просто 100к раз обращаетесь к записи в буфер, столько же обратно, + все это время постоянно что-то блокируется, то на запись то на чтение.
По сути вы же просто оставляете в файле 90% новых данных, или что еще проще, удаляете 10% первых записей(что бы я и попытался сделать), или я что-то непонял..

@KEKCoGEN · 17.01.2019, 08:59

Сообщение от _Vladimir_

астоятельно рекомендуют не использовать сторонние библиотеки

Там открытые исходники. Скопируй их, вставь в свой проект с изменением пакетов и скажи что сам написал.

Ну и кроме всего прочего это очень идиотское требование.

@korvin_ · 17.01.2019, 11:47

Сообщение от _Vladimir_

Можно ли оптимизировать этот процесс?

Использовать logrotate, например.

@_Vladimir_ · 17.01.2019, 14:50 **[ТС]**

ViktorFX, все верно, целью является удаление певых 10 тыс. записей в файле.

А предложенный мною вариант по сути ничем не отличается от того что есть, даже чем-то лучше, т.к. не даст пропасть данным в случае внезапного завершения работы приложения. Но все это как-то костыльно выглядит ))

Добавлено через 7 минут
KEKCoGEN, Спасибо. Уже смотрю.
А требование основано на горьком опыте )) Проект мягко говоря мудреный и главное - умирающий, в основном фикс багов, т.е. новую зависимость добавят только если совсем без нее никак ((

Добавлено через 41 секунду
korvin_, Интересное решение. Возможно на нем остановимся. Спасибо.

Новые блоги и статьи Все статьи Все блоги /
Контроль корректности заполнения дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ

@_Vladimir_ 57 / 55 / 10 Регистрация: 27.07.2010 Сообщений: 279

	Запись логов в файл с ограниченным числом строк 17.01.2019, 00:45. Показов 3014. Ответов 6 Метки bigdata, file io, java 8 (Все метки) Всем привет. Как лучше писать логи в файл, который должен содержать не больше 100 тыс. строк? На данным момент у меня организовано так (исторически сложилось), что по достижению максимального лимита, 90% самых новых записей копируется в буфер, файл очищается и строки из буфера построчно обратно пишутся в файл. Но проблема в том, что они записываются очень медленно, минут 5, плюс система замирает и ничего нельзя сделать. Может важно, т.к. в файл могут писать разные потоки, он блокиется им. Можно ли оптимизировать этот процесс? 0

@_Vladimir_ 57 / 55 / 10 Регистрация: 27.07.2010 Сообщений: 279
	17.01.2019, 01:03 [ТС]
	KEKCoGEN, спасибо, но в связи с некоторыми особенностями проекта нам настоятельно рекомендуют не использовать сторонние библиотеки (( Добавлено через 11 минут Есть идея переименовать текущий файл во временный и с интервалом скажем в 500 миллисекунд перебрасывать строки во вновь созданный, но как-то мне такое решение не очень. 0

@_Vladimir_ 57 / 55 / 10 Регистрация: 27.07.2010 Сообщений: 279
	17.01.2019, 14:50 [ТС]
	ViktorFX, все верно, целью является удаление певых 10 тыс. записей в файле. А предложенный мною вариант по сути ничем не отличается от того что есть, даже чем-то лучше, т.к. не даст пропасть данным в случае внезапного завершения работы приложения. Но все это как-то костыльно выглядит )) Добавлено через 7 минут KEKCoGEN, Спасибо. Уже смотрю. А требование основано на горьком опыте )) Проект мягко говоря мудреный и главное - умирающий, в основном фикс багов, т.е. новую зависимость добавят только если совсем без нее никак (( Добавлено через 41 секунду korvin_, Интересное решение. Возможно на нем остановимся. Спасибо. 0

Запись логов в файл с ограниченным числом строк

Решение