Запись логов в файл. Последствия для памяти

Вечер добрый!
У меня давно есть некий код, который я использую для логгирования своих приложений. Суть его в том, что при инициализации логгера задается максимальное количество строк для файла и приложение передает в него по одной строке, которая добавляется в конец файла. Каждый раз при добавлении проверяется, превысили ли мы максимально допустимое количество строк и если да, то логгер удаляет самую верхнюю строку текстового файла и т.д.
При добавлении каждой строки происходит процедура открытия и закрытия файла.
Подскажите пожалуйста, есть ли принципиальная разница в том, оставлять файл открытым или открывать и закрывать его при каждом добавлении сроки?
Интересуют нюансы работы с памятью, в частности, не происходит ли при открытии и закрытии записи какой-то инфы в файл, что при частых манипуляциях может затирать досмерти ячейки памяти и т.п.
Всем спасибо за участие!

0

В utf8, utf16, utf32, какая разница?)))
Откуда у вас такое понимание странное? Есть источник?

Добавлено через 2 минуты
Seek установит курсор в произвольное место файла, а write запишет туда то, что сказано. Если текстовый или иной файл повредится, юзер сам дурак.

0

Rius, это к порядку считывания. Как вы системе даете понять, что считывать надо с ЭТОГО места и до ЭТОГО, причем учитывая кодировки и прочую лабуду... ?
Как СИСТЕМА вставит в конец файла часть, не изучив перед этим где этот КОНЕЦ и как его интерпретировать?

Добавлено через 2 минуты
Rius, я не знаю как вписать данные в определенное место обычного файла. Если Вы знаете, то поделитесь секретом.

Добавлено через 3 минуты
Rius, напомню, что речь идет не за эвалуированные инструкции, а именно за внутренние механизмы, которые заснеженному взгляду не видны..

0

я не знаю как вписать данные в определенное место обычного файла. Если Вы знаете, то поделитесь секретом

Сообщением выше.
Остальное делает система. Понадобится считать блок - считает. Но не весь файл.

Добавлено через 4 минуты

этим где этот КОНЕЦ

Файловая система знает.

как его интерпретировать

А зачем это изучать? Содержимое файла это всего лишь последовательность байт.

0

Rius, ты не понял... Вы не поняли... (я путаюсь с ты/вы)
Допустим, есть файл:
нужно заменить в третьей строке двоеточие на тире...
Что сделает твой (тьфу, Ваш) механизм в этом случае?

Добавлено через 1 минуту
P.S. у меня есть ответ, но я хочу услышать мнения...

0

А я не про изменение текста в середине текстового файла.
В этом случае вам придётся читать, да.

Я про дозапись данных в конец файла. Запись логов это дозапись именно в конец. Предыдущее содержимое не важно.

Добавлено через 3 минуты
Вот про изменение текстовых файлов в середине: Добавление записи в XML-файл без его перезаписи

0

Сообщение от Rius дозапись данных в конец файла

Так, дозапись все таки. Система как-то должна определить куда дозаписывать...

Добавлено через 2 минуты
Rius, все это наводит на мысль, что система все же, скрывая от лишних глаз, "проигрывает" все это в своих внутренностях, прежде чем что-то куда-то записать...

0

Вы говорите установить курсор в конец файла и записать массив байт.
Система ищет место в файловой системе и пишет туда. Если это середина блока, а не чисто новый, то считывает его и дополняет.

Добавлено через 1 минуту
Можете fatfs от Чана собрать в программе на C и посмотреть на работу внутренней кухни.

0

В конец файла.... А где это конец, как его определяет система? Где его начало? Именно ЭТОГО участка памяти, который меня интересует.

Добавлено через 1 минуту
Rius, ну, я размышляю от имени машины... как бы с ее точки зрения.

0

А где это конец, как его определяет система? Где его начало? Именно ЭТОГО участка памяти, который меня интересует.

А для этого есть файловая таблица, где записано расположение всех блоков файла .

0

Сообщение от Rius А для этого есть файловая таблица

Верно. Так... что же на самом деле делает Append() в таком случае? Действительно ли дописывает в КОНЕЦ файла, или производит иллюзию этого?

0

Сообщение от wizard41 у автора не тот уровень логирования. Т.е. пояснять за эти вещи ... рановато.

Пусть сразу работает адекватно, чем страдает фигней. Изначальная идея делать из лог-файла строковую очередь -- не самый лучший подход.

Сообщение от wizard41 ну вот при чем здесь файловая система, в контексте вопроса?

Сообщение от a13428711 что при частых манипуляциях может затирать досмерти ячейки памяти и т.п.

SSD и Flash имеет лимит на перезапись. Для SSD хз как работает выравнивание (кажись там вообще контролер за это в ответе), но для флешек ещё с семерки можно выставить файловою систему exFAT, которая оптимизировано для флешек в плане долговечности.

По общему спору, с тем что система просто выставляет указатель в конец файла и начитает шарашить туда байты: для 100% доказательства нужно на самом низком уровне отлавливать непосредственные обращения к диску и смотреть что там происходит. Подозреваю что там ворох оптимизаций и ньюансов для каждой "железяки" (виртуальные диски передают привет). Но как заметил выше Rius:
- вроде как открытие файла и выставление указателя в конец одинаково быстро как для 1МБ, так и для 100ГБ.
- дозапись любой кодировки не основывается на ранее записанных символах, а подразумевает тупо добавление новых блоков байт.

Исходя из этого мне кажется что перезапись происходит не всего файла, а только его части. Если ещё точнее -- берется крайний кластер отвечающий за конец файла, в него дозаписывается сколько влезет, а дальше идет выделение новых кластеров (у нас же вроде обсуждается добавление в конец файла).

Либо я не врубаюсь, и вы подразумеваете что "в рандомном месте поменяли 10 запятых на 5 точек, и пытаемся это адекватно сохранить". Тогда "да": потенциально перелопачивать весь файл, но как писал в самом начале -- таким лучше не страдать.

0

Так... что же на самом деле делает Append() в таком случае? Действительно ли дописывает в КОНЕЦ файла, или производит иллюзию этого?

С точки зрения приложения - дописывает. Остальное - забота операционной системы

0

Сообщение от a13428711 Пардон, когда написал понял, что это чушь какая-то)

ок, только сейчас увидел что изначальная идея не актуальна.

В общем ответ: ничего страшного не должно происходить. На C# файл -- абстракция, причем лютейшая. Непосредственная перезапись ячейки на SSD произойдет через десяток посредников, начиная от внутреннего кода CLR и заканчивая контроллером железки. И так уж сложилось, что человечество заинтересовано в производительности всего этого зоопарка, и закладывает различные оптимизации прям на низком уровне, чтобы не страдали прикладные программы.

0

Rius, Wolfdp, обыкновенный дискусс с умными людьми - это всегда интересно. Кто-то свою истину найдет. Простите меня, я немного отдыхаю (др у дочки), с пьяну завел диалог... Хотя, тема актуальная, все же. Я не верю в волшебные свойства виндовых ридеров - по любому захватывают дамп, чтобы что-то вписать.
Rius, Wolfdp, спасибо за диалог, добра вам!

0

Возрождаю тему уточняющим вопросом)
Выше писали про то, что Append именно ДОБАВЛЯЕТ текст в конец файла. Но как именно происходит добавление?
Например, я добавляю текстовому файлу в конец точку. Размер текста 6кб, размер кластера на диске 4кб, соответственно, размер файла 8кб. В таком случае дозаписывается только заданное количество байт или перезаписывается весь последний кластер?
Вопрос возник глядя на БД, в которых данные могут добавляться сотни раз в секунду, при этом они не висят в оперативной памяти ожидая сохранения, а пишутся сразу на диск, и тем не менее ssd как-то вывозят по ресурсу.

0

Сообщение от a13428711 Но как именно происходит добавление?

Открывается файл (читается информация из файловой таблицы). Курсор ставится в конец файла. Дописывается.

Сообщение от a13428711 В таком случае дозаписывается только заданное количество байт или перезаписывается весь последний кластер?

На FAT и HDD может перезаписаться последний кластер.

Сообщение от a13428711 тем не менее ssd как-то вывозят по ресурсу

Задача решается алгоритмами Wear Leveling на уровнях файловой системы и прошивки SSD.
Тем не менее, торренты не рекомендуется качать на SSD. А сам SSD - расходник, сдох - меняют.

0

Rius,

На FAT и HDD может перезаписаться последний кластер

А что будет с ssd на каком-нибудь exFat? Или может есть где почитать на эту тему подробнее? А то в сети везде информация поверхностная

0

Память в SSD имеет очень ограниченное количество стираний, поэтому там вынужденно применяются алгоритмы Wear Leveling.
Также есть файловые системы, учитывающие низкий ресурс SSD.

Сообщение от a13428711 Или может есть где почитать на эту тему подробнее?

Про Wear Leveling.

Сообщение от a13428711 А то в сети везде информация поверхностная

Пользователям ПК это знать не нужно. Поддержку TRIM включили и забыли.

2

0

Долговечность HDD в том, что количество перезаписей одного участка не ограничено (в сравнении с SSD).
А у SSD - 1000 стираний и всё, ячейка сдохла.

Остальное, у кого сколько проработало, это сочетание качества, брака и удачи. Ну и условий эксплуатации.

1