TRIM очищает резервные блоки памяти? Резервные блоки

Здравствуйте, уважаемые форумчане!

Подскажите, пожалуйста, знающие, команды TRIM, в частности команды fstrim и blkdiscard в linux, очищают (освобождают) от "мусора" резервные блоки?

Ответ искал на ynandex.ru и у вас на сайте форума


И, второй, дополнительный вопрос: точное количество байтов, отводимых на резервные блоки, по-прежнему, для всех производителей NAND-памяти, считается по формуле:

1) заявленное_количество_памяти (в GB) = количество_памяти (в GiB);
2) (количество_памяти * {2}^{30}) - (заявленное_количество_памяти * {10}^{9}) = количество_памяти_резервных_блоков (bytes) ?

Или надо где-то узнавать такую инфу, где, не только для SSD, но и для других флешек?

0

TRIM работает на уровне диска, а не блоков флеша. Контроллер SSD использует резервные блоки по своему усмотрению.

Сообщение от DimDim И, второй, дополнительный вопрос: точное количество байтов, отводимых на резервные блоки

Под резервные блоки и служебные данные отводится свободное пространство, оставшееся от выделенного дисковому пространству.

0

Сообщение от locm TRIM работает на уровне диска, а не блоков флеша. Контроллер SSD использует резервные блоки по своему усмотрению.

Благодарю за ответ, только чёт особо я не понял....
Насколько я знаю в SSD есть такая процедура Carbage Collection (сборка мусора), так вот TRIM так сказать "даёт пинок" этой процедуре и она очищает блоки с "хламом". Что ты имеешь ввиду под "блоками флэша"? Диск - это совокупность Nand-памяти (которая состоит из страниц - куча транзисторов-ячеек объединённых в "кластеры" на 4 kiB, которые объединены в блоки - например размером 64 или 512 kiB - ты про эти блоки?) , контроллера, кэша и чего там ещё..., ну ты понял? Контроллер, это ж как управляющий, менеджер, начальник, мы ему команды даём, а он диску - запись, чтение ..., не так ли? Если диск в простое (мы его не используем), то контроллер и со всей памятью диска делает по своему усмотрению...

Сообщение от locm Под резервные блоки и служебные данные отводится свободное пространство, оставшееся от выделенного дисковому пространству.

Ваще не вдуплил! Может мы о разных немного вещах говорим? Можно мне как профану (новичку) поподробнее, с учётом моих вышеуказанных знаний?


Я думал простой вопрос задал....

0

Сообщение от DimDim Диск - это совокупность Nand-памяти

Хост (комп) ничего не знает о флеше. Для его есть только дисковое пространство. А что это HDD, SSD, FDD, сетевой или виртуальный диск и др. не имеет значения.
Контроллер SSD работает с флешем и он выполняет все оптимизации, а не комп.
Комп может отправить команду TRIM, а что при этом будет сделано, зависит от прошивки контроллера. Поэтому однозначно на вопрос не получится ответить.

Сообщение от DimDim Ваще не вдуплил!

Допустим SSD имеет объем 1 ТБ. При этом флеш имеет объем 1.1 ТБ. Вот эти 0.1 ТБ будут использованы для служебных данных, резервных блоков и т. д. Это условно. На практике объем может быть другим и зависит от флеша и заданного объема диска при прошивке.

0

Отлично, теперь я понял, благодарю за пояснения!

Сообщение от locm Комп может отправить команду TRIM, а что при этом будет сделано, зависит от прошивки контроллера. Поэтому однозначно на вопрос не получится ответить.

Странно... Как это? Например? Типа, я даю TRIM, контроллер говорит типа "Ok", почистит текущие блоки, а резервные в зависимости, так сказать, от своей "породы", и даёт обратную мне обратную связь: "я сделал чистку, хозяин!" ?
Или ладно, конкретно: 1. контроллер - NVME и 2. - встроенный контроллер под SD/MMC, они чистят резервные блоки?

Сообщение от locm Допустим SSD имеет объем 1 ТБ. При этом флеш имеет объем 1.1 ТБ. Вот эти 0.1 ТБ будут использованы для служебных данных, резервных блоков и т. д. Это условно. На практике объем может быть другим и зависит от флеша и заданного объема диска при прошивке.

Вобще-то я это и написал тут

Сообщение от DimDim считается по формуле: 1) заявленное_количество_памяти (в GB) = количество_памяти (в GiB); 2) (количество_памяти * {2}^{30}) - (заявленное_количество_памяти * {10}^{9}) = количество_памяти_резервных_блоков (bytes)

Конечно, не очень удобно и понятно, да? Так делалось до 2010 года с NAND-памятью, также делается сейчас? Мне нужны максимальные границы, которые могут быть

0

Сообщение от DimDim Типа, я даю TRIM, контроллер говорит типа "Ok", почистит текущие блоки, а резервные в зависимости, так сказать, от своей "породы"

Контроллер "говорит Ok", но что будет делать с этой инфой завист от прошивки. Может сразу стереть блок, может отметить блок свободным, а сотрет как нибудь потом. Вообще, комп работает с секторами на диске, а не с блоками флеша. Комп сообщает что такие-то сектора освободились, а что с этой информацией сделает SSD, зависит от прошивки.
TRIM не отправляется для резервных блоков, т. к. они не входят в дисковое пространство. Комп не может выбрать для каких блоков отправлять TRIM потому что к ним у него доступа нет.

Сообщение от DimDim конкретно: 1. контроллер - NVME и 2. - встроенный контроллер под SD/MMC, они чистят резервные блоки?

Я же написал. Зависит от прошивки. Как она реализована так и работает.
Резервные блоки недоступны компу и он не может явно что-то изменить связанное с ними.

Сообщение от DimDim Мне нужны максимальные границы, которые могут быть

Ищите даташит на флеш которая интересует. По нему вычисляете какой реальный объем флеш-памяти. Смотрите какой объем у накопителя и вычитаете его из объема флеша.

0

КЛАССНО!

Сообщение от locm Ищите даташит на флеш которая интересует. По нему вычисляете какой реальный объем флеш-памяти. Смотрите какой объем у накопителя и вычитаете его из объема флеша.

Супер! Благодарю за ответ! А вообще, может быть исходя из своего личного опыта и знаний, какой приблизительно самый большой процент могут занимать резервные блоки от всей NAND-памяти?

Сообщение от locm отметить блок свободным

Можно об этом чуть-чуть поподробнее, что это значит, это как?

Сообщение от locm Зависит от прошивки. Как она реализована так и работает.

Т.е., правильно ли я понял: есть тип контроллера, а помимо этого у него может быть разная прошивка? Если так, можно "живой" пример, пожалуйста. И возможно ли как-то это отследить, и какие бывают прошивки, какие их функции, могут или не могут стереть резервные блоки?

Добавлено через 32 минуты

Сообщение от DimDim Сообщение от locm отметить блок свободным Можно об этом чуть-чуть поподробнее, что это значит, это как? Сообщение от locm Зависит от прошивки. Как она реализована так и работает. Т.е., правильно ли я понял: есть тип контроллера, а помимо этого у него может быть разная прошивка? Если так, можно "живой" пример, пожалуйста. И возможно ли как-то это отследить, и какие бывают прошивки, какие их функции, могут или не могут стереть резервные блоки?

Можно не отвечать на эти вопросы.... Я понял, что не всё так просто.... Вопрос другой, с другой стороны:

1) Как заглянуть внутрь памяти, находясь в операционной системе Linux (а Windows?) ? (Можно и с загрузочной флешки, не загружаясь в ОС)? Можно без распайки снять hex dump всего содержимого памяти? Как проверить что все резервные блоки стёрлись?

2) Если не форматируя диск, записывать случайные данные (0х00 - это тоже подойдёт?) до упора (например командой shred в linux), да ещё потом разок, можно таким образом заставить (принудить) контроллер освободить (очистить) резервные блоки с "мусором"?

0

Сообщение от DimDim Можно об этом чуть-чуть поподробнее, что это значит, это как?

Это значит что контроллер пометил блок как не занятый. Не обязательно что он его сотрет сразу же, но при запросе данных вернет нули как если бы блок был стерт.

Сообщение от DimDim Т.е., правильно ли я понял: есть тип контроллера, а помимо этого у него может быть разная прошивка?

Да. Прошивки бывают под разную память, разных версий и с разными возможностями.
Допустим в дешевом и более дорогом SSD могут быть прошивки с разным функционалом при том что контролер и память идентичные.

Сообщение от DimDim Если так, можно "живой" пример, пожалуйста.

Смотрите https://www.usbdev.ru/files/smi/sm2259xt2mptool/
Это все прошивки для контролера SM2259XT2.
Так же они делятся по типу памяти. Для памяти HY3D-V6 доступны такие прошивки

SMI SM2259XT2 MPTool HY3D-V6 U1026A FWU0808A0 ; SM2259XT2_HY3D-V6_PKGU1026A_FWU0808A0.rar; size: 1 364 970 bytes SMI SM2259XT2 MPTool FHY3D-V6 U1207A FWU1124A0 ; SM2259XT2_FHY3D-V6_PKGU1207A_FWU1124A0.rar; size: 1 429 991 bytes SMI SM2259XT2 MPTool FHY3D-V6 V0223A FWV0218A0 ; SM2259XT2_FHY3D-V6_PKGV0223A_FWV0218A0.rar; size: 1 459 178 bytes SMI SM2259XT2 MPTool FHY3D-V6 V0419A FWV0414A0 ; SM2259XT2_FHY3D-V6_PKGV0419A_FWV0414A0.rar; size: 1 464 402 bytes SMI SM2259XT2 MPTool FHY3D-V6 V0609A FWV0609B0 ; SM2259XT2_FHY3D-V6_PKGV0609A_FWV0609B0.rar; size: 1 461 791 bytes SMI SM2259XT2 MPTool FHY3D-V6 V0927A FWV0927A0 ; SM2259XT2_FHY3D-V6_PKGV0927A_FWV0927A0.rar; size: 1 481 843 bytes SMI SM2259XT2 MPTool FHY3D-V6 W0307A FWW0303B0 ; SM2259XT2_FHY3D-V6_PKGW0307A_FWW0303B0.rar; size: 1 511 893 bytes SMI SM2259XT2 MPTool FHY3D-V6 W0809A FWW0522A0 ; SM2259XT2_FHY3D-V6_PKGW0809A_FWW0522A0.rar; size: 1 558 149 bytes SMI SM2259XT2 MPTool FHY3D-V6 W1205A FWW1201A0 ; SM2259XT2_FHY3D-V6_PKGW1205A_FWW1201A0.rar; size: 1 557 344 bytes SMI SM2259XT2 MPTool FHY3D-V6 X0923A FWX0826A0 ; SM2259XT2_FHY3D-V6_PKGX0923A_FWX0826A0.rar; size: 1 578 128 bytes

Сообщение от DimDim могут или не могут стереть резервные блоки?

Зачем вам это нужно? Резервные блоки используются для переназначения вышедших из строя. Какая разница стерты они или нет?

Сообщение от DimDim Как заглянуть внутрь памяти, находясь в операционной системе Linux (а Windows?) ?

Это не дешево и нужно уметь пользоваться https://www.acelab.ru/dep.pc/pc3000.ssd.php

Сообщение от DimDim Если не форматируя диск, записывать случайные данные

Проще выполнить Secure Erase что быстро и гарантировано сотрет все данные.

0

Благодарю за ответы!

Сообщение от locm Зачем вам это нужно? Резервные блоки используются для переназначения вышедших из строя. Какая разница стерты они или нет?

Ну не только ж, они также динамично меняются с текущими блоками, когда флеш забит под завяз, для того чтоб перезаписать в них актуальные данные, а текущие стираются и часть из них становятся резервными, а также во исполнение процедуры Wear-leveling - для равномерного распределения износа ячеек памяти.

Исходя из вышесказанного, я по незнанию думал, что всё-таки вдруг контроллер не захочет стирать данные в блоке перед тем как назначить его резервным. Этот вывод я предположил, используя команду shred: после того как несколько раз переписался файл случайными данными, потом переименовался и удалился, а когда хотел найти исходник через средства восстановления данных, то никак ни нашёл! Но благодаря твоему ответу:

Сообщение от locm Это значит что контроллер пометил блок как не занятый. Не обязательно что он его сотрет сразу же, но при запросе данных вернет нули как если бы блок был стерт

скорее всего из-за этого не находились удалённые исходники, хотя если файл не перезаписывать, а просто удалить, то он элементарно видится, и это всё без TRIM (я отключил его сам в системе, для чистоты экспериментов), как так интересно, опять прошивка так работает, да?

Вообще мне надо почистить память SSD в ноуте, без форматирования, чтоб удалить насколько возможно максимально полностью очень важные данные личного характера, они приличные, но тем неменее личные, именно удалить, а не зашифровать, чтоб на физическом уровне их не было, как сжечь листок бумаги. Secure Erase может это делать не форматируя диск , а очищая память из свободного пространства диска?

0

Сообщение от DimDim а просто удалить, то он элементарно видится, и это всё без TRIM (я отключил его сам в системе, для чистоты экспериментов), как так интересно, опять прошивка так работает, да?

Если TRIM отключен то контроллер не узнает что файл был удален.

Сообщение от DimDim удалить насколько возможно максимально полностью очень важные данные

Если файлы не были удалены, перепишите их другими данными. TRIM отключать не нужно.
Если файлы удалили с отключенными TRIM, то уже поздно об этом думать.

0

Сообщение от locm Если файлы не были удалены, перепишите их другими данными. TRIM отключать не нужно.

Значит в моём случае, без форматирования, возможностями Secure Erase не воспользоваться?
Значит работать по ранее мною предложенной схеме?:

Сообщение от DimDim 2) Если не форматируя диск, записывать случайные данные (0х00 - это тоже подойдёт?) до упора (например командой shred в linux), да ещё потом разок,

Что касается

Сообщение от locm Если файлы удалили с отключенными TRIM, то уже поздно об этом думать.

и

Сообщение от locm Если TRIM отключен то контроллер не узнает что файл был удален.

то, наверное, я не правильно выразился, я отключил календарь TRIM под названием fstrim.timer, который, если включён запускает fstrim.service. Но fstrim.timer был и так установлен на 1 раз в 7 дней, а не на постоянную работу сразу же после удаления, вообще его можно и на 1 раз в 1 год поставить. Это нормально?

0

Сообщение от DimDim Значит в моём случае, без форматирования, возможностями Secure Erase не воспользоваться?

Одно с другим не связано. Secure Erase сотрет все данные в отличие от форматирования, но при этом форматирования не происходит и будет не размеченный диск.

0

locm, уже устал отвечать на мои вопросы? То почти на каждый отвечал, а щас только на один? Благодарю, тебя

0

Сообщение от DimDim Типа, я даю TRIM, контроллер говорит типа "Ok", почистит текущие блоки

https://club.dns-shop.ru/revie... otke__TRIM
Прокрутите статью до Задержки при отработке TRIM и посмотрите как эту команду обрабатывают разные накопители.

0

locm, почитал, благодарю, а что такое "родной режим" SSD?
И что такое SLC-кэширование, как я понял - это обычная запись данных на флеш?

И, там в одном из экспериментов - запись, потом дают команду TRIM, выжидают паузу, затем снова...

"...Произведем замеры размера SLC-кэша по более сложной схеме: заполняя накопитель примерно на 25, 50, 75 и 90% пользовательского пространства и измеряя размер SLC-кэша в каждом состоянии. На каждом из этапов после записи инициируется отправка команды TRIM на все свободное пространство и делаются продолжительные паузы..."

Для чего здесь TRIM и эти продолжительные паузы делаются?

Сообщение от locm Задержки при отработке TRIM и посмотрите как эту команду обрабатывают разные накопители.

Это графики результатов ЗАПИСИ на память после того как с нёё удалили 64 Гб с включённым TRIMом (режим - TRIM сразу после удаления) с каждого диска, правильно я понял?

0

Правильно ли я понимаю, что SSD может записывать кусочки (страницы, 4K) файла не только последовательно, но и распределяя их по нескольким свободным блокам, а следующий записываемый файл он также может (хотя бы частично, если свободных больше нет) распределить по тем же блокам, в которых уже записаны страницы (кусочки) предыдущего файла. Таким образом страницы (кусочки) нового файла закроют страницы (кусочки) предыдущего записанного файла, да?

Это, наверное, и есть так называемая случайная запись?

К чему это я: внутренняя "картина" распределения информации в чипе памяти такова, что она представляет собой сильную фрагментацию, т.е. хаотична, и тяжело найти блоки ячеек памяти один следующий за другим, в которых окажется весь файл в одном месте, а не в разных частях чипа памяти. Да?

0

Сообщение от DimDim а следующий записываемый файл он также может (хотя бы частично, если свободных больше нет) распределить по тем же блокам, в которых уже записаны страницы (кусочки) предыдущего файла.

Нет. Частично заполненный сектор считается системой полностью занятым и туда больше ничего не дописывается. Поэтому в Свойствах файла такая разница между размером файла и размером места занятого на диске.

Сообщение от DimDim (хотя бы частично, если свободных больше нет)

Если свободных больше нет, то система укажет, что для записи файла не хватает места на диске.

0

Сообщение от all1605 Частично заполненный сектор считается системой полностью занятым и туда больше ничего не дописывается.

Речь не про сектора диска, а блоки флеша. Это не одно и тоже.

Сообщение от DimDim Правильно ли я понимаю, что SSD может записывать кусочки (страницы, 4K) файла не только последовательно, но и распределяя их по нескольким свободным блокам

Так и происходит. Размер блока обычно 16 КБ (на самом деле больше, но остальная часть для служебных данных).
Неужели так сложно найти статьи по теме и прочитать их? Например https://habr.com/ru/companies/ocz/articles/392891/
https://habr.com/ru/companies/ocz/articles/393131/

0

Сообщение от locm Неужели так сложно найти статьи по теме и прочитать их?

locm, благодарю, дружище! Думаю, что сложно. Я столько времени потратил, чтобы узнать о принципе устройства и работы SSD, вот наиболее адекватные и более подробные статьи, которые я нашёл

https://compress.ru/article.aspx?id=21619#02
https://habr.com/ru/companies/... es/512654/
https://habr.com/ru/articles/491890/

0

Сообщение от locm https://habr.com/ru/companies/ocz/articles/392891/ https://habr.com/ru/companies/ocz/articles/393131/

Здравствуйте все! Почитал, немного запутался: чип для кэша - он нужен для предварительной записи пользовательских данных или для записи инструкций (служебной информации) контроллера (самому себе)? Так, если для предварительной записи, как указано в этой статье https://habr.com/ru/companies/ocz/articles/392891/ , то получается, что чип-кэш быстрее основных чипов выйдет из строя из-за постоянной "запись-стирание" и SSD на выброс?

0