Форум программистов, компьютерный форум, киберфорум
Носители информации
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.69/448: Рейтинг темы: голосов - 448, средняя оценка - 4.69
2657 / 1348 / 226
Регистрация: 26.02.2009
Сообщений: 6,378
Записей в блоге: 5
1

Как правильно выбрать размер кластера NTFS

20.01.2011, 12:04. Показов 87622. Ответов 8
Метки нет (Все метки)

Доброго времени!
Собственно к делу: подключили мне HDD на 2Tb на котором будут лежать много-много(миллионы) файлов со средним размером 15-25 Кбайт.

Имеет ли смысл выставить при форматировании размер кластер больше, чем по дефолту - 4Кб?
Увеличится ли скорость?(поиска, чтения, перезаписи, удаления)

Теоретически я думаю да, хотябы потому что и без того мелкие файлы не будут фрагментироватся. Размер таблицы MFT по-идеи должен уменьшится. Естественно потери дискового пространства увеличится, но на самом деле об этом думаю сейчас в последюю очередь.

Кто-нить сталкивался с этим?
Есть идеи?
Поделитесь мыслями.
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
20.01.2011, 12:04
Ответы с готовыми решениями:

Размер кластера NTFS
Что для системного раздела нужно брать 4 КБ, вроде бы никто не спорит. А вот о разделах под данные...

Какой размер кластера выбрать
Взял винт на полтора терабайта и при создании раздела возник вопрос, под какой размер кластера...

какой размер кластера выбрать
жесткий на 500 гб. храню от 1байта до 10 гб, простые доки, программы, установщики windows ,фильмы...

Как узнать размер кластера (NTFS)?
Вопрос в теме.

8
Эксперт С++
7175 / 3234 / 79
Регистрация: 17.06.2009
Сообщений: 14,164
20.01.2011, 20:11 2
Имеет ли смысл выставить при форматировании размер кластер больше, чем по дефолту - 4Кб?
Пробовать нужно
Если увеличить кластер до 32Kb, то потери данных тебя не интересуют ?

Скорость поиска и удаления зависит скорее от работы с каталогами
А каталогам твой размер кластера пофигу - у них всегда кластер 1Kb

Мелкие файлы могут практически не фрагментироваться и при кластере в 4Kb
Подобрать подряд 7 кластером по 4Kb ( == 28Kb ) не должно быть большой проблемой

Под таблицу MFT всегда резервируется 12% от пространства
Размер кластера в MFT всегда равен 1Kb
И при чем размер кластера данных ?

Не напрягай мозг - пусть будет кластер в 4Kb
2
891 / 286 / 7
Регистрация: 10.05.2010
Сообщений: 2,204
20.01.2011, 20:45 3
потеря дискогого пространства компенсируется производительностью
0
2657 / 1348 / 226
Регистрация: 26.02.2009
Сообщений: 6,378
Записей в блоге: 5
21.01.2011, 01:01  [ТС] 4
Целый день искал инфу на просторах рунэта. Кто говорит нифига не влияет, а только дыр больше станет, кто уверяет что производительность увеличится на 10-15%.
Короче, действительно, надо пробывать. Чем завтра и займусь. Сейчас наверно уже скопировалось 30 гб мелких файлов(это где-то 3 млн файлов), на них и проверю. Если хуже не будет, в плане производительности то так и оставлю. Потому что раздел в 2террабайта пол-дня форматировался.
Цитата Сообщение от odip Посмотреть сообщение
Не напрягай мозг - пусть будет кластер в 4Kb
Нууу... так не интересно

Добавлено через 23 минуты
Цитата Сообщение от odip Посмотреть сообщение
Размер кластера в MFT всегда равен 1Kb
И при чем размер кластера данных ?
Кол-во записей в MFT думаю зависит от кол-ва задействованных кластеров в разделе. Отсюда следует, что увеличивая размер кластера можно уменьшить кол-во записей в MFT и тем самым ускорить поиск нужного файла. Чем больше файлов, тем более существеннее выигрыш 32Кб кластера перед 4Кб. Ну это в теории. Или я не правильно понимаю работу MFT?
1
мусор в БД
4673 / 1127 / 34
Регистрация: 17.01.2009
Сообщений: 4,481
21.01.2011, 01:16 5
Цитата Сообщение от odip Посмотреть сообщение
Скорость поиска и удаления зависит скорее от работы с каталогами
Ну не совсем. Допустим, если требуется удалить каталог, то Windows сначала очищает(удаляет) содержимое каталога(файлы) и только потом сам каталог.
Цитата Сообщение от odip Посмотреть сообщение
пусть будет кластер в 4Kb
Согласен.
0
Эксперт С++
7175 / 3234 / 79
Регистрация: 17.06.2009
Сообщений: 14,164
21.01.2011, 08:45 6
Кол-во записей в MFT думаю зависит от кол-ва задействованных кластеров в разделе. Отсюда следует, что увеличивая размер кластера можно уменьшить кол-во записей в MFT и тем самым ускорить поиск нужного файла. Чем больше файлов, тем более существеннее выигрыш 32Кб кластера перед 4Кб. Ну это в теории. Или я не правильно понимаю работу MFT?
В MFT кластер в 1Kb
И туда входит имя файла и его аттрибуты
Понятно что там в записи есть свободное место
И список кластеров туда же входит - точнее там список extend-ов
А так как у тебя то ли 1 то ли 7 кластеров - то с большой вероятностью войдет все в те же записи

Добавлено через 1 минуту
можно уменьшить кол-во записей в MFT и тем самым ускорить поиск нужного файла
И кстати такой связи тоже нет
Для поиска файла в каталоге используются B-деревья
Ускорить поиск можно существенно уменьшив кол-во файлов
0
Эксперт С++
7175 / 3234 / 79
Регистрация: 17.06.2009
Сообщений: 14,164
21.01.2011, 08:45 7
И кстати - Windows какой ?
И что это вообще за файлы ?
0
2657 / 1348 / 226
Регистрация: 26.02.2009
Сообщений: 6,378
Записей в блоге: 5
21.01.2011, 19:37  [ТС] 8
Результаты тестирования:
Система:
CPU Intel Core2 Quad Q9450 2.66GHz
RAM 4Gb
HDD: WD WD2001FASS 2Tb 7200 64Mb кластер 32Kb - только что купленный(диск M)
WD WD1001FALS 1Tb 7200 32Mb кластер 4Kb- разбит поравну на 2 логических С и D (на C стоит система) тестил диск D
OS: WinXP SP2
Времени было мало поэтому ограничился всего двумя запусками своей проги на каждый винт.
Почему именно свою прогу запускал? Потому что именно из-за неё я собственно заморочился.
Что она делает: собирает маленькие кусочки файлов в один БОЛЬШОЙ файл + некоторые заголови формирует, короче свой собственный бинарный формат. Ничего сверхестественного. Прога накапливает в себе 500 метров для записи и потом сбрасывает на диск.

Итак, первый тестмин:сек)
Время работы на диске D: 2:48
Время работы на диске M: 0:57 - лично мне непонятен такой отрыв
Результирующий файл 183Mb
Тест №2:
Время работы на диске D: 15:12
Время работы на диске M: 11:55 - вот здесь уже более менее похоже на правду
Результирующий файл 785Mb

Вот собственно и фсё...
А... про потери места забыл: Конечно с выбором кластера я переборщил - средний размер файла оказался менее 10 Кб:
Размер: 29.9 ГБ (32 208 015 293)
Содержит: Файлов: 2 505 282; папок: 27 520

На диске D: 35.3 ГБ
На диске M: 76.5 ГБ

Ещё скажу что кэш у дисков в моём случае вообще не играет никакой роли, тк файлы берутся только 1 раз и всё. Конечно тест нельзя назвать честным, тк диск D уже более полу-года работает и помимо тестируемых мелких файлов ещё есть много других.

Цитата Сообщение от odip Посмотреть сообщение
И что это вообще за файлы ?
Файлы - картинки 256х256 карта земного шара.(фотки спутника, схемы) В основном Яндекса. Есть JPG есть PNG. Сейчас у меня png больше, но вот на старом диске, который успешно сдох, было наоборот. А сдох он от того что на нём уже было таких 11 млн файлов(более 100ГБ тормозило жуть) и понадобилось ещё чуть докачать. =)
1
674 / 420 / 44
Регистрация: 09.07.2012
Сообщений: 1,419
29.08.2012, 23:06 9
На youtube есть лекции "основы операционных систем" тебе нужна сразу 10. Там будет понятно почему так вышло. Хоть теме уже более года, все равно интересно было почитать доказательства слов лектора.
1
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
29.08.2012, 23:06

Как правильно выбрать размер буфера
Здравствуйте! Подскажите, как правильно выбрать размер буфера, например в сокетах, какой размер...

Как правильно выбрать размер локального типа-массива
Преподаватель задал вопрос, ответить надо в строгой форме, а у меня с собой нет даже методички,...

Размер кластера
Доброго времени суток, меня интересует максимальная скорость HDD, я знаю что в файловой системе fat...

Размер кластера
есть карта памяти , китайская, на 8 гб. проблема в том что любой девайс её отвергает, подвисает сам...

Размер кластера на флешке
Здравствуйте. Ищу кроссплатформенный способ нахождения размера кластера на флэшке. Но так как мало...

Какой лучше выбирать размер кластера?
Здравствуйте! Подскажите, какой размер для кластеров жесткого диска лучше выбирать: минимальный,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
9
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2022, CyberForum.ru