RAID на контроллере LSI SAS1064I, сервер DELL CS24SC

@Klinch · Регистрация: 22.02.2014

Студворк — интернет-сервис помощи студентам

Доброго времени суток!

Имеем сервер DELL CS24SC
У него RAID контроллер LSI SAS1064E

В корзины вставлено 4 жестких диска по 1 ТБ, Собрано 2 RAID-1 массива.
Последнее время стал замечать, что скорость чтения с одного из массивов ниже скорости чтения с другого. К примеру:

Чтение первого массива:

XML
1
2
3
/dev/sda:
Timing cached reads:   9334 MB in  2.00 seconds = 4672.56 MB/sec
 Timing buffered disk reads: 234 MB in  3.56 seconds =  65.79 MB/sec

Чтение второго массива:

XML
1
2
3
/dev/sdb:
 Timing cached reads:   11440 MB in  2.00 seconds = 5728.32 MB/sec
 Timing buffered disk reads: 642 MB in  3.01 seconds = 213.39 MB/sec

Возможно, это говорит о том, что у первого массива скоро умрёт жёсткий диск, если еще не умер.
В связи с этим появился вопрос. Это мой первый опыт с гибелью диска в RAID массиве на данном сервере.

Кто-нибудь может подсказать, какова процедура замены диска?
Если я тупо на горячую возьму и вытащу один из дисков (к примеру мёртвый), а затем вставлю туда новый диск - данный контроллер (LSI SAS1064E) распознает его и начнёт ребилд массива?

Или же мне нужно перезагружать сервер, заходить в панель управления RAID контроллером и запускать там ребилд вручную, после чего ждать 100500 лет, пока он закончится и всё это будет даунтайм?

Буду благодарен за подсказку в этом вопросе...

@a_shats · 19.12.2017, 17:06

Klinch,
SAS 1064E - это не RAID-контроллер, а HBA (с функционалом RAID, т.е. программный RAID).
65.79 МБ/сек на чтение с двух дисков того времени (это лет 8 назад) - это вполне похоже на правду.
А вот про 213 МБ/сек - это вранье средства измерения.
Раз используете linux - используйте для тестирования хотя бы iozone, что ли.

@Klinch · 19.12.2017, 17:34 **[ТС]**

a_shats,
Спасибо, попробую iozone или что-то подобное...

А как вы поняли, что это HBA контроллер?
Я про него гуглил, читал - на форумах постоянно часть пишут, что это аппаратный контроллер, хоть и без батарейки. Кто-то пишет, что не аппаратный, в общем не понять...
Вот, кстати, нашёл ссылку. Тут точно такой-же сервер, как у меня, и там в низу есть скриншоты панели управления контроллером: https://local.com.ua/forum/top... s-15k-hdd/

В любом случае, остаётся вопрос - как менять диски в этом контроллере? Подозреваю, что ребилд и одновременная работа сервера невозможны и нужно заходить в панель управления контроллером, запускать ребилд и ждать много часов... Видел там функцию ребилда, примерно представляю как эту операцию провести. Но может всё-же можно заребилдить и без даунтайма?

@a_shats · 19.12.2017, 17:49

Klinch,

А как вы поняли, что это HBA контроллер?

"Давно тут сидим" (с)

У LSI/Avago/Broadcom в каждом поколении выходит два чипа - HBA и RAID. В том конкретном были 1064/1068 (отличие в количестве каналов) HBA и 1078 - RAID.
Вот его описание (1064/1068) :
https://docs.broadcom.com/docs... 011408.pdf

как менять диски в этом контроллере?

Просто, берете и меняете. Ребилд начнется при условии, что в BIOS (либо управлялке контроллера из-под ОС) включена соответствующая фича (Auto Rebuild), она обычно включена по умолчанию - хотя очень много кто делал контроллеры на этом чипе, кто его знает, какой конкретно в Вашем контроллере функционал по умолчанию включен/выключен.
Ребилд - задача фоновая, приоритет фоновых задач (Background Tasks Priority) тоже можно поменять в BIOS или управлялке, по умолчанию он стоит 30%. Т.е. нет, даунтайма не будет - но тормоза будут, причем чем выше выставлен приоритет фоновых задач - тем быстрее ребилд и страшнее, соответственно, в его время тормоза. И наоборот.

@Klinch · 19.12.2017, 17:59 **[ТС]**

a_shats,
Понял, спасибо, теперь стало значительно яснее.

У LSI/Avago/Broadcom в каждом поколении выходит два чипа - HBA и RAID. В том конкретном были 1064/1068 (отличие в количестве каналов) HBA и 1078 - RAID.
Вот его описание (1064/1068) :
https://docs.broadcom.com/docs... 011408.pdf

Интересно, наконец-то нашлось что-то про него. А я до последнего надеялся, что он аппаратный, ну и ладно

Кстати, в описании, как и в панели управления, уазывается, мол контроллер умеет делать RAID 1E. У меня же либо контроллер глючный попался, либо это из-за его софтовости, но, в общем, при формировании RAID 1E он работал какое-то время (совсем чуть-чуть) а потом самопроизвольно умирал. Может, дело в дисках - 2 из них были одной партии и точно одной модели. Третий был того-же производителя, но другой партии и возможно модель чуть чуть другая.
Поэтому в итоге создал 2 RAID-1 массива и они в целом работают стабильно.

Просто, берете и меняете. Ребилд начнется при условии, что в BIOS (либо управлялке контроллера из-под ОС) включена соответствующая фича (Auto Rebuild), она обычно включена по умолчанию - хотя очень много кто делал контроллеры на этом чипе, кто его знает, какой конкретно в Вашем контроллере функционал по умолчанию включен/выключен.
Ребилд - задача фоновая, приоритет фоновых задач (Background Tasks Priority) тоже можно поменять в BIOS или управлялке, по умолчанию он стоит 30%. Т.е. нет, даунтайма не будет - но тормоза будут, причем чем выше выставлен приоритет фоновых задач - тем быстрее ребилд и страшнее, соответственно, в его время тормоза. И наоборот.

Это радует, надо будет посмотреть наличие таких параметров. Управлялки из под ОС у меня, кстати, нету. Или я о ней не знаю

И последний тупой уточняющий вопрос - брать и менять на горячую, или же выключить сервер, поменять и включить?

@a_shats · 19.12.2017, 19:10

Klinch,

Кстати, в описании, как и в панели управления, уазывается, мол контроллер умеет делать RAID 1E

Умеет-умеет, не сомневайтесь, другое дело, что одни вендоры это разрешали в BIOS контроллера, другие - нет.
Кэша вот - нету отродясь.

Управлялки из под ОС у меня, кстати, нету. Или я о ней не знаю

Штатной для этих контроллеров была PowerConsole от LSI, еще до MSM - и подхватит ли современный MegaRAID Storage Manager этот древний контроллер - я не знаю.

брать и менять на горячую

Если у сервера есть бэкплейн, диски в корзинах горячей замены и нигде не написано, что это Cold-Swap - так и делать.

@Klinch · 19.12.2017, 19:31 **[ТС]**

a_shats,
Большое спасибо! Пока-что не всё понятно, но хотя-бы есть названия программ - почва для гугления, буду разбираться, что-нибудь да сделаем

Если у сервера есть бэкплейн, диски в корзинах горячей замены и нигде не написано, что это Cold-Swap - так и делать.

Да, всё именно так. Это радует, значит, скорее всего, мы будем сидеть без даунтайма, когда потребуется замена диска

Новые блоги и статьи Все статьи Все блоги /
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .

@a_shats 1378 / 510 / 99 Регистрация: 11.03.2015 Сообщений: 1,735
	19.12.2017, 17:06
	Klinch, SAS 1064E - это не RAID-контроллер, а HBA (с функционалом RAID, т.е. программный RAID). 65.79 МБ/сек на чтение с двух дисков того времени (это лет 8 назад) - это вполне похоже на правду. А вот про 213 МБ/сек - это вранье средства измерения. Раз используете linux - используйте для тестирования хотя бы iozone, что ли. 1

@Klinch 0 / 0 / 0 Регистрация: 22.02.2014 Сообщений: 25
	19.12.2017, 17:34 [ТС]
	a_shats, Спасибо, попробую iozone или что-то подобное... А как вы поняли, что это HBA контроллер? Я про него гуглил, читал - на форумах постоянно часть пишут, что это аппаратный контроллер, хоть и без батарейки. Кто-то пишет, что не аппаратный, в общем не понять... Вот, кстати, нашёл ссылку. Тут точно такой-же сервер, как у меня, и там в низу есть скриншоты панели управления контроллером: https://local.com.ua/forum/top... s-15k-hdd/ В любом случае, остаётся вопрос - как менять диски в этом контроллере? Подозреваю, что ребилд и одновременная работа сервера невозможны и нужно заходить в панель управления контроллером, запускать ребилд и ждать много часов... Видел там функцию ребилда, примерно представляю как эту операцию провести. Но может всё-же можно заребилдить и без даунтайма? 0

RAID на контроллере LSI SAS1064I, сервер DELL CS24SC

Решение