Поддержка накопителей NVMe в серверах Intel на базе Xeon Scalable
В предыдущих поколениях серверов (включая серверы на базе Intel Xeon E5-2600v4) использование твердотельных накопителей NVMe 1 было связано с рядом ограничений:
- не поддерживалась горячая замена накопителей
- отсутствовала возможность создания загрузочных RAID-массивов
- не гарантировалась работа индикации накопителей в соответствии со стандартом 2
Это объясняется тем, что управление интерфейсом NVMe осуществлялось не внешним контроллером, как в случае дисков SAS или SATA, а контроллером самого накопителя. Вследствие этого такие события, как извлечение накопителя или возникновение неисправности, не всегда могли корректно обрабатываться системой.
В серверах Intel на базе процессоров Intel Xeon Scalable эти ограничения сняты благодаря новым технологиям Intel VMD и Intel VROC.
Что такое Intel VMD и Intel VROC
Intel VMD (Volume Management Device) – встроенный в процессор Intel Xeon Scalable аппаратный контроллер интерфейса NVMe, обеспечивающий возможность горячей замены накопителей, корректную индикацию статуса, а также работу с RAID-массивами.
Intel VROC (Virtual RAID on CPU) – набор инструментов для накопителей NVMe:
- Intel VMD в качестве аппаратного контроллера, встроенного в CPU
- поддержка NVMe RAID со стороны BIOS серверной платы
- процессорные ядра для вычислений RAID-логики
- лицензионные ключи Standard или Premium
- драйверы NVMe RAID для Windows 2016, 2012R2, 10, 7SP2, Red Hat 7.3, SUSE 12SP3
- утилита RSTe с поддержкой NVMe RAID для управления массивами под Windows
Intel VROC является гибридным RAID-решением, которое включает как аппаратные (Intel VMD), так и программные компоненты. Технология Intel VROC доступна в серверах на платформе Intel.
Использование Intel VMD и Intel VROC проиллюстрируем на конкретном примере: рассмотрим процесс создания загрузочного массива из накопителей NVMe на платформе Intel R1208WF.
Создание загрузочного RAID-массива из накопителей NVMe
В разделе BIOS
Advanced/PCI Configuration/Volume Management Device
необходимо включить Intel VMD на тех портах шины PCIe, к которым подключены накопители NVMe. По умолчанию Intel VMD выключена на всех портах:
На платформе Intel R1208WF накопители NVMe подключаются к портам OCuLink на материнской плате (два порта на каждый процессор) и/или к портам NVMe-адаптера, установленного в слот райзер-карты (Riser1,Slot1/ Riser2,Slot1).
В нашем сервере два накопителя NVMe подключены к портам OcuLink CPU1. Включаем Intel VMD на этих портах:
Переходим в раздел BIOS
Advanced/PCI Configuration/UEFI Option ROM Control
Здесь появился дополнительный RAID-контроллер Intel(R) Virtual RAID on CPU:
Перемещаем на него курсор и заходим в раздел Intel(R) Virtual RAID on CPU:
Пока в сервере не установлен лицензионный ключ, накопители NVMe можно использовать лишь в режиме Pass-Through. Для создания RAID-массивов необходим ключ Standard или Premium.
После установки ключа Standard данный раздел будет выглядеть так:
Переходим здесь в раздел All Intel VMD Controllers:
Выбираем Create RAID Volume и создаем нужный RAID-массив:
Теперь можно перейти к установке на этот RAID-массив операционной системы. В процессе установки потребуются драйверы Intel VROC, которые можно скачать с сайта Intel. Загрузка сервера должна выполняться в режиме UEFI.
Технические характеристики технологии Intel VROC
Процессоры семейства Intel Xeon Scalable имеют три домена (контроллера) шины PCIe, каждый из которых управляет 16 линиями PCIe. Всего в процессоре 48 таких линий.
Каждый домен PCIe процессора является отдельным VMD-контроллером. Поскольку стандартный накопитель с интерфейсом NVMe использует 4 линии PCIe, к одному VMD-контроллеру можно напрямую подключить до 4 накопителей NVMe. Если накопители подключать через NVMe-адаптеры (коммутаторы), к одному VMD-контроллеру можно подключить максимально до 24 накопителей. Такое же ограничение действует на процессор и сервер в целом.
RAID-массив, созданный из накопителей одного VMD-контроллера, может быть загрузочным. Можно создавать RAID-массивы из накопителей, подключенных к разным VMD-контроллерам и даже к разным процессорам в рамках одного сервера, однако загрузочными такие массивы быть не могут.
Основные возможности Intel VROC приведены в следующей таблице:
| Поддерживаемые серверные платформы | Платформы на базе процессоров Intel Xeon Scalable (на данный момент серверные платформы Intel) |
| Поддерживаемые операционные системы | Windows 2016, Windows 2012 R2, Windows 10, Windows 7 SP2 Red Hat Enterprise Linux 7.3 SUSE Linux Enterprise 12 SP3 |
| Поддерживаемые SSD-накопители с интерфейсом NVMe | Все SSD-накопители Intel с интерфейсом NVMe семейств “Data Center” и “Professional” Накопители отдельных серверных серий других производителей |
| Поддерживаемые конфигурации | До 24 SSD-накопителей на VMD-контроллер, на RAID-массив, на систему До 12 RAID-массивов на систему До 2 томов на RAID-массив До 2 уровней коммутации Том данных может принадлежать нескольким VMD-контроллерам Загрузочный том должен принадлежать одному VMD-контроллеру |
| Лицензионные ключи | Без ключа: накопители в режиме Path-Through Standard: RAID 0/1/10 Premium: RAID 0/1/10/5 |
| Ключевые возможности | Горячая замена LED-индикация статуса накопителя Нот Spare – автоматическое подключение запасного накопителя взамен неисправного Auto-Rebuild – автоматическое перестроение массива Уведомления по Email Защита от потери питания при перестроении массивов RAID 5 Управление «плохими» блоками Выбор Strip Size (4K, 8K, 16K, 32K, 64K, 128K) |
Каждый накопитель NVMe имеет два LED-индикатора: активности и статуса. В следующей таблице приведена информация о состоянии этих индикаторов в зависимости от режима накопителя.
| LED-индикатор | Режим накопителя | Состояние индикатора |
| Зеленый | Питание есть, режим простоя | Горит |
| Питание есть, активность | Мигает при выполнении команды | |
| Питание есть, режим энергосбережения | Не горит | |
| Питание есть, включается | Мигает | |
| Янтарный | Исправен | Не горит |
| Режим идентификации (Locate) | Мигает с частотой 4Hz | |
| Отказ | Горит | |
| Перестроение массива | Мигает с частотой 1Hz |
1 Здесь имеются ввиду только твердотельные накопители форм-фактора 2.5" с интерфейсом PCIe, подключаемые через разъем U.2 (SFF-8639)
2 Международный стандарт "International Blinking Pattern Interpretation (IBPI) standard" (SFF-8489)