Team Server R2000CY

Team Server R2000CY
Архитектура системы и рекомендации по выбору конфигурации

В этой модели сервера в качестве платформы используется одна из двух серверных систем Intel:

– платформа M50CYP2UR208, которая может иметь 8, 16 или 24 накопителя 2.5":

• Конфигурация с 8 отсеками для накопителей 2.5":

• Конфигурация с 16 отсеками 2.5":

• Конфигурация с 24 отсеками 2.5":

– платформа M50CYP2UR312 с 12 отсеками 3.5":

Различия между этими платформами касаются, главным образом, дисковой подсистемы, а также возможности установки GPU и описаны ниже в соответствующих разделах.

Компоновка сервера R2000CY

Основные компоненты системы:

• Для M50CYP2UR208 одна, две или три передние корзины на 8 накопителей 2.5" SATA3/SAS3/NVMe Gen4 с горячей заменой (максимально 24 накопителя на передней панели)
• Для M50CYP2UR312 передняя корзина на 12 накопителей 3.5" SATA3/SAS3 HDD или 2.5" SATA3/SAS3 SSD (в том числе до 4-х накопителей NVMe PCIe 4.0) с горячей заменой
• 6 однороторных системных вентиляторов 60 мм с переменной скоростью вращения, горячей заменой и резервированием, пластиковый воздуховод
• Двухпроцессорная серверная материнская плата M50CYP2SBSTD
• Один или два процессора семейства Intel Xeon Scalable 3-го поколения (Ice Lake)
• До 32 модулей оперативной памяти DDR4-3200
• 3 отсека для установки 8 плат расширения PCIe 4.0, отсек для сетевого модуля
• Один или два блока питания мощностью 1300Вт, 1600Вт или 2100Вт с горячей заменой и резервированием

Процессорная подсистема

Один или два процессора Intel Xeon Scalable 3-го поколения (Ice Lake).

Основные отличия от процессоров Intel Xeon Scalable 2-го поколения (Cascade Lake):

• Техпроцесс 10 нм (разрешающая способность фотолитографического оборудования, используемого при изготовлении процессоров) против 14 нм у процессоров предыдущего поколения. Уменьшение этого параметра позволяет пропорционально снизить размеры и энергопотребление полупроводниковых элементов процессора.
• Количество физических ядер процессора от 8 до 40 против 6 - 28 у Xeon Gen2.
• 8 каналов памяти DDR4-3200 (суммарная скорость обмена 205 GB/s) против 6 каналов DDR4-2933 (141 GB/s).
• 64 линии PCIe 4.0 (2 GB/s на линию) против 48 линий PCIe 3.0 (1 GB/s на линию).
• До 6 TB оперативной памяти на CPU для всех моделей процессоров против 1 TB.
• Поддержка второго поколения энергонезависимой памяти Intel Optane Persistent Memory Series 200 (эта память на 30% быстрее первого релиза).

Прирост производительности по сравнению с Xeon Scalable Gen2 (по данным Intel) зависит от типа нагрузки и составляет:

• 46% – интегральная оценка
• 74% – машинное обучение и ИИ
• 58% – облачные сервисы
• 72% – виртуализация
• 64% – СУБД
• 53% – высокопроизводительные вычисления (HPC)

Буквенные индексы в обозначении новых процессоров означают:

• T – рассчитан на эксплуатацию в течение 10 лет в расширенном температурном диапазоне;
• S – поддержка защищенных областей памяти (SGX-анклавов) объемом до 512 GB;
• Y – поддержка Performance Profile 2.0, что позволяет задавать базовую и Turbo-частоту для групп ядер и соответствующих нагрузок;
• M – оптимизирован для задач ИИ и работы с медиаконтентом;
• N – оптимизирован для работы с сетевыми приложениями;
• V – оптимизирован для виртуальных сред и облачных систем, работающих по схеме SaaS (ПО как услуга);
• P - оптимизирован для виртуальных сред и облачных систем, работающих по схеме IaaS (инфраструктура как услуга).

TDP (Thermal Design Power – тепловая мощность, выделяемая процессором) моделей 3rd Generation Intel Xeon Scalable находится в диапазоне 105 – 270 Вт.

Система охлаждения платформы M50CYP2UR208 обеспечивает теплоотвод 270 Вт на CPU в конфигурациях на 8, 16 и 24 накопителя и, таким образом, поддерживает все процессоры семейства (кроме Xeon Platinum 8368Q, который нуждается в жидкостной системе охлаждения). Эта платформа может использоваться для задач, которые требуют максимальной процессорной мощности: высокопроизводительные вычисления, платформы виртуальных машин, многопользовательские базы данных и так далее. Также в данную платформу можно установить до двух вычислительных модулей GPU с пассивным охлаждением (кроме варианта платформы на 24 накопителя). Однако в этом случае TDP процессора ограничен величиной 205 Вт.

Для платформы M50CYP2UR312 поддержка процессоров с TDP 270 Вт гарантирована только при температуре окружающей среды не выше 27°C. Без температурных ограничений (до 45°C) можно использовать процессоры с TDP до 185 Вт. Платформа может использоваться в серверах универсального назначения, которым необходима дисковая подсистема большой емкости: для приложений обработки данных, веб-сервисов, облачных вычислений, СУБД высокой плотности, виртуальных машин. Эта платформа не поддерживает установку GPU.

Семейство процессоров 3^rd Generation Intel Xeon Scalable Processors включает 36 моделей. Важно выбрать процессор достаточной мощности, но не переплачивать при этом за «лишнюю» производительность, тем более что соотношение стоимости процессора и его производительности для старшей модели в линейке в четыре раза больше, чем для младшей.

Для утилитарных задач (контроллер домена, файловый сервер, шлюз, сервер обновлений, сервер терминального доступа, сервер резервных копий, терминальный сервер для небольшого числа пользователей) почти всегда будет достаточно одного процессора любой из младших моделей, даже если физический сервер обслуживает несколько виртуальных машин из этого списка.

Для высокоинтенсивных нагрузок необходимо возможно более точно оценить требуемую процессорную мощность, исходя из специфики приложений и принимая в расчет возможное увеличение нагрузки в будущем. Поскольку возможных сценариев очень много, здесь мы воздержимся от рекомендаций, но готовы их предоставить в рамках конкретной задачи.

Подсистема памяти

Подсистема памяти сервера также получила ряд усовершенствований по сравнению с серверами на процессорах intel Xeon Scalable 2-го поколения.

Во-первых, значительно (с 1TB до 6TB) увеличен максимальный объем оперативной памяти, поддерживаемый процессором.

Во-вторых, увеличена максимальная рабочая частота памяти с 2933 MT/s до 3200 MT/s. Однако она по-прежнему зависит от модели процессора:

• Xeon Silver 4300 – 2667 MT/s
• Xeon Gold 5300 – 2933 MT/s
• Xeon Gold 6300 – 3200 MT/s
• Xeon Platinum 8300 – 3200 MT/s

В-третьих, с двух до четырех увеличено число интегрированных в процессор контроллеров памяти (что улучшает конкурентный доступ ядер к памяти в сетевой mesh-архитектуре процессора), а также возросло общее число каналов памяти с шести до восьми, что на треть увеличивает скорость работы памяти при той же рабочей частоте.

В-четвертых, поддерживается энергонезависимая память Intel Optane Persistent Memory (PMem) второго поколения, которая работает на 30% быстрее памяти Optane первого поколения.

Intel Optane Persistent Memory (PMem) – это новый вид энергонезависимой памяти, которая по быстродействию сравнима с обычной оперативной памятью. Ее использование может либо снизить общую стоимость системы, либо получить объем ОЗУ, недоступный при использовании «обычной» памяти DRAM. PMem может использоваться в одном из двух режимов.

Memory Mode (MM) – здесь PMem выступает в роли оперативной памяти, а память DRAM – в качестве кэша для нее. Система «видит» только объем установленной памяти PMem. Число модулей обоих типов (DRAM и PMem) должно быть одинаковым, но объем модулей DRAM должен быть в 4 - 16 раз меньше объема модулей PMem. В этом сценарии может быть достигнута экономия в конфигурациях с большим объемом памяти. Например, максимальный объем памяти 8TB можно получить двумя способами:

• 16 x PMem 512GB + 16 x DRAM 32GB = 8TB (DRAM «не видна»)
• 32 x DRAM 256GB = 8TB

Первый вариант даст заметную экономию бюджета, лишь немного уступая второму варианту в быстродействии.

APP Direct Mode (AD) – в этом режиме PMem используется совместимыми приложениями как энергонезависимая память с побайтовой адресацией. Здесь объем «быстрой» памяти в сервере можно довести до 12TB (16 x DRAM 256GB + 16 x PMem 512GB).

В данной модели сервера каждый процессор имеет 16 слотов для оперативной памяти (по два слота на канал), всего в сервере 32 слота DIMM.

Поддерживаются следующие типы памяти:

• Registered DDR4 (RDIMM), 3DS-RDIMM
• Load Reduced DDR4 (LRDIMM), 3DS-LRDIMM
• Intel Optane Persistent Memory 200 Series (PMem)

Вот несколько основных рекомендаций для подсистемы памяти:

• число модулей памяти и их тип для обоих процессоров должны быть одинаковыми, чтобы обеспечить сбалансированную конфигурацию сервера (процессоры в основном используют только «свою» память, доступ к памяти другого процессора возможен, но он гораздо более медленный)
• тип модулей памяти для всех используемых каналов должен быть одинаковым, чтобы обеспечить параллельную работу каналов для максимальной производительности
• наилучший вариант – задействовать все восемь каналов памяти процессора

Последняя рекомендация очень важна. Мы довольно часто получаем запросы с вариантами конфигураций, в которых установлено по одному или два модуля памяти большой емкости на процессор (используется один или два канала памяти). Объясняется это желанием сохранить возможность увеличения объема памяти сервера в будущем до максимального значения. Желание вполне понятное, но при таком подходе производительность подсистемы памяти будет далеко не оптимальной. На следующем графике показана зависимость скорости подсистемы памяти от числа задействованных каналов. Хотя тестирование проводилось нами на шестиканальном Xeon Scalable 2-го поколения (Cascade Lake) с памятью DDR4-2933, для восьмиканальных Xeon Scalable Gen3 (Ice Lake) картина будет такой же.

Каким образом одновременно обеспечить максимальную производительность подсистемы памяти и в то же время сохранить возможность значительного увеличения ее объема в будущем?

Выбирайте объем модулей так, чтобы при установке одного модуля в каждый канал вы получили необходимый вам объем памяти. Если в дальнейшем объем ОЗУ нужно будет увеличить, вы всегда сможете установить в каждый канал еще по одному модулю такого же или большего объема. Для такого подхода данная платформа Intel подходит идеально, поскольку имеет по два слота памяти в каждом канале и не снижает рабочую частоту памяти при установке двух модулей на канал.

Часто наши клиенты задают вопрос, какую память лучше выбрать – одно- или двухранговую (Single Rank или Dual Rank). Заметной разницы в производительности между ними нет. Одноранговая чуть быстрее на чтении, двухранговая – на операциях копирования. По цене они, как правило, одинаковы.

В плане подсистемы памяти обе платформы сервера R2000CY совершенно идентичны.

Сетевые порты

В базовой конфигурации обеих платформ присутствует только выделенный гигабитный порт управления. Добавить сетевые порты можно посредством установки в слот OCP материнской платы сетевого модуля. Возможные варианты:

• Intel Ethernet Network Adapter X710-T2L OCP 3.0, Dual port, RJ45, 10 GbE
• Intel Ethernet Network Adapter X710 OCP 3.0, Quad port DA SFP+, 10 GbE
• Intel Ethernet Network Adapter E810-XXVDA2 OCP 3.0, Dual port, SFP28, 10/25 GbE
• Intel Ethernet Network Adapter E810-CQDA2 OCP 3.0, Dual port, QSFP28, 10/25/50/100 GbE

Дополнительные сетевые порты можно добавить в сервер посредством установки сетевых адаптеров в стандартные слоты расширения (всего в сервер можно установить до восьми плат расширения).

Слоты расширения

В сервер R2000CY можно установить до восьми плат расширения.

Райзер-карта #1, подключение всех слотов к CPU#1 (возможные варианты Райзер-карты):

• 3-Slot PCIe Riser Card for Riser Slot #1:
  – верхний слот PCIe 4.0 x16/x16 полной высоты, полной длины, одинарной ширины (75W)
  – средний слот PCIe 4.0 x8/x16 полной высоты, полной длины, одинарной ширины (50W)
  – нижний слот PCIe 4.0 x8/x8 полной высоты, половинной длины, одинарной ширины (25W)
• 2-Slot PCIe Riser Card for Riser Slot #1 (для установки GPU, может использоваться в платформе M50CYP2UR208 на 8 и 16 накопителей):
  – верхний слот PCIe 4.0 x16/x16 полной высоты, полной длины, двойной ширины (75W)
  – нижний слот PCIe 4.0 x16/x16 полной высоты, половинной длины, одинарной ширины (75W)
• PCIe NVMe Riser Card for Riser Slot #1 (используется для подключения 4 накопителей NVMe):
  – верхний слот PCIe 4.0 x16/x16 полной высоты, полной длины, одинарной ширины (75W)
  – 2 слота PCIe 4.0 SLIMLINE x8 для подключения 4-х накопителей NVMe

Райзер-карта #2, подключение всех слотов к CPU#2 (возможные варианты Райзер-карты):

• -Slot PCIe Riser Card for Riser Slot #2:
  – верхний слот PCIe 4.0 x16/x16 полной высоты, полной длины, одинарной ширины (75W)
  – средний слот PCIe 4.0 x8/x16 полной высоты, полной длины, одинарной ширины (50W)
  – нижний слот PCIe 4.0 x8/x8 полной высоты, половинной длины, одинарной ширины (25W)
• 2-Slot PCIe Riser Card for Riser Slot #2 (используется для установки GPU, может использоваться в платформе M50CYP2UR208 на 8 и 16 накопителей):
  – верхний слот PCIe 4.0 x16/x16 полной высоты, полной длины, двойной ширины (75W)
  – нижний слот PCIe 4.0 x16/x16 полной высоты, половинной длины, одинарной ширины (75W)

Райзер-карта #3, подключение всех слотов к CPU#2 (возможные варианты Райзер-карты):

• 2-Slot PCIe Riser Card for Riser Slot #3:
  – верхний слот PCIe 4.0 x8/x16 низкопрофильный, половинной длины, одинарной ширины (40W)
  – нижний слот PCIe 4.0 x8/x16 низкопрофильный, половинной длины, одинарной ширины (40W)
• 2-Slot PCIe NVMe Riser Card for Riser Slot #3 (используется для подключения 4 накопителей NVMe):
  – 2 слота PCIe 4.0 SLIMLINE x8 для подключения 4-х накопителей NVMe

Слоты райзер-карт #2 и #3 могут использоваться только при установке второго процессора. Для всех слотов расширения система охлаждения сервера обеспечивает воздушный поток не менее 300 LFM даже при отказе одного из вентиляторов (для M50CYP2UR312 при отказе вентилятора – 200 LFM).

Дисковая подсистема и варианты подключения накопителей

В платформу M50CYP2UR208 в зависимости от числа дисковых корзин (1, 2 или 3) можно установить соответственно до 8-ми, 16-ти или 24-х твердотельных накопителей или жестких дисков 2.5" с интерфейсами SAS3/SATA3/NVMe PCIe 4.0/3.0 x4. Накопители NVMe должны устанавливаться группами от одного до четырех накопителей (максимально 6 групп). В такие группы нельзя устанавливать накопители SAS или SATA. Для всех типов накопителей поддерживается горячая замена.

Накопители SATA можно подключить к интегрированному SATA-контроллеру материнской платы. Таким способом можно подключить максимально 8 накопителей (по числу портов контроллера). Поддерживаются загрузочные массивы RAID 0/1/10/5.

Для накопителей SAS и SATA имеются следующие варианты подключения:

• к RAID-контроллеру или HBA-адаптеру, которые устанавливаются в один из слотов для плат расширения (до 8, 16 или 24 накопителей в зависимости от числа внутренних портов контроллера или HBA-адаптера);
• к RAID-модулю Intel (возможен выбор из нескольких моделей), который устанавливается на специальную плату-переходник (Interposer Card), размещаемую между передней корзиной сервера и блоком вентиляторов. Этот вариант не занимает слот расширения, но позволяет подключить не более 16-ти накопителей – максимальное число портов RAID-модуля);
• к плате расширителя портов Expander Card, которая подключается восемью входными портами к RAID-контроллеру, HBA-адаптеру или RAID-модулю. Данным способом можно подключить до 24 накопителей SAS/SATA – по числу выходных портов (24) расширителя.

Накопители NVMe подключаются следующим образом:

• к 8 портам SLIMLINE x4 PCIe 4.0 материнской платы (до 8 накопителей);
• к 2 портам SLIMLINE x8 PCIe 4.0 райзер-карты Riser #1 (до 4 накопителей);
• к 2 портам SLIMLINE x8 PCIe 4.0 райзер-карты Riser #3 (до 4 накопителей);
• для подключения 24 накопителей NVMe PCIe 4.0 x4 используются две платы-расширителя NVMe портов (Midplane Card) на 12 выходных портов каждая. Такая плата имеет 4 входных порта SLIMLINE x4. Входные порты обеих плат подключаются к восьми NVMe портам SLIMLINE x4 материнcкой платы.

Во всех вышеперечисленных вариантах подключения накопителей NVMe для поддержки загрузочных массивов RAID 0/1/10/5 с технологией VROC требуется лицензионный ключ Intel.

Накопители NVMe могут также подключаться к Tri-Mode RAID-контроллерам Intel или LSI (BROADCOM), но не более 4-х накопителей к одному контроллеру.

В платформу M50CYP2UR312 можно установить до 12-ти жестких дисков 3.5" или SSD-накопителей 2.5" с интерфейсами SAS3/SATA3, в том числе до четырех накопителей NVMe PCIe 4.0/3.0 x4. Накопители NVMe устанавливаются группой от одного до четырех накопителей. В эту группу нельзя устанавливать накопители SAS или SATA. Для всех типов накопителей поддерживается горячая замена.

Накопители SATA можно подключить к интегрированному SATA-контроллеру материнской платы. Таким способом можно подключить максимально 8 накопителей (по числу портов контроллера). Поддерживаются загрузочные массивы RAID 0/1/10/5.

Накопители SAS и SATA подключаются к RAID-контроллеру или HBA-адаптеру, которые устанавливаются в один из слотов для плат расширения (до 8 или 12 накопителей в зависимости от числа внутренних портов контроллера или HBA-адаптера).

Накопители NVMe подключаются к 4 портам SLIMLINE x4 PCIe 4.0 материнской платы. Для поддержки загрузочных массивов RAID 0/1/10/5 с технологией VROC требуется лицензионный ключ Intel. Накопители NVMe могут также подключаться к Tri-Mode RAID-контроллеру Intel или LSI (BROADCOM).

Дополнительно в обеих серверных платформах M50CYP2UR208 и M50CYP2UR312 можно установить один или два загрузочных накопителя M.2 PCIe 3.0 x4 либо SATA форм-фактора 2280/22110, которые подключаются к чипсету. Для обоих типов интерфейса (PCIe 3.0 x4 и SATA) есть поддержка загрузочных массивов RAID 0/1 (для накопителей M.2 PCIe 3.0 x4 требуется лицензионный ключ VROC).

Кроме того, в обе платформы можно установить два внутренних накопителя SATA 2.5" с подключением к SATA-контроллеру материнской платы (поддержка загрузочных RAID 0/1) или RAID-контроллеру.

Подсистемы питания и охлаждения

Сервер может иметь один или два блока питания с горячей заменой мощностью 1300 Вт, 1600 Вт или 2100 Вт. В зависимости от потребляемой сервером мощности и числа установленных блоков питания подсистема питания может работать в одном из следующих режимов:

• 1 + 0 – установлен один блок питания, резервирования по питанию нет;
• 1 + 1 – установлено два блока питания, резервирование по питанию есть. Потребляемая сервером мощность не превышает мощности одного блока питания, второй блок питания пребывает в «спящем» режиме и включается только при отказе первого;
• 2 + 0 – установлено два блока питания, резервирования по питанию нет. Потребляемая сервером мощность превышает мощность одного блока питания, поэтому работают оба блока. На практике такой режим маловероятен, поскольку мощности одного блока питания обычно будет достаточно для любой конфигурации сервера.

Ниже приводятся данные максимальной потребляемой мощности для различных компонентов сервера (в сумме максимально возможная конфигурация по потребляемой мощности):

С учетом эффективности блоков питания уровня Titanium (95%) мощности одного блока 2300 Вт достаточно, чтобы обеспечить режим резервирования 1 + 1 для самой «тяжелой» гипотетической конфигурации.

Подсистема охлаждения сервера включает шесть однороторных вентиляторов с горячей заменой и один вентилятор в каждом блоке питания. Обеспечивается штатная работа сервера при отказе любого из вентиляторов системы охлаждения.

Прочие подсистемы и компоненты сервера

Платформа M50CYP2UR208 в вариантах на 8 и 16 накопителей поддерживает установку до двух графических ускорителей NVIDIA Tesla с потребляемой мощностью 250W и пассивным охлаждением. При этом используются низкопрофильные процессорные радиаторы высотой 1U, а также требуется установка воздуховода и крепления для карт GPU.

Система мониторинга включает 63 различных сенсора (датчики температуры, напряжений, скорости вращения вентиляторов). Поддерживается полнофункциональное удаленное управление (требуется лицензионный ключ).

Для установки сервера в стойку используются рельсы (два варианта) и кабельный органайзер. Предусмотрена накладка на лицевую панель для предотвращения несанкционированного доступа.