Требования к сети узла для Azure Stack HCI

Статья
07/12/2022
Чтение занимает 12 мин

Область применения: Azure Stack HCI, версии 21H2 и 20H2

В этом разделе рассматриваются вопросы и требования к сети узла для Azure Stack HCI. Сведения об архитектуре центров обработки данных и физических подключениях между серверами см. в разделе "Требования к физической сети".

Сведения об упрощении сети узлов с помощью Сетевого ATC см. в статье "Упрощение сети узлов с помощью ATC".

Типы сетевого трафика

Сетевой трафик Azure Stack HCI можно классифицировать по целевой цели:

Вычислительный трафик: Трафик, исходящий из виртуальной машины или предназначенный для виртуальной машины.
Трафик хранилища: Трафик, использующий блок сообщений сервера (SMB), например Локальные дисковые пространства или динамическую миграцию на основе SMB.
Трафик управления: Трафик, используемый администратором для управления кластером, включая удаленный рабочий стол, Windows Admin Center, Active Directory и т. д.

Выбор сетевого адаптера

Azure Stack HCI требует выбора сетевого адаптера, который достиг сертификации Windows Server Software-Defined Data Center (SDDC) с дополнительной квалификацией (AQ) уровня "Стандартный" или "Премиум". Эти адаптеры поддерживают самые передовые функции платформы и прошли наибольшее тестирование нашими партнерами по оборудованию. Как правило, такой уровень контроля приводит к сокращению проблем качества оборудования и драйверов. Эти адаптеры также соответствуют требованиям к сети, установленным для Локальные дисковые пространства.

Вы можете определить адаптер с AQ уровня "Стандартный" или "Премиум", просмотрив запись каталога Windows Server для адаптера и соответствующую версию операционной системы. Ниже приведен пример нотации для AQ уровня "Премиум":

Общие сведения о возможностях ключевых сетевых адаптеров

Важные возможности сетевого адаптера, используемые Azure Stack HCI, включают:

Динамическая виртуальная машина с несколькими очередами (динамический VMMQ или d.VMMQ)
Удаленный доступ к памяти (RDMA)
Гостевая RDMA
Switch Embedded Teaming (SET)

Динамический VMMQ

Все сетевые адаптеры с AQ уровня "Премиум" поддерживают Dynamic VMMQ. Для динамического VMMQ требуется использование внедренного командирования коммутаторов.

Применимые типы трафика: вычисления

Необходимые сертификаты: Премиум

Dynamic VMMQ — это интеллектуальная технология на стороне приема. Он основан на предшественниках очереди виртуальных машин (VMQ), масштабирования виртуальной стороны приема (vRSS) и VMMQ, чтобы обеспечить три основных улучшения:

Оптимизирует эффективность узла с помощью меньшего количества ядер ЦП.
Автоматическая настройка обработки сетевого трафика в ядра ЦП, что позволяет виртуальным машинам соответствовать ожидаемой пропускной способности и поддерживать их.
Позволяет "пиковые" рабочие нагрузки получать ожидаемый объем трафика.

Дополнительные сведения о Dynamic VMMQ см. в записи блога о искусственных ускорениях.

RDMA

RDMA — это разгрузка сетевого стека на сетевой адаптер. Это позволяет трафику хранилища SMB обходить операционную систему для обработки.

RDMA обеспечивает сеть с высокой пропускной способностью и низкой задержкой, используя минимальные ресурсы ЦП узла. Затем эти ресурсы ЦП узла можно использовать для запуска дополнительных виртуальных машин или контейнеров.

Применимые типы трафика: хранилище узлов

Необходимые сертификаты: Стандартный

Все адаптеры с AQ уровня "Стандартный" или "Премиум" поддерживают RDMA. RDMA — это рекомендуемый вариант развертывания для рабочих нагрузок хранилища в Azure Stack HCI и может быть включен для рабочих нагрузок хранилища (с помощью SMB) для виртуальных машин. Дополнительные сведения см. в разделе "Гостевая RDMA" далее в этой статье.

Azure Stack HCI поддерживает протокол RDMA с помощью протоколов RDMA для интернета (iWARP) или RDMA через конвергентные протоколы Ethernet (RoCE).

Важно!

Адаптеры RDMA работают только с другими адаптерами RDMA, реализующими тот же протокол RDMA (iWARP или RoCE).

Не все сетевые адаптеры от поставщиков поддерживают RDMA. В следующей таблице перечислены поставщики (в алфавитном порядке), которые предлагают сертифицированные адаптеры RDMA уровня "Премиум". Однако в этот список не включены поставщики оборудования, которые также поддерживают RDMA. Сведения о поддержке RDMA см. в каталоге Windows Server .

Примечание

InfiniBand (IB) не поддерживается в Azure Stack HCI.

Поставщик сетевых карт	iWARP;	RoCE.
Broadcom	Нет	Да
Челсио	Да	Нет
Intel	Да	Да (некоторые модели)
Marvell (Qlogic/Cavium)	Да	Да
Nvidia (Mellanox)	Нет	Да

Дополнительные сведения о развертывании RDMA можно скачать из репозитория SDN GitHub.

iWARP;

iWARP использует протокол TCP и может быть дополнительно улучшен с помощью управления потоками на основе приоритета (PFC) и расширенной службы передачи (ETS).

Используйте iWARP, если:

У вас мало или нет сетевого интерфейса или неудобно управлять сетевыми коммутаторами.
Вы не управляете коммутаторами верхнего уровня (ToR).
После развертывания вы не будете управлять решением.
У вас уже есть развертывания, использующие iWARP.
Вы не знаете, какой вариант выбрать.

RoCE.

RoCE использует протокол пользовательской датаграммы (UDP) и требует PFC и ETS для обеспечения надежности.

Используйте RoCE, если:

У вас уже есть развертывания с roCE в центре обработки данных.
Вы комфортно управляете требованиями к сети DCB.

Гостевая RDMA

Гостевая RDMA позволяет рабочим нагрузкам SMB для виртуальных машин получить те же преимущества использования RDMA на узлах.

Применимые типы трафика: Гостевое хранилище

Необходимые сертификаты: Премиум

Основными преимуществами использования гостевой RDMA являются:

Разгрузка ЦП в сетевую карту для обработки сетевого трафика.
Очень низкая задержка.
Высокая пропускная способность.

Дополнительные сведения см. в репозитории SDN GitHub.

SET

SET — это программное обеспечение, использующее технологию группирования, которая включена в операционную систему Windows Server с Windows Server 2016. SET не зависит от типа используемых сетевых адаптеров.

Применимые типы трафика: вычисления, хранилище и управление

Необходимые сертификаты: нет (SET встроен в операционную систему)

SET — единственная технология объединения, поддерживаемая в Azure Stack HCI. SET хорошо работает с трафиком вычислений, хранилища и управления.

Важно!

Azure Stack HCI не поддерживает объединение сетевых карт с более старыми технологиями балансировки нагрузки и отработки отказа (LBFO) и объединением сетевых адаптеров (LACP), которые часто используются с Windows Server. Дополнительные сведения о LBFO в Azure Stack HCI см. в записи блога azure Stack HCI.

Set важен для Azure Stack HCI, так как это единственная технология группирования, которая обеспечивает следующие возможности:

Объединение адаптеров RDMA (при необходимости).
Гостевая RDMA.
Динамический VMMQ.
Другие ключевые функции Azure Stack HCI (см. статью "Объединение в Azure Stack HCI").

Обратите внимание, что SET требует использования симметричного (идентичного) адаптера. Группирование асимметричных адаптеров не поддерживается. Симметричные сетевые адаптеры — это те, которые имеют одинаковые:

make (поставщик)
модель (версия)
скорость (пропускная способность)
настройка

Самый простой способ определить, являются ли адаптеры симметричными, если скорость одинакова, а описания интерфейса совпадают. Они могут отклоняться только в числовых значениях, перечисленных в описании. Используйте командлет, чтобы убедиться, Get-NetAdapterAdvancedProperty что в отчете о конфигурации перечислены те же значения свойств.

В следующей таблице приведен пример описаний интерфейса, которые отклоняются только по числовым значениям (#):

Имя	Описание интерфейса	Скорость связи
NIC1	Сетевой адаптер No 1	25 Гбит/с
NIC2	Сетевой адаптер No 2	25 Гбит/с
NIC3	Сетевой адаптер No 3	25 Гбит/с
NIC4	Сетевой адаптер No 4	25 Гбит/с

Примечание

SET поддерживает только независимую от коммутатора конфигурацию с помощью алгоритмов динамической или балансировки нагрузки портов Hyper-V. Для лучшей производительности рекомендуется использовать порт Hyper-V во всех сетевых адаптерах, которые работают со скоростью 10 Гбит/с или выше.

Модели трафика хранилища

SMB предоставляет множество преимуществ в качестве протокола хранения для Azure Stack HCI, включая SMB Multichannel. SMB Multichannel не рассматривается в этой статье, но важно понимать, что трафик мультиплексируется по любой возможной ссылке, которую может использовать SMB Multichannel.

Примечание

Рекомендуется использовать несколько подсетей и виртуальных локальных сетей для разделения трафика хранилища в Azure Stack HCI.

Рассмотрим следующий пример кластера четырех узлов. Каждый сервер имеет два порта хранилища (слева и справа). Так как каждый адаптер находится в одной подсети и виртуальной локальной сети, SMB Multichannel будет распределять подключения по всем доступным ссылкам. Поэтому левый порт на первом сервере (192.168.1.1) выполнит подключение к левому порту на втором сервере (192.168.1.2). Правый порт на первом сервере (192.168.1.12) будет подключаться к правому порту на втором сервере. Аналогичные подключения устанавливаются для третьего и четвертого серверов.

Однако это создает ненужные подключения и приводит к перегрузке связи (группа агрегирования связи с несколькими корпусами или MC-LAG), которая подключает коммутаторы ToR (помеченные Xs). Рассмотрим схему ниже.

Рекомендуется использовать отдельные подсети и виртуальные локальные сети для каждого набора адаптеров. На следующей схеме правые порты теперь используют подсеть 192.168.2.x /24 и VLAN2. Это позволяет трафику на левых портах оставаться в TOR1, а трафик на правых портах остается на TOR2.

Распределение пропускной способности трафика

В следующей таблице показаны примеры распределения пропускной способности различных типов трафика с использованием общих скоростей адаптера в Azure Stack HCI. Обратите внимание, что это пример конвергентного решения, где все типы трафика (вычисления, хранилище и управление) выполняются через одни и те же физические адаптеры и объединяются с помощью SET.

Так как этот вариант использования представляет собой большинство ограничений, он представляет хороший базовый план. Тем не менее, учитывая перестановки для количества адаптеров и скоростей, это следует рассматривать как пример, а не требование поддержки.

Для этого примера выполняются следующие предположения:

Для каждой команды существует два адаптера.
Уровень шины хранилища (SBL), общий том кластера (CSV) и трафик Hyper-V (динамическая миграция):
- Используйте те же физические адаптеры.
- Используйте SMB.
SMB получает 50 процентов распределения пропускной способности с помощью DCB.
- SBL/CSV — это трафик с наивысшим приоритетом и получает 70 процентов резервирования пропускной способности SMB.
- Динамическая миграция (LM) ограничена с помощью командлета Set-SMBBandwidthLimit и получает 29 процентов оставшейся пропускной способности.
  - Если доступная пропускная способность для динамической миграции составляет >5 Гбит/с, а сетевые адаптеры способны, используйте RDMA. Для этого используйте следующий командлет:
```
Set-VMHost VirtualMachineMigrationPerformanceOption SMB
```
  - Если доступная пропускная способность для динамической миграции составляет < 5 Гбит/с, используйте сжатие для уменьшения времени отключения. Для этого используйте следующий командлет:
```
Set-VMHost -VirtualMachineMigrationPerformanceOption Compression
```
Если вы используете RDMA для трафика динамической миграции, убедитесь, что трафик динамической миграции не может использовать всю пропускную способность, выделенную классу трафика RDMA, с помощью ограничения пропускной способности SMB. Будьте осторожны, так как этот командлет принимает запись в байтах в секунду (Bps), в то время как сетевые адаптеры перечислены в битах в секунду (bps). Используйте следующий командлет, чтобы задать ограничение пропускной способности 6 Гбит/с, например:
```
Set-SMBBandwidthLimit -Category LiveMigration -BytesPerSecond 750MB
```
Примечание

750 Мбит/с в этом примере приравнивается к 6 Гбит/с.

Ниже приведен пример таблицы распределения пропускной способности.

Скорость сетевого адаптера	Объединяемая пропускная способность	Резервирование пропускной способности SMB**	SBL/CSV %	Пропускная способность SBL/CSV	Динамическая миграция %	Максимальная пропускная способность динамической миграции	Пульс %	Пропускная способность пульса
10 Гбит/с	20 Гбит/с	10 Гбит/с	70 %	7 Гбит/с	**	200 Мбит/с
25 Гбит/с	50 Гбит/с	25 Гбит/с	70 %	17,5 Гбит/с	29 %	7,25 Гбит/с	1 %	250 Мбит/с
40 Гбит/с	80 Гбит/с	40 Гбит/с	70 %	28 Гбит/с	29 %	11,6 Гбит/с	1 %	400 Мбит/с
50 Гбит/с	100 Гбит/с	50 Гбит/с	70 %	35 Гбит/с	29 %	14,5 Гбит/с	1 %	500 Мбит/с
100 Гбит/с	200 Гбит/с	100 Гбит/с	70 %	70 Гбит/с	29 %	29 Гбит/с	1 %	1 Гбит/с
200 Гбит/с	400 Гбит/с	200 Гбит/с	70 %	140 Гбит/с	29 %	58 Гбит/с	1 %	2 Гбит/с

* Используйте сжатие, а не RDMA, так как распределение пропускной способности для трафика динамической миграции составляет <5 Гбит/с.

** 50 процентов — это пример резервирования пропускной способности.

Растянутые кластеры

Растянутые кластеры обеспечивают аварийное восстановление, охватывающее несколько центров обработки данных. В самой простой форме растянутая сеть кластера Azure Stack HCI выглядит следующим образом:

Требования к растянутой кластерной области

Растянутые кластеры имеют следующие требования и характеристики:

RDMA ограничен одним сайтом и не поддерживается в разных сайтах или подсетях.
Серверы на одном сайте должны находиться в одной стойке и на границе уровня 2.
Обмен данными между узлами должен пересекать границу уровня 3; Растянутые топологии уровня 2 не поддерживаются.
Достаточно пропускной способности для выполнения рабочих нагрузок на другом сайте. В случае отработки отказа альтернативный сайт должен будет выполнять весь трафик. Рекомендуется подготавливать сайты на уровне 50 процентов их доступной сетевой емкости. Однако это не является обязательным требованием, если вы можете терпеть более низкую производительность во время отработки отказа.
Репликация между сайтами (трафик на север или юг) может использовать те же физические сетевые карты, что и локальное хранилище (трафик на восток и запад). Если вы используете одни и те же физические адаптеры, эти адаптеры должны быть объединированы с SET. Адаптеры также должны иметь дополнительные виртуальные сетевые карты, подготовленные для маршрутизации трафика между сайтами.
Адаптеры, используемые для обмена данными между сайтами:
- Может быть физическим или виртуальным (виртуальный сетевой адаптер узла). Если адаптеры являются виртуальными, необходимо подготовить одну виртуальную сетевую карту в собственной подсети и виртуальной локальной сети на физический сетевой адаптер.
- Должен находиться в собственной подсети и виртуальной локальной сети, которые могут маршрутизировать между сайтами.
- RDMA необходимо отключить с помощью командлета Disable-NetAdapterRDMA . Мы рекомендуем явно требовать, чтобы реплика хранилища использовала определенные интерфейсы с помощью командлета Set-SRNetworkConstraint .
- Должны соответствовать любым дополнительным требованиям для реплики хранилища.

Пример растянутого кластера

В следующем примере показана конфигурация растянутого кластера. Чтобы убедиться, что определенный виртуальный сетевой адаптер сопоставлен с определенным физическим адаптером, используйте командлет Set-VMNetworkAdapterTeammapping .

Ниже приведены сведения о конфигурации растянутого кластера.

Примечание

Точную конфигурацию, включая имена сетевых карт, IP-адреса и виртуальные локальные сети, может отличаться от показанного. Это используется только в качестве эталонной конфигурации, которая может быть адаптирована к вашей среде.

SiteA — локальная репликация, включенная RDMA, не маршрутизируемая между сайтами

имя узла	Имя виртуальной сетевой карты	Физическая сетевая карта (сопоставленная)	Виртуальная локальная сеть	IP-адрес и подсеть	Область трафика
NodeA1	vSMB01	pNIC01	711	192.168.1.1/24	Только локальный сайт
NodeA2	vSMB01	pNIC01	711	192.168.1.2/24	Только локальный сайт
NodeA1	vSMB02	pNIC02	712	192.168.2.1/24	Только локальный сайт
NodeA2	vSMB02	pNIC02	712	192.168.2.2/24	Только локальный сайт

SiteB — локальная репликация, включенная RDMA, не маршрутизируемая между сайтами

имя узла	Имя виртуальной сетевой карты	Физическая сетевая карта (сопоставленная)	Виртуальная локальная сеть	IP-адрес и подсеть	Область трафика
NodeB1	vSMB01	pNIC01	711	192.168.1.1/24	Только локальный сайт
NodeB2	vSMB01	pNIC01	711	192.168.1.2/24	Только локальный сайт
NodeB1	vSMB02	pNIC02	712	192.168.2.1/24	Только локальный сайт
NodeB2	vSMB02	pNIC02	712	192.168.2.2/24	Только локальный сайт

SiteA — растянутая репликация, отключенная RDMA, маршрутизируемая между сайтами

имя узла	Имя виртуальной сетевой карты	Физическая сетевая карта (сопоставленная)	IP-адрес и подсеть	Область трафика
NodeA1	Stretch1	pNIC01	173.0.0.1/8	Перекрестная маршрутизируемая сеть
NodeA2	Stretch1	pNIC01	173.0.0.2/8	Перекрестная маршрутизируемая сеть
NodeA1	Stretch2	pNIC02	174.0.0.1/8	Перекрестная маршрутизируемая сеть
NodeA2	Stretch2	pNIC02	174.0.0.2/8	Перекрестная маршрутизируемая сеть

SiteB — растянутая репликация, отключенная RDMA, маршрутизируемая между сайтами

имя узла	Имя виртуальной сетевой карты	Физическая сетевая карта (сопоставленная)	IP-адрес и подсеть	Область трафика
NodeB1	Stretch1	pNIC01	175.0.0.1/8	Перекрестная маршрутизируемая сеть
NodeB2	Stretch1	pNIC01	175.0.0.2/8	Перекрестная маршрутизируемая сеть
NodeB1	Stretch2	pNIC02	176.0.0.1/8	Перекрестная маршрутизируемая сеть
NodeB2	Stretch2	pNIC02	176.0.0.2/8	Перекрестная маршрутизируемая сеть

Дальнейшие действия

Узнайте о требованиях к сетевому коммутатору и физической сети. См. требования к физической сети.
Узнайте, как упростить сеть узлов с помощью Сетевого ATC. См. статью "Упрощение сети узлов с помощью ATC сети".
Примыкайте к основам сети отказоустойчивой кластеризации.
Сведения о развертывании см. в статье "Создание кластера с помощью Windows Admin Center".
Сведения о развертывании см. в статье "Создание кластера с помощью Windows PowerShell".

Требования к сети узла для Azure Stack HCI

Типы сетевого трафика

Выбор сетевого адаптера

Общие сведения о возможностях ключевых сетевых адаптеров

Динамический VMMQ

RDMA

iWARP;

RoCE.

Гостевая RDMA

SET

Рекомендации по трафику RDMA

Класс трафика кластера

Класс трафика RDMA

Класс трафика по умолчанию

Модели трафика хранилища

Распределение пропускной способности трафика

Растянутые кластеры

Требования к растянутой кластерной области

Пример растянутого кластера

SiteA — локальная репликация, включенная RDMA, не маршрутизируемая между сайтами

SiteB — локальная репликация, включенная RDMA, не маршрутизируемая между сайтами

SiteA — растянутая репликация, отключенная RDMA, маршрутизируемая между сайтами

SiteB — растянутая репликация, отключенная RDMA, маршрутизируемая между сайтами

Дальнейшие действия