Предоставление экономичного хранилища для рабочих нагрузок Hyper-V с помощью Windows Server: руководство по проектированию и планированию
Статья
Применимо к:System Center 2012, Windows Server 2012 R2
В этом руководстве содержатся сведения по планированию и проектированию одного конкретного решения для хранения, предназначенного для вычислительных кластеров, в которых размещаются виртуальные машины, работающие под управлением Windows Server и Hyper-V в составе платформы облачных служб. В этом программно-определяемом решении легко управляемый кластер файлового сервера Windows Server используется вместе с массивами JBOD и дисковыми пространствами, что позволяет организовать высокопроизводительное и экономичное хранилище и отказаться от дорогостоящих устройств SAN в процессе реализации облачной платформы.
Список последних изменений раздела см. в подразделе История изменений этого раздела.
Предположим, что первоначально требуется развернуть около 100 клиентов (с восемью виртуальными машинами для каждого клиента) с возможностью последующего расширения решения до 500 клиентов. Более гибкие и полные рекомендации см. в руководстве по вопросам проектирования программно определяемого хранилища.
Следующие действия и аспекты проектирования помогут спланировать реализацию хранилища на базе Windows Server для рабочих нагрузок Hyper-V.
Содержание руководства
Шаг 1. Проектирование кластера файлового сервера
Шаг 2. Проектирование кластера управления
Шаг 3. Проектирование вычислительного кластера
Дальнейшие действия
Шаг 1. Проектирование кластера файлового сервера
На этом этапе выполняется проектирование кластера файлового сервера, который в данном решении используется для предоставления хранилища виртуальных машин.
1.1. Проектирование оборудования кластера файлового сервера
Ниже приводятся компоненты оборудования, рекомендуемые для кластеров файловых серверов. Обратите внимание, что все оборудование рекомендуется приобретать у поставщика, который тестирует его и обеспечивает его поддержку как интегрированного решения с дисковыми пространствами.
Компонент
Рекомендации
Корпуса хранилища
Четыре одинаковых корпуса хранилища (четыре корпуса вмещают 240 дисков)
Если в стеке из четырех массивов произойдет сбой одного массива, дисковые пространства останутся подключенными к сети (с учетом того, что в оставшихся массивах вышло из строя не слишком много дисков).
60-дисковые корпуса хранилища с SAS
Каждый корпус хранилища должен быть подключен с помощью двух подключений SAS через адаптер шины ко всем узлам кластера файловых серверов
Это позволяет повысить производительность и исключить единую точку отказа. Для выполнения этого требования теоретически каждый корпус хранилища и узел сервера должны иметь количество портов SAS, в два раза превышающее количество узлов (8 портов в корпусе и 8 портов на каждом узле).
Физический диск
48 дисков SSD со скоростью вращения 7200 об/мин для каждого корпуса хранилища (всего 192 диска в четырех корпусах)
Жесткие диски со скоростью вращения 7200 об/мин обеспечивают высокий уровень производительности, будучи при этом энергоэффективнее и дешевле жестких дисков с более высокой скоростью вращения. При использовании с достаточным количеством дисков SSD эти жесткие диски поддерживают быстродействие решения на хорошем уровне.
В случае установки дисков SSD емкостью 4 ТБ и дисков SSD емкостью 800 ГБ в четырех корпусах хранилища по 60 отсеков в каждом каждому кластеру файлового сервера будет предоставлено хранилище с исходным объемом около 804 ТБ. С учетом пространства для обеспечения устойчивости, хранилища для резервных копий и свободных дисковых пространств для исправлений это дает примерно 164 ТиБ пространства для вычислений и управления виртуальными машинами (ТиБ (тебибайт) — терабайт, вычисленный по основанию 2 вместо основания 10).
12 SSD для каждого корпуса хранилища (всего 48 SSD в четырех корпусах)
В дисковых пространствах диски SSD применяются для создания высокопроизводительного уровня хранилища с целью хранения наиболее часто используемых данных. Диски SSD также используются для постоянного кэша обратных записей, что позволяет сократить задержку при операциях произвольных записей.
В этом случае каждый диск подключается ко всем узлам отказоустойчивого кластера через расширители SAS, входящие в комплект корпусов хранилища.
Кластеры файлового сервера
Один четырехузловой кластер файлового сервера
Все корпуса хранилища подключаются ко всем четырем узлам, что позволяет поддерживать высокую производительность и даже в случае отказа двух узлов отложить на некоторое время выполнение процедур по обслуживанию.
В одном кластере файлового сервера размещается хранилище для одного вычислительного кластера.
При добавлении вычислительного кластера также необходимо добавить еще один четырехузловой кластер файлового сервера. Для каждого кластера управления можно добавить не больше четырех кластеров файлового сервера и четыре вычислительных кластера. В первом кластере файлового сервера размещается хранилище для кластера управления.
С помощью дополнительных кластеров (называемых также блоками или единицами масштабирования) можно повысить масштабируемость среды для поддержки дополнительных виртуальных машин и клиентов.
Узлы кластера
Два шестиядерных ЦП
Кластеру файлового сервера не требуются самые мощные процессоры, поскольку большая часть трафика напрямую обрабатывается сетевыми адаптерами RDMA.
64 ГБ ОЗУ
Выделять много оперативной памяти не нужно, так как кластер файлового сервера использует уровни хранилища, что устраняет необходимость использования кэша CSV (который обычно потребляет значительные ресурсы памяти в кластеризованном файловом сервере).
В массиве RAID-1 (зеркало) с помощью базового RAID-контроллера настроено два жестких диска.
Здесь на каждом узле установлен Windows Server. В качестве альтернативы можно использовать один или два диска SSD. Диски SSD дороже, но потребляют меньше энергии, сокращают время запуска, установки и восстановления. Кроме того, они повышают уровень надежности. Если у вас есть опыт переустановки Windows Server на узле в случае выхода SSD из строя, можно сэкономить средства и установить один накопитель.
Адаптеры HBA узла кластера
Два идентичных четырехпортовых адаптера HBA SAS 6 Гбит/с
Каждый адаптер HBA имеет одно подключение к каждому корпусу хранилища. Таким образом, каждый корпус хранилища поддерживает два подключения. Это позволяет достичь максимальной пропускной способности и использовать резервные пути. Однако в этом случае отсутствует встроенная функциональность RAID.
Сетевые адаптеры узла кластера
Один двухпортовый сетевой адаптер 10 Гбит Ethernet с поддержкой RDMA
Этот адаптер выступает в качестве интерфейса сети хранения между кластером файлового сервера, вычислительным кластером и кластером управления, каждый из которых хранит файлы виртуального жесткого диска на кластере файлового сервера.
Чтобы увеличить производительность, адаптеру требуется поддержка RDMA. Если между стойками кластеров файлового сервера и кластеров сервера управления необходимо использовать маршрутизаторы, следует реализовать поддержку iWARP, которая может быть актуальна при добавлении в решение дополнительных кластеров файлового сервера. Для обеспечения отказоустойчивости адаптер использует SMB 3 и SMB Direct, при этом каждый порт подключается к отдельной подсети.
Перечень сертифицированных сетевых адаптеров с поддержкой RDMA см. в каталоге Windows Server.
Один двухпортовый сетевой адаптер 10 Гбит Ethernet без поддержки RDMA
Этот адаптер служит для взаимодействия кластера управления и кластера файлового сервера. Каждый его порт подключен к отдельной подсети. Ему не требуется поддержка RDMA, поскольку он взаимодействует с виртуальными коммутаторами Hyper-V в кластерах управления и вычислительных кластерах, которые не используют RDMA.
Один сетевой адаптер Gigabit Ethernet для удаленного управления
Этот интегрированный (ILO) контроллер управления основной платой (BMC), или встроенный сетевой адаптер подключается к имеющейся сети управления.
1.2. Проектирование конфигурации программного обеспечения кластера файлового сервера
Ниже приводятся компоненты программного обеспечения, рекомендуемые для кластеров файловых серверов.
Технология
Рекомендации
Операционная система
Windows Server 2012 R2 Standard с возможностью установки основных серверных компонентов
Выпуск Windows Server 2012 R2 Standard является экономичным продуктом, а вариант установки основных серверных компонентов обеспечивает минимальное воздействие на систему безопасности, что, в свою очередь, приводит к ограничению количества программных обновлений, которые требуется устанавливать в кластере файлового сервера.
Отказоустойчивая кластеризация
Один масштабируемый файловый сервер
Этот кластерный файловый сервер позволяет размещать постоянно доступные файловые ресурсы, имеющиеся на нескольких узлах одновременно.
Технология Multipath I/O (MPIO)
Включение режима Multipath I/O (MPIO) на каждом узле
Позволяет объединить несколько путей к физическим дискам в корпусах хранилища, обеспечивая устойчивость и балансировку нагрузки на эти пути.
Пулы носителей
Три кластерных пула носителей для каждого кластера файлового сервера
Это позволяет сократить время, необходимое для перевода пула носителей на другой узел в случае отказа.
5 SSD и 16 дисков SSD в каждом из четырех корпусов хранилища в пуле рабочей нагрузки, всего 84 диска на пул для основных рабочих нагрузок.
Этого количества дисков SSD достаточно для создания соответствующих дисковых пространств с распределенными по корпусам хранилища данными, чтобы в случае сбоя корпуса хранилища не входили в режим простоя (при отсутствии большого количества неисправных дисков в оставшихся корпусах хранилища).
2 SSD и 16 дисков SSD в каждом из четырех корпусов хранилища для пула архивации, всего 72 диска в пуле.
SSD в пуле архивации используются как диски журналов для повышения производительности записи виртуальных дисков, которые используют тип устойчивости с двойной четностью.
Отсутствие дисков с горячей заменой
Вместо этого всегда следует сохранять по крайней мере 21,9 ТиБ свободного места на жестких дисках в каждом пуле хранения и по 1,5 ТиБ свободного места на SSD в каждом из пулов рабочей нагрузки. Это позволит автоматически восстанавливать дисковые пространства с одним неисправным SSD и тремя неисправными жесткими дисками с помощью копирования данных на несколько дисков в пуле, существенно сокращая время, необходимое для восстановления поврежденного диска по сравнению с использованием дисков горячей замены.
Таким образом, в системе с жесткими дисками емкостью 4 ТБ и дисками SSD емкостью 800 ГБ требуется выделить 23,4 ТБ свободного пространства для каждого пула рабочей нагрузки.
Восемь дисковых пространств для каждого пула носителей для рабочей нагрузки
Позволяют распределять нагрузку на каждый узел в кластере (два пула носителей для каждого узла и каждого пула).
Использование трехсторонних зеркальных пространств для данных рабочей нагрузки
Зеркальные пространства обеспечивают максимальные уровни производительности и надежности данных для размещения виртуальных машин.. Трехсторонние зеркальные пространства гарантируют наличие как минимум трех копий данных, что позволяет сохранить данные в случае сбоя двух дисков. Для размещения виртуальных машин не рекомендуется использовать принцип пространственной четности.
Используйте следующие параметры для создания трехсторонних зеркальных пространств с несколькими уровнями хранилища, заданным по умолчанию размером кэша обратной записи и с учетом массивов. Рекомендуется выбрать для этой конфигурации четыре столбца для сочетания высокой пропускной способности и низкой задержки.
SSD: .54 TiB; жесткий диск: 8.79 TiB (при SSD емкостью 800 ГБ и жестких дисках емкостью 4 ТБ)
IsEnclosureAware
$true
Все дисковые пространства используют фиксированную подготовку.
Фиксированная подготовка позволяет использовать преимущества уровней хранилища и отказоустойчивой кластеризации, которые недоступны в случае применения тонкой подготовки.
Создание одного дополнительного двустороннего зеркального пространства емкостью 4 ГБ без уровней хранилища
Это дисковое пространство используется в качестве диска-свидетеля для кластера файлового сервера, а также в качестве файлового ресурса-свидетеля для кластера управления и вычислительного кластера. При этом поддерживается целостность (кворум) кластера файлового сервера в случае сбоя двух узлов или возникновения сетевых проблем между узлами.
Для пула архивации используйте следующие параметры (для создания 16 виртуальных дисков с устойчивостью на основе двойной четности и 7 столбцами).
Параметр
«Значение»
ResiliencySettingName
Parity
NumberOfDataCopies
3
Size
7.53 TiB
NumberOfColumns
7
IsEnclosureAware
$true
Разделы
Один раздел GPT для каждого дискового пространства
Позволяет поддерживать простоту решения.
Тома
Один том, отформатированный в файловой системе NTFS, для каждого раздела или дискового пространства
Файловую систему ReFS использовать для данного решения в данном выпуске Windows Server не рекомендуется.
Включение дедупликации данных на виртуальных дисках, используемых для хранения резервных копий.
CSV
Один том CSV для каждого тома (с одним томом и разделом для каждого дискового пространства)
Это позволяет распределить нагрузку на все узлы в кластере файлового сервера. Нельзя создавать том CSV в дисковом пространстве емкостью 4 ГБ, используемом для поддержки кворума кластера.
Шифрование диска BitLocker
Перед активным использованием шифрования диска BitLocker следует проверить производительность данной функции.
С помощью шифрования диска BitLocker можно шифровать все данные на томах CSV в хранилище, повышая уровень физической безопасности. Однако эта процедура может оказать сильное влияние на производительность решения.
Постоянно доступная общая папка
Один постоянно доступный общий файловый ресурс SMB для каждого тома CSV, тома, раздела, дискового пространства
Это способствует упрощению управления (один общий ресурс для каждого базового дискового пространства) и распределению нагрузки на все узлы в кластере файлового сервера.
Проверка производительности доступа к зашифрованным данным (шифрование SMB 3) на общих файловых ресурсах перед широкомасштабным применением этой возможности
Шифрование SMB 3 можно применять для защиты данных на общих файловых ресурсах, которым требуется защита от нарушений физической безопасности, когда злоумышленник имеет доступ к сети ЦОД. Однако в этом случае будет недоступна большая часть преимуществ использования сетевых адаптеров RDMA.
Обновления
Использование служб Windows Server Update Services вместе с Диспетчер виртуальных машин
Создайте три или четыре группы компьютеров в службах Windows Server Update Services (WSUS) для узлов файлового сервера, добавляя один или два в каждую группу. Это позволяет сначала обновить один сервер и отслеживать его функциональность, а затем по одному обновлять остальные серверы, чтобы сохранить распределение нагрузки на остальные серверы.
Использование кластерного обновления для обновлений UEFI и встроенного ПО
Используйте кластерное обновления для обновления любых компонентов, которые не распространяются с помощью служб WSUS. Возможно, в их число входит BIOS (UEFI) для узлов кластера, а также встроенное ПО для сетевых адаптеров, адаптеры HBA SAS, диски и корпуса хранилища.
Data Protection Manager
С помощью Data Protection Manager (DPM) можно создавать устойчивые к сбоям резервные копии кластера файлового сервера. Кроме того, репликация DPM и Hyper-V является отличным средством для аварийного восстановления виртуальных машин в вычислительном кластере.
Шаг 2. Проектирование кластера управления
На этом этапе происходит проектирование кластера управления, на котором выполняются все службы управления и службы инфраструктуры для кластера файлового сервера и вычислительного кластера.
Примечание
В этом решении предполагается, что необходимо использовать набор продуктов System Center, в состав которого входят мощные средства для оптимизации процессов настройки, отслеживания решения и управления им. Однако существует альтернативный вариант выполнения всех задач с помощью Windows PowerShell и диспетчера серверов (возможно, в связи с масштабом данного решения Windows PowerShell будет более подходящим выбором). Если вы отказываетесь использовать System Center, скорее всего, вам не требуется такой мощный кластер управления, как описанный здесь, и вы можете работать с имеющимися серверами или кластерами.
2.1. Проектирование оборудования кластера управления
Ниже приводятся компоненты оборудования, рекомендуемые для кластера, на котором выполняются все службы управления и службы инфраструктуры для кластера файлового сервера и вычислительного кластера.
Компонент
Рекомендации
Кластер управления
Один четырехузловой отказоустойчивый кластер
При использовании четырех узлов допускается возможность сбоя одного узла в кластере управления. Чтобы обеспечить отказоустойчивость при выходе из строя двух узлов, следует использовать шесть узлов. Один кластер управления с Virtual Machine Manager может поддерживать до 8192 виртуальных машин.
Узлы кластера
Два восьмиядерных ЦП
Виртуальные машины на этом кластере выполняют значительный объем операций обработки, поэтому им требуется больше ресурсов ЦП, чем кластеру файлового сервера.
128 ГБ ОЗУ
Для работы виртуальных машин управления необходимо больше оперативной памяти, чем для кластера файлового сервера.
В массиве RAID-1 (зеркало) с помощью базового RAID-контроллера настроено два жестких диска.
Здесь на каждом узле установлен Windows Server. В качестве альтернативы можно использовать один или два диска SSD. Диски SSD дороже, но потребляют меньше энергии, сокращают время запуска, установки и восстановления. Кроме того, они повышают уровень надежности. Если у вас есть опыт переустановки Windows Server на узле в случае выхода SSD из строя, можно сэкономить средства и установить один накопитель.
Сетевые адаптеры
Один двухпортовый сетевой адаптер 10 Гбит Ethernet с поддержкой RDMA
Этот адаптер взаимодействует между кластером управления и кластером файлового сервера для доступа к файлам VHDX, используемым виртуальными машинами управления. Чтобы увеличить производительность, адаптеру требуется поддержка RDMA. Если между стойками кластеров файлового сервера и кластеров сервера управления необходимо использовать маршрутизаторы, следует реализовать поддержку iWARP, которая может быть актуальна при добавлении в решение дополнительных кластеров файлового сервера. Для обеспечения отказоустойчивости адаптер использует SMB 3 и SMB Direct, при этом каждый порт подключается к отдельной подсети.
Перечень сертифицированных сетевых адаптеров с поддержкой RDMA см. в каталоге Windows Server.
Один двухпортовый сетевой адаптер 10 Гбит Ethernet без поддержки RDMA
Этот адаптер обрабатывает трафик управления между всеми кластерами. Адаптеру требуется поддержка технологии Virtual Machine Queue (VMQ), Dynamic VMQ, маркировки 802.1Q VLAN и разгрузки GRE (NVGRE). Чтобы обеспечить отказоустойчивость двух портов, каждый из которых подключен к отдельной подсети, адаптер использует технологию объединения NIC Teaming.
Адаптер не может работать с RDMA, поскольку RDMA требует прямого доступа к сетевому адаптеру, а данный адаптер должен взаимодействовать с виртуальными коммутаторами Hyper-V (которые скрывают прямой доступ к сетевому адаптеру). Для обеспечения отказоустойчивости адаптер вместо SMB Direct использует технологию объединения NIC Teaming, чтобы протоколы, отличные от SMB, могли поддерживать резервные сетевые подключения. Воспользуйтесь правилами качества обслуживания (QoS) и установите приоритетность трафика в рамках этого подключения.
Перечень сертифицированных сетевых адаптеров с поддержкой NVGRE см. в каталоге Windows Server.
Один сетевой адаптер Gigabit Ethernet для удаленного управления
Этот интегрированный (ILO) контроллер управления основной платой (BMC), или встроенный сетевой адаптер подключается к имеющейся сети управления.
2.2. Проектирование конфигурации программного обеспечения кластера управления
В следующем списке приводится общее описание программных компонентов, рекомендуемых для кластера управления.
Windows Server 2012 R2 Datacenter
Отказоустойчивая кластеризация
Обновление с поддержкой кластера
Hyper-V
В следующем списке приводится общее описание служб, которые необходимо запустить на виртуальных машинах в кластере управления.
Доменные службы Active Directory (AD DS), DNS-сервер и DHCP-сервер
Службы Windows Server Update Services
Службы развертывания Windows
Microsoft SQL Server
System Center Virtual Machine Manager
Сервер библиотеки System Center Virtual Machine
System Center Operations Manager
System Center Data Protection Manager
Консоль управления (Windows Server с вариантом установки графического интерфейса пользователя)
В зависимости от используемых служб, таких как Windows Azure Pack и System Center Configuration Manager, требуются дополнительные виртуальные машины.
Примечание
На всех узлах создайте идентичные виртуальные коммутаторы, чтобы в случае сбоя каждая виртуальная машина могла перейти на любой узел, сохранив при этом подключение к сети.
Шаг 3. Проектирование вычислительного кластера
На этом этапе происходит проектирование вычислительного кластера, виртуальные машины в котором предоставляют службы клиентам.
2.1. Проектирование оборудования вычислительного кластера
Ниже приводятся компоненты оборудования, рекомендуемые для вычислительных кластеров. В этих кластерах размещаются клиентские виртуальные машины.
Компонент
Рекомендации
Вычислительный кластер Hyper-V
Каждый вычислительный кластер содержит 32 узла и до 2048 виртуальных машин Hyper-V. Если требуется увеличить объем ресурсов, можно добавить до трех дополнительных вычислительных кластеров и связанные кластеры файлового сервера — всего 128 узлов, где размещено 8192 виртуальные машины для 512 клиентов (из расчета 8 ВМ для каждого клиента).
Двух восьмиядерных процессоров достаточно для обработки общего набора рабочих нагрузок, но если на клиентских виртуальных машинах планируется выполнять большое количество рабочих нагрузок, связанных со сложными ресурсоемкими вычислениями, следует выбрать высокопроизводительные ЦП.
128 ГБ ОЗУ
Для поддержки работы значительного числа виртуальных машин (возможно, 64 ВМ для каждого узла, при условии, что запущены все машины) необходим больший объем ОЗУ по сравнению с требованиями кластера файлового сервера. Если для каждой виртуальной машины нужно выделить в среднем 2 ГБ, рекомендуется увеличить объем ОЗУ.
В массиве RAID-1 (зеркало) с помощью базового RAID-контроллера настроено два жестких диска.
Здесь на каждом узле установлен Windows Server. В качестве альтернативы можно использовать один или два диска SSD. Диски SSD дороже, но потребляют меньше энергии, сокращают время запуска, установки и восстановления. Кроме того, они повышают уровень надежности. Если у вас есть опыт переустановки Windows Server на узле в случае выхода SSD из строя, можно сэкономить средства и установить один накопитель.
Сетевые адаптеры
Один двухпортовый сетевой адаптер 10 Гбит Ethernet с поддержкой RDMA
Этот адаптер взаимодействует с кластером файлового сервера для доступа к файлам VHDX, используемым виртуальными машинами. Чтобы увеличить производительность, адаптеру требуется поддержка RDMA. Если между стойками кластеров файлового сервера и кластеров сервера управления необходимо использовать маршрутизаторы, следует реализовать поддержку iWARP, которая может быть актуальна при добавлении в решение дополнительных кластеров файлового сервера. Для обеспечения отказоустойчивости адаптер использует SMB 3 и SMB Direct, при этом каждый порт подключается к отдельной подсети.
Перечень сертифицированных сетевых адаптеров с поддержкой RDMA см. в каталоге Windows Server.
Один двухпортовый сетевой адаптер 10 Гбит Ethernet без поддержки RDMA
Этот адаптер обрабатывает трафик управления и трафик клиента. Адаптеру требуется поддержка технологии Virtual Machine Queue (VMQ), Dynamic VMQ, маркировки 802.1Q VLAN и разгрузки GRE (NVGRE). Чтобы обеспечить отказоустойчивость двух портов, каждый из которых подключен к отдельной подсети, адаптер использует технологию объединения NIC Teaming.
Адаптер не может работать с RDMA, поскольку RDMA требует прямого доступа к сетевому адаптеру, а данный адаптер должен взаимодействовать с виртуальными коммутаторами Hyper-V (которые скрывают прямой доступ к сетевому адаптеру). Для обеспечения отказоустойчивости адаптер вместо SMB Direct использует технологию объединения NIC Teaming, чтобы протоколы, отличные от SMB, могли поддерживать резервные сетевые подключения. Воспользуйтесь правилами качества обслуживания (QoS) и установите приоритетность трафика в рамках этого подключения.
Перечень сертифицированных сетевых адаптеров с поддержкой NVGRE см. в каталоге Windows Server.
Один сетевой адаптер Gigabit Ethernet для удаленного управления
Этот интегрированный (ILO) контроллер управления основной платой (BMC) или встроенный сетевой адаптер подключается к сети управления и позволяет использовать System Center Virtual Machine Manager для настройки узла кластера на базе оборудования без ОС. Интерфейс должен поддерживать Intelligent Platform Management Interface (IPMI) или Systems Management Architecture for Server Hardware (SMASH).
2.2. Проектирование конфигурации программного обеспечения вычислительного кластера
В следующем списке приводится общее описание программных компонентов, рекомендуемых для вычислительного кластера.
Обновлены рекомендации по выделению свободного пространства в каждом пуле для перестроения дисковых пространств, обновлены размеры виртуальных дисков и другие данные.
2 апреля 2014 г.
Удаленны запутанные ссылки каталога Windows на диски SAS и шины SAS.