Предоставление экономичного хранилища для рабочих нагрузок Hyper-V с помощью Windows Server

 

Применимо к:System Center 2012 R2, Windows Server 2012 R2

Для кого предназначено это руководство? Для поставщиков услуг (поставщиков услуг размещения), предлагающих инфраструктуру как услугу (IaaS), и крупных организаций, настраивающих частные облака.

Чем может помочь это руководство? Данное руководство по решению можно использовать для получения общих сведений о высокоуровневой структуре и реализации для одного конкретного решения хранилища на основе файлового сервера для вычислительных кластеров Hyper-V. Возможны и другие решения, но они здесь не описаны.

Решение использует дисковые пространства с уровнями хранилища, кластер горизонтально масштабируемых файловых серверов и легко управляемые файловые ресурсы SMB для создания программно-настраиваемого решения хранилища, которое повышает производительность хранилища до максимума, сокращает затраты и масштабирует вычислительные ресурсы и хранилище независимо друг от друга.

Знали ли вы, что Microsoft Azure предоставляет аналогичные функциональные возможности в облаке? Дополнительные сведения о решениях хранилища и виртуализации Microsoft Azure. Создание гибридного решения в Microsoft Azure: - Сведения об экономичном хранилище для виртуальных машин Azure на базе твердотельных накопителей с высокой скоростью отклика - Перемещение ВМ из Hyper-V в Microsoft Azure

На следующей схеме показаны проблема и сценарий, к которым обращается данное руководство.

Хранилище для виртуализованных рабочих нагрузок

Примечание

Обязательно ознакомьтесь с разделом Сложности решения, чтобы узнать о некоторых сложных областях, в которых мы и наши партнеры по производству оборудования непрерывно работаем над устранением проблем. Список последних изменений раздела см. в подразделе История изменений этого раздела.

В этом руководстве по решению:

• Сценарий, постановка задачи и цели

• Рекомендуемый подход к планированию и разработке для этого решения

• Высокоуровневые действия для реализации этого решения

Сценарий, постановка задачи и цели

В этом разделе описывается сценарий, постановка задачи и цели для этого руководства по решению.

Сценарий

В этом сценарии предполагается, что вы — поставщик услуг размещения среднего размера, предлагающий управляемые службы (включая инфраструктуру как услугу), или крупная организация, которой требуется внедрить частные облака. Вы предоставляете предприятиям возможность перемещения постоянно увеличивающегося числа рабочих нагрузок в облако, размещенное в виртуальных машинах Hyper-V. Однако вместе с этими новыми рабочими нагрузками приходит и невероятный объем данных…

Постановка задачи

Как вы, без сомнения, знаете, траты на хранение данных представляют собой самую большую статью расходов для размещенных облачных служб. Требования к объемам хранимых данных продолжают расти, и, хотя цены на жесткие диски падают, в целях повышения производительности вы, возможно, покупали все больше твердотельных накопителей (SSD). В итоге покупка хранилища и работа с ним обходится все так же дорого.

Среди существующих вариантов хранилища также есть дорогие сети хранения данных (SAN), которые используют структуру Fibre Channel, однако вы можете рассмотреть возможность использования iSCSI в экземплярах, где производительность не критична. Хотя эти варианты предоставляют гибкую конфигурацию хранилища, у них есть следующие недостатки:

• Сети хранения данных Fibre Channel (и даже iSCSI) довольно дорогие.

• Сети хранения данных могут быть сложны в настройке и обслуживании.

Таким образом, основная задача, которую необходимо решить:

• Обеспечение отказоустойчивого хранилища с высокой производительностью для узлов Hyper-V без увеличения расходов

Цели организации

Фактически вы ищете решение для хранения данных, которое обеспечивает следующее:

• Постоянная доступность. Требуется предоставить удаленное хранилище, которое будет постоянно доступно, чтобы максимально уменьшить время простоя.

• Масштабируемое хранилище. Для тысяч размещенных виртуальных машин нужны сотни терабайт хранилища с высокой пропускной способностью (это решение обеспечивает емкость размером примерно 150–600 ТБ для 1000–8192 виртуальных машин размером до 75 ГБ каждая).

• Высокая производительность. Необходимо хранилище, которое предоставит высокую производительность для каждой виртуальной машины и службы.

• Эффективное управление. Нужны эффективные и функциональные средства управления, которые помогут полностью настроить решение облачной платформы, которое состоит из сотен дисков и десятков узлов сервера.

• Низкая стоимость. Расходы на хранилище не должны распространяться на весь ваш бюджет.

Рекомендуемый подход к планированию и разработке для этого решения

В этом разделе представлено одно решение, которое рекомендуется использовать для устранения проблем и достижения целей, описанных выше. В этом решении основное внимание уделяется хранилищу облачной платформы, которая состоит из следующих трех частей:

• Вычисления. Рабочие нагрузки клиентов размещаются в вычислительном кластере, на котором запущены виртуальные машины Hyper-V.

• Хранилище. Виртуальные машины хранятся в кластерах файловых серверов с высокой производительностью.

• Управление. Вычислительные кластеры и кластеры файловых серверов управляются кластером управления.

На следующей схеме показано хранилище этого решения:

Архитектура решения хранилища на основе Windows Server для виртуальных машин

В следующей таблице перечислены элементы, которые являются частью структуры этого решения, и описана причина выбора того или иного элемента.

Элемент структуры решения	Способ поддержки решения
Несколько корпусов хранилища	В нескольких блоках JBOD размещены недорогие жесткие диски (HDD) с последовательным подключением SCSI (SAS), соответствующие отраслевым стандартам, и твердотельные накопители (SSD); тратиться на дорогие устройства SAN не нужно.
Файловые серверы под управлением Windows Server 2012 R2	Корпуса JBOD подключены к стандартным кластерам из четырех узлов файловых серверов, на которых запущен Windows Server 2012 R2, использующий недорогие (без RAID) контроллеры SAS.
Кластерные пулы носителей	Все диски в блоках добавляются в кластерные пулы носителей с помощью дисковых пространств, поэтому не нужно управлять отдельными дисками.
Дисковые пространства	Виртуальные диски, которые называются дисковыми пространствами, создаются из свободного пространства пулов носителей. Эти дисковые пространства предоставляют программно-настраиваемые уровни устойчивости: в этом решении используются трехсторонние зеркала, обеспечивающие высокую производительность и сохраняющие данные на случай сбоя двух дисков.
Уровни хранилища	Дисковые пространства создаются с уровнями хранилища, которые автоматически перемещают часто запрашиваемые данные в хранилище на основе SSD, а редко запрашиваемые данные — в хранилище на основе жестких дисков (HDD), совмещая производительность SSD с емкостью HDD.
Отказоустойчивая кластеризация	Отказоустойчивая кластеризация настраивается на файловых серверах Windows Server, чтобы в случае сбоя одного файлового сервера пулы носителей, которые на нем размещаются, могли выполнить отработку отказа на другие узлы кластера. Вычислительный кластер и узлы управления также используют отказоустойчивую кластеризацию, чтобы виртуальные машины могли выполнить отработку отказа на другие узлы.
Унифицированное пространство имен CSV и горизонтально масштабируемый файловый сервер	С помощью общих томов кластера (CSV) и создания роли кластерного файлового сервера с возможностью использовать горизонтально масштабируемый файловый сервер все узлы кластера могут одновременно вести запись в одно хранилище, повышая производительность и доступность.
Постоянно доступные файловые ресурсы	Постоянно доступные файловые ресурсы, размещенные на горизонтально масштабируемом файловом сервере, позволяют хранить файлы конфигурации виртуальных машин Hyper-V и виртуальные жесткие диски в легко управляемых и доступных удаленно файловых ресурсах без снижения производительности или доступности.
Hyper-V	Hyper-V позволяет создать виртуализованную вычислительную среду и среду управления с помощью технологии виртуализации, которая встроена в Windows Server.
System Center Virtual Machine Manager	Вы можете управлять всеми виртуальными машинами с помощью диспетчера System Center Virtual Machine Manager, запущенного в кластере управления.
Службы Windows Server Update Services	Вы можете использовать службы Windows Server Update Services, запущенные в кластере управления совместно с кластерным обновлением, Virtual Machine Manager и при необходимости System Center Configuration Manager для развертывания обновлений программного обеспечения на всех узлах и виртуальных машинах в кластере управления и вычислительном кластере.
System Center Operations Manager	Это решение можно отслеживать с помощью диспетчера System Center Operations Manager, запущенного в кластере управления.

Сведения о создании конфигурации оборудования и программного обеспечения для каждого кластера в этом решении см. в разделе Предоставление экономичного хранилища для рабочих нагрузок Hyper-V с помощью Windows Server: руководство по проектированию и планированию.

Сложности решения

Вот некоторые сложности, связанные с этим решением, а также стратегии их разрешения.

• Проблемы, связанные с драйверами и встроенным ПО

  Чтобы устранить проблемы со встроенным ПО и драйверами, особенно при масштабном развертывании, рекомендуется приобретать все оборудование у поставщика, который тестирует его и обеспечивает его поддержку как интегрированного решения со своими дисковыми пространствами.Microsoft Cloud Platform (CPS) на базе технологий Dell является примером такого решения. Также важно следовать всем рекомендациям поставщика по использованию последних версий соответствующих драйверов и встроенного ПО.

  Также запустите мастер проверки конфигурации и устраните все проблемы до настройки всех кластеров. Дополнительные сведения см. в разделе Проверка оборудования для отказоустойчивого кластера.

• Сложность, связанная с полным удалением предыдущих сведений о дисковых пространствах и отказоустойчивой кластеризации с JBOD и физических дисков

  Обычно это не проблема на новом оборудовании, но если вы используете существующее оборудование для тестирования конфигурации, воспользуйтесь командлетами в модуле Windows PowerShell хранилища, чтобы полностью удалить все данные дисковых пространств и отказоустойчивой кластеризации с физических дисков и JBOD перед настройкой решения. В некоторых случаях выключение и включение JBOD может помочь удалить постоянные сведения о резервировании с устройств.

  Совет

  Скрипт, который поможет полностью удалить все данные конфигурации дисковых пространств, приведен в разделе Полная очистка конфигурации существующих дисковых пространств.

• Крупный масштаб решения

  Для этого решения требуются значительные вложения в оборудование, чтобы настроить его в целях тестирования. Это можно обойти, начав с небольшого решения для тестирования. Например, вы можете использовать кластер файловых серверов с двумя узлами и двумя JBOD, более простой кластер управления и меньшее количество вычислительных узлов. После настройки решения в лаборатории можно добавить узлы и JBOD в кластер файловых серверов, хотя вам потребуется повторно создать дисковые пространства, чтобы гарантировать, что данные будут храниться во всех блоках с поддержкой блоков.

Высокоуровневые действия для реализации этого решения

Для реализации решения можно использовать шаги в этом разделе. Проверьте правильность развертывания каждого шага перед тем, как перейти к следующему.

1. Разработка решения и покупка сертифицированного оборудования

   Используйте руководство по вопросам проектирования программно определяемого хранилища для планирования и разработки решения хранилища. Можно также использовать Предоставление экономичного хранилища для рабочих нагрузок Hyper-V с помощью Windows Server: руководство по проектированию и планированию для получения представления о крупномасштабном проекте для кластеров хранения, вычисления и управления.

2. Установка и подключение оборудования

   Установите кластер файлового сервера, кластер управления, вычислительный кластер и сетевые коммутаторы, к которым они подключены. Не подключайте пока что это оборудование к внешним сетям.

3. Обновление всего встроенного ПО

   Обновите встроенное ПО для JBOD, дисков, серверов, сетевых коммутаторов и адаптеров шины до сертифицированных версий и подключите оборудование к сети.

4. Развертывание Windows Server 2012 R2 в кластере управления

   Установите Windows Server 2012 R2 с вариантом установки основных серверных компонентов в кластере управления, чтобы уменьшить количество обновлений программного обеспечения, которые применимы к серверу (при условии, что вы не используете существующий кластер управления). Используйте ноутбук, подключенный к сети управления, чтобы удаленно настроить все узлы или установить Windows Server с параметром установки "Графический пользовательский интерфейс".

5. Установите Hyper-V и создайте виртуальные машины для AD DS, DNS и DHCP в кластере управления.

   Установите роль сервера Hyper-V и используйте диспетчер Hyper-V или Windows PowerShell для создания виртуальной машины на одном узле кластера управления для AD DS, DNS и DHCP. Эта виртуальная машина не является высокодоступной (эти службы выполняют репликацию и распределяют нагрузку без кластеризации), поэтому вам следует сохранить файл виртуального жесткого диска операционной системы (VHDX-файл) на локальном жестком диске одного из узлов. Повторите это действие еще два раза на двух других узлах, чтобы получить три виртуальные машины на трех отдельных узлах. Дополнительные виртуальные машины можно будет создать позже, после настройки отказоустойчивой кластеризации в кластере управления, во время процедуры настройки.

   Дополнительные сведения см. в разделе Установка Hyper-V и создание виртуальной машины.

   Примечание

   После настройки этого решения вы можете дополнительно создать высокодоступные виртуальные машины с запущенными AD DS, DNS и DHCP и снять с учета изолированные виртуальные машины, созданные на этом шаге. Это позволит сделать управление более логичным, так как все виртуальные машины будут высокодоступными и храниться в кластере файловых серверов.

6. Развертывание AD DS, DNS и DHCP

   Если вы устанавливаете новый кластер управления, установите службы AD DS на каждой из виртуальных машин (три контроллера домена) и создайте новый лес для кластеров серверов с зонами DNS, встроенными в Active Directory, и областями DHCP для сети хранилища и сети управления.

   Дополнительные сведения см. в разделах Установка доменных служб Active Directory (уровень 100) и Пошаговое руководство: настройка DHCP для отработки отказа.

7. Настройка кластера файловых серверов

   Используйте следующие действия, чтобы настроить кластер файловых серверов:

   Примечание

   Диспетчер виртуальных машин может быстро создать горизонтально масштабируемый файловый сервер из четырех "чистых" узлов кластера файловых серверов. Единственная проблема состоит в том, что может потребоваться сохранить файлы виртуального жесткого диска для Диспетчер виртуальных машин в кластере файлового сервера, который еще не настроен. При необходимости можно обойти эту проблему причины и следствия, установив Диспетчер виртуальных машин в конфигурации без высокой доступности в кластере управления, использовать ее для настройки кластера файлового сервера и снова установить Диспетчер виртуальных машин в конфигурации с высокой доступностью (сохраненной в кластере файлового сервера).

   1. Установка Windows Server 2012 R2

      Установите Windows Server, выбрав параметр установки "Основные серверные компоненты" на узлах кластера файловых серверов, установив операционную систему на локальный жесткий диск на каждом узле.

   2. (Необязательно) Очистка данных конфигурации существующих дисковых пространств и отказоустойчивого кластера

      Если JBOD и серверы ранее использовались для других целей, полностью удалите все данные дисковых пространств и отказоустойчивой кластеризации с физических дисков и JBOD. Скрипт, который поможет полностью удалить все данные (удаляются действительно все данные, поэтому будьте внимательны!) из конфигурации дисковых пространств, приведен в разделе Полная очистка существующей конфигурации дисковых пространств.

   3. Проверка физических дисков и блоков

      Проверьте все физические диски, чтобы убедиться, что они работоспособны, показывают правильный параметр MediaType и отображаются как имеющие право на регулирование количества запросов. Также убедитесь, что JBOD правильно отображают сведения о блоках.

      Скрипт, который может проверить физические диски и блоки, а также провести некоторые проверки производительности и работоспособности, приведен в разделе Скрипт проверки физических дисков дисковых пространств.

   4. Создание кластерных пулов носителей

      Проверьте и оптимизируйте конфигурацию сети кластера, отметив каждую сеть (например, сеть хранилища и сеть управления), а затем создайте три кластерных пула носителей с четырьмя SSD и 16 HDD из каждого из четырех JBOD, всего 80 дисков на пул.

      Подробные шаги по настройке отказоустойчивого кластера и созданию пулов носителей см. в разделе Развертывание кластерных дисковых пространств.

   5. Создание горизонтально масштабируемого файлового сервера

      Далее создайте роль кластерного файлового сервера, выбрав параметр "Масштабируемый файловый сервер".

      Дополнительные сведения см. в разделе Развертывание масштабируемого файлового сервера.

   6. Создание диска-свидетеля для кластера файловых серверов

      Используйте диспетчер сервера или командлет New-VirtualDisk, чтобы создать двустороннее зеркальное пространство размером 3 ГБ без уровней хранилища и использовать его в качестве диска-свидетеля для кластера файлового сервера, а затем настройте кворум кластера.

      Дополнительные сведения см. в разделе Настройка кворума кластера.

   7. Создание уровней хранилища, дисковых пространств, разделов, томов и CSV

      Создайте дисковые пространства в соответствии с проектом, а затем создайте по одному разделу, тому и CSV на дисковое пространство.

   8. Создание постоянно доступных файловых ресурсов для виртуальных машин кластера управления

      Создайте один постоянно доступный файловый ресурс SMB на CSV, используемый виртуальными машинами в кластере управления, и предоставьте полный доступ учетным записям компьютера каждого узла кластера управления, учетной записи SYSTEM и группе администраторов домена.

      Дополнительные сведения см. в разделе Шаг 3. Создание файлового ресурса общего доступа SMB

8. Настройка кластера управления и остальных виртуальных машин управления

   Используйте следующие шаги, чтобы настроить отказоустойчивую кластеризацию в кластере управления и создайте высокодоступные виртуальные машины для остальных служб управления и инфраструктуры (вы уже настроили AD DS, DNS и DHCP в изолированных виртуальных машинах). Большинство виртуальных машин является высокодоступными виртуальными машинами, но для некоторых служб следует использовать кластеризацию гостевых систем, чтобы создать кластер между виртуальными машинами.

   1. Установка отказоустойчивой кластеризации и настройка кластера Hyper-V

      Чтобы создать кластер управления и настроить Hyper-V для поддержки высокодоступных виртуальных машин, см. раздел Развертывание кластера Hyper-V.

   2. Настройка кластерного обновления

      Настройте кластерное обновление, чтобы упростить обновление кластера и свести к минимуму или устранить время простоя. Дополнительные сведения см. в разделе Обзор обновления с поддержкой кластера.

   3. Развертывание SQL Server

      Разверните SQL Server для поддержки Диспетчер виртуальных машин. Дополнительные сведения см. в следующих разделах:

      • Всегда включенные экземпляры отказоустойчивого кластера (SQL Server)

      • Установка SQL Server с файловым ресурсом SMB в качестве варианта хранилища

      • Создание нового отказоустойчивого кластера SQL Server (установка)

   4. Развертывание Диспетчер виртуальных машин

      Разверните Диспетчер виртуальных машин на гостевом кластере.Диспетчер виртуальных машин используется для развертывания вычислительных узлов и других сетевых компонентов и управления ими.

      Дополнительные сведения см. в следующих статьях:

      • Установка высокодоступного сервера управления VMM

      • Развертывание гостевого кластера с помощью общего виртуального жесткого диска

   5. Развертывание служб Windows Server Update Services

      Используйте Диспетчер виртуальных машин совместно со службами Windows Server Update Services для обновления всех виртуальных машин в этом решении.

      Дополнительные сведения см. в разделе Управление обновлениями структуры в VMM (или в разделе Развертывание служб Windows Server Update Services в организации, если вы не используете Диспетчер виртуальных машин).

9. Развертывание вычислительных узлов и кластеров

   После настройки инфраструктуры разверните с помощью Диспетчер виртуальных машин или Windows PowerShell вычислительные узлы из исходного состояния системы и настройте их в отказоустойчивом кластере, пока Диспетчер виртуальных машин и службы Windows Server Update Services предоставляют обновления узлам кластера.

   Дополнительные сведения см. в разделе Администрирование System Center 2012 — диспетчер виртуальных машин.

10. Настройка сетей клиентов

    Сведения о настройке сетей клиентов см. в статье Развертывание масштабируемых клиентов сетевой инфраструктуры для поставщиков услуг размещения.

11. Развертывание виртуальных машин клиентов

    После настройки сети клиента разверните с помощью Диспетчер виртуальных машин или Windows PowerShell виртуальные машины клиента.

См. также:

Тип содержимого	Ссылок
Оценка продукта и начало работы	Достижение более миллиона операций ввода-вывода в секунду из виртуальных машин Hyper-V в кластере горизонтально масштабируемых файловых серверов с помощью Windows Server 2012 R2 Отчет о проверке лабораторной среды компанией Enterprise Strategy Group: анализ сетей и хранилища Microsoft Windows Server 2012. Руководство лаборатории тестирования: виртуализация сети Hyper-V в Windows Server 2012 R2 с System Center 2012 R2 VMM Виртуализация частного облака Windows Server 2012 R2, наглядные плакаты о хранилище и мини-плакаты Производительность системного хранилища Microsoft Cloud Platform
Планирование	Руководство по вопросам проектирования программно определяемого хранилища Калькулятор разработки программно-определяемого хранилища Дисковые пространства — разработка для производительности
Развертывание	Таблицы сборки IaaS Windows Server 2012: пошаговое руководство с примерами PowerShell Построение инфраструктуры облака: центр обработки данных со схождением, с хранилищем файлового сервера Обзор обновления с поддержкой кластера
Ресурсы сообщества	Форум TechNet по файловым службам и хранению данных Форум по Hyper-V на Windows Server
Связанные решения	Развертывание масштабируемых клиентов сетевой инфраструктуры для поставщиков услуг размещения Пакет Microsoft Azure для Windows Server Построение инфраструктуры облака: центр обработки данных со схождением, с хранилищем файлового сервера
Связанные технологии	Общие сведения о файловых службах и службах хранилища System Center Virtual Machine Manager Обзор отказоустойчивой кластеризации

История изменений

Дата	Описание
15 июля 2015 г.	Добавлены ссылки на новые выпуски руководства по вопросам проектирования программно определяемого хранилища, и обновлены рекомендации по устранению проблем совместимости.
7 февраля 2014 г.	Добавлен совет в раздел Сложности решения, ссылающийся на скрипт, который может очистить существующие данные конфигурации дисковых пространств и отказоустойчивой кластеризации. В раздел Высокоуровневые действия для реализации этого решения добавлены шаги для необязательной очистки существующих данных конфигурации дисковых пространств и отказоустойчивых кластеров и для проверки физических дисков до их добавления в пулы носителей. Обновлено изображение
22 января 2014 г.	Предварительная публикация