Автоматизация платформы для Решения Azure VMware в рамках сценария корпоративного масштабирования

В целевой зоне корпоративного уровня используется ряд методик автоматизации и DevOps. Эти методики помогут вам развернуть частное облако Azure VMware. В этом руководстве представлены рекомендации по первоначальному развертыванию Решения Azure VMware, а также инструкции по автоматизации операций. Реализация решения в рамках этого руководства соответствует архитектуре и рекомендациям Cloud Adoption Framework с расчетом на дальнейшее масштабирование.

Решение состоит из двух основных частей. Первая часть — это рекомендации по развертыванию и автоматизации Решения Azure VMware. Вторая часть — набор артефактов с открытым исходным кодом, которые можно адаптировать для развертывания частного облака в вашей компании. Цель этого руководства — помочь вам реализовать полную сквозную автоматизацию процессов, однако вы сами можете решать, какие компоненты развертывать вручную, опираясь на наши рекомендации.

Решение Azure VMware автоматизация акселератора целевой зоны предназначена для начала развертывания Решение Azure VMware с помощью шаблонов и сценариев в этом репозитории. Прежде чем вы приступите к развертыванию, рекомендуем ознакомиться с шаблонами. Это поможет понять, какие ресурсы будут развертываться и сколько это будет стоить.

В этой статье рассматриваются следующие вопросы и рекомендации.

• Варианты развертывания Решения Azure VMware (автоматического и вручную).
• Рекомендации по автоматическому масштабированию и сведения о реализации.
• Рекомендации по автоматизации на уровне SDDC VMware в частном облаке.
• Рекомендации по автоматизации, на основе опыта работы с целевой зоной корпоративного уровня.
• Рекомендации по использованию технологий автоматизации для развертывания и управления, таких как Azure CLI, Azure Resource Manager, Bicep и PowerShell.

Стратегия развертывания

Решение Azure VMware можно развертывать вручную или использовать автоматизированные средства.

Ручное развертывание

Частное облако Azure VMware можно настроить и развернуть в графическом виде на портале Microsoft Azure. Этот вариант подходит для небольших развертываний. Для развертывания крупных топологий Решения Azure VMware рекомендуем использовать технологии автоматического развертывания. Вы также можете настроить подключение к частному облаку, а затем масштабировать его вручную на портале Microsoft Azure.

Соображения.

• Развертывание вручную подходит для пилотных проектов и небольших сред. Этот подход также может использоваться в средах, где отсутствуют средства автоматизации или где не используется концепция "Инфраструктура как код".
• При развертывании Решение Azure VMware с помощью модулей портал Azure, Azure CLI или Azure PowerShell вы увидите ряд условий защиты данных в решении. Если вы используете API Azure Resource Manager напрямую или развертываете с помощью шаблона Azure Resource Manager или Bicep, попробуйте ознакомиться с этими условиями перед развертыванием автоматизации.
• Для сред, расширяющихся по запросу, рекомендуем использовать средства автоматического создания частного облака Azure VMware, чтобы сократить количество операций, выполняемых вручную.
• Вы можете использовать блейд-сервер развертываний из целевой группы ресурсов на портале Microsoft Azure, чтобы следить за процессом создания частного облака. После развертывания частного облака убедитесь, что процесс находится в состоянии Выполнено, прежде чем продолжать работу. Если частное облако отображает состояние сбоя, возможно, не удается подключиться к vCenter Server. Может потребоваться удаление и повторное развертывание частного облака.

Рекомендации.

• При выборе метода развертывания вручную важно задокументировать параметры конфигурации, которые используются для подготовки частного облака. Завершив развертывание, скачайте шаблон, в который были занесены параметры развертывания. Этот артефакт шаблона содержит шаблон ARM, используемый для развертывания частного облака. Артефакт шаблона также содержит файл параметров, содержащий выбранную конфигурацию.
• Если вы собираетесь регулярно взаимодействовать с частным облаком на портале Microsoft Azure, рекомендуем воспользоваться функцией блокировки ресурсов, чтобы ограничить их удаление. Можно также поставить блокировку ресурсов только для чтения, чтобы ограничить операции масштабирования.

Автоматизированное развертывание

Средства автоматизации развертывания пригодятся, если вы собираетесь развертывать среды с Решением Azure VMware на регулярной основе. В дальнейшем среды можно проектировать и развертывать по запросу. Такой подход повышает эффективность механизма развертывания и помогает развертывать несколько сред и областей при масштабировании. Процесс развертывания, таким образом, становится менее рискованным, может выполняться по запросу и на повторяемой основе.

Варианты реализации автоматизированных Решение Azure VMware

Вариант реализации	Description	Ссылка на развертывание репозитория GitHub
Развертывание Решение Azure VMware и зависимостей с подключением к Azure	Это развертывание лучше всего подходит для подготовки нового Решение Azure VMware частного облака. Это полная версия развертывания и помогает создавать все различные вспомогательные компоненты. К этим компонентам относятся подключение Azure, мониторинг и надстройки. Существует три варианта развертывания: портал Azure пользовательского интерфейса, PowerShell и Terraform. Каждый вариант развертывания позволяет развернуть следующие ресурсы: ▪ частное облако Решение Azure VMware ▪ Выбор новой или существующей виртуальной сети (виртуальная сеть) ▪ Развертывание сервера маршрутов Azure для ПОДКЛЮЧЕНИЕ VPN (необязательно) ▪ Развертывание мониторинга Решение Azure VMware (необязательно) ▪ Развертывание HCX и SRM (необязательно)	(пользовательский интерфейс портал Azure) (PowerShell) (модуль Terraform)
Развертывание Решение Azure VMware без подключения к Azure	Это упрощенная версия развертывания. Лучше подходит для подтверждения концепции (POC) или пилота. Он позволяет развернуть следующие ресурсы: ▪ Новое Решение Azure VMware частное облако: (1) имя настраиваемой группы ресурсов и имя частного облака или (2) выберите существующий Решение Azure VMware частного облака. ▪ Развертывание Решение Azure VMware мониторинга (необязательно). ▪ Развертывание HCX и SRM (необязательно).	(пользовательский интерфейс портал Azure)

Соображения.

• Развертывание частного облака Azure VMware может занять несколько часов. Рассмотрите возможность мониторинга этого процесса с помощью состояния развертывания Azure Resource Manager или свойства состояния в частном облаке. Вы можете использовать конвейер развертывания или программные средства развертывания PowerShell или Azure CLI. Для этого убедитесь, что выбраны значения времени ожидания, достаточные для выполнения процесса подготовки частного облака.
• Можно заранее выделить диапазоны адресов для частных облаков и сетей рабочих нагрузок в соответствии с рекомендациями, указанными в статье Топология сети и сетевые подключения. Затем добавьте эти значения в файл конфигурации среды или файл параметров. Перекрытие диапазонов адресов не проверяется во время развертывания. Отсутствие проверки может привести к проблемам, если два частных облака имеют одинаковый диапазон адресов. Проблемы также могут возникнуть, если диапазон пересекается с существующими локальными сетями или сетями в Azure.
• Чтобы обеспечить минимальный привилегированный доступ, для развертывания можно использовать субъекты-службы. Чтобы ограничить доступ к процессу развертывания, можно использовать управление доступом на основе ролей (RBAC) Azure.
• Для развертывания частного облака можно использовать стратегию DevOps, т. е. использовать конвейеры для автоматизированных и повторяемых развертываний вместо локальных средств.

Рекомендации.

• Разверните самое маленькое частное облако, а затем масштабируйте его по мере необходимости.
• Заранее запросите квоту на узлы или емкость — это обеспечит успешное развертывание.
• Перед развертыванием подресурсов, выполните мониторинг процесса развертывания и состояния частного облака. Дальнейшие обновление конфигурации частного облака можно выполнять только после того, как частному облаку будет присвоено состояние Выполнено. Для частных облаков, которые находятся в состоянии сбоя, рекомендуется остановить любые дальнейшие операции и вызвать запрос в службу поддержки для разрешения.
• Включите в службе автоматического развертывания соответствующие блокировки ресурсов или убедитесь, что они применяются в рамках политики.

Автоматическое подключение

После развертывания частного облака Azure VMware можно настроить подключение через ExpressRoute. Существует два критических пути для сетевого подключения, описанных в этом наборе конструкций.

• Подключение к виртуальной сети или виртуальной глобальной сети Azure через шлюз виртуальной сети.
• Подключение между Решением Azure VMware и ExpressRoute с помощью Global Reach.

Дополнительные сведения о рекомендуемых топологиях сети см. в статье Топология сети и подключение.

Соображения.

• Частное облако Azure VMware можно подключить к виртуальной сети Azure или к ExpressRoute. Это подключение автоматически объявляет маршруты как в сетях управления, так и в сетях рабочих нагрузок в частном облаке. Поскольку проверки перекрытия не предусмотрены, рекомендуем выполнять проверку объявленных сетей перед подключением.
• Имена ключей ExpressRoute для авторизации можно согласовать с существующими схемами именования для ресурсов, к которым они подключаются. Это выравнивание упрощает идентификацию связанных ресурсов.
• Подписка, в которой находятся шлюзы виртуальной сети ExpressRoute и каналы ExpressRoute, может отличаться от подписки частного облака Azure VMware. Решите, должен ли один субъект-служба иметь доступ ко всем этим ресурсам или же их следует разделить.
• Сеть рабочих нагрузок NSX-T Data Center с помощью портал Azure может развертывать необходимые сетевые ресурсы в частном облаке, но NSX-T Manager обеспечивает более широкий контроль над компонентами Центра обработки данных NSX-T. Определите, какой уровень контроля требуется для сетевых сегментов.
  • Используйте сеть рабочих нагрузок NSX-T Центра обработки данных в портал Azure для настройки зон доменных имен (DNS) для частной интеграции DNS.
  • Для сетевых топологий, требующих только одного уровня один шлюз, используйте сети рабочей нагрузки NSX-T Data Center в портал Azure.
  • Для расширенных конфигураций можно использовать непосредственно NSX-T Manager.
  • Рассмотрим уровень навыка администраторов сети. Если администраторы сети не знакомы с Центром обработки данных VMware NSX-T, рассмотрите возможность использования портал Azure вместо снижения риска для сетевых операций.

Рекомендации.

• Если вы используете отдельные субъекты-службы для развертывания Решения Azure VMware вместо конфигурации ExpressRoute, используйте Azure Key Vault или аналогичное хранилище секретов для передачи ключей авторизации между развернутыми службами в случае необходимости.
• Существует ряд ограничений на количество параллельных операций, которые могут выполняться частном облаке решения Azure VMware одновременно. Для шаблонов, которые определяют многие подресурсы частного облака Azure VMware, рекомендуется использовать зависимости для последовательного развертывания.

Автоматическое масштабирование

По умолчанию кластер Решения Azure VMware вмещает фиксированное количество узлов, обусловленное масштабом кластера. С помощью программных средств вы можете менять масштаб каждого кластера. Так процессы масштабирования становятся автоматическими. Автоматизация может выполняться по требованию, по расписанию или в качестве ответа на оповещения Azure Monitor.

Соображения.

• Автоматическое горизонтальное увеличение масштаба помогает увеличить емкость системы по требованию, при этом вы должны учитывать стоимость дополнительных узлов. Затраты на дополнительные узлы ограничены квотой, обозначенной для конкретной подписки, однако стоит сохранить и ограничения, установленные вручную.
• Прежде чем включить автоматическое горизонтальное уменьшение масштаба необходимо учесть его последствия для выполняемых рабочих нагрузок и политик хранилища, которые применяются в кластере. Например, рабочие нагрузки, назначаемые RAID-5, нельзя масштабировать в кластере с тремя узлами. Также важно учитывать коэффициенты использования ресурсов памяти и хранилища, так как они могут сделать масштабирование невозможным.
• В каждый момент времени может выполняться только одна операция масштабирования, поэтому важно обеспечить согласованность операций масштабирования между несколькими кластерами.
• Масштабирование Решения Azure VMware не выполняется мгновенно, поэтому учитывайте время, которое понадобится для добавления нового узла в существующий кластер.
• Иногда сторонние решения и интеграции не ожидают постоянного удаления и добавления узлов. Рекомендуем проверять реакцию сторонних продуктов на эти события. Это поможет понять, требуются ли стороннему продукту обновление или перенастройка перед добавлением или удалением нового узла.

Рекомендации.

• Установите жесткие ограничения для операций горизонтального увеличения и уменьшения масштаба за пределами квоты.
• Заранее запросить квоту , чтобы она не влияла на операцию масштабирования. Квота не является гарантией емкости, но дает возможность масштабировать до определенного ограничения. Регулярно проверяйте ограничение по квоте, чтобы обеспечить запас емкости.
• Убедитесь, что система автоматизированного масштабирования регулярно мониторится и генерирует оповещения при завершении операций масштабирования. Оповещения гарантируют, что в системе не выполняется никаких непредвиденных событий масштабирования.
• Используйте метрики Azure Monitor для подтверждения емкости кластера перед операциями масштабирования — это обеспечит достаточный запас емкости. Обращайте внимание на ресурсы ЦП, памяти и хранилища до, во время и после любых операций масштабирования. Это внимание к емкости гарантирует, что оно не влияет на соглашение об уровне обслуживания (SLA).

Интеграция с Azure

Частное облако Azure VMware также может использовать собственные службы Azure. Эти службы можно включить при развертывании Решения Azure VMware или развернуть как отдельные компоненты. Для интеграции с этими службами в случаях, не описанных в этой статье, рекомендуем использовать существующие шаблоны архитектуры целевой зоны корпоративного уровня.

Соображения.

Изучите жизненный цикл развертывания каждого компонента, который вы планируете автоматизировать. Компоненты группы, тесно привязанные к жизненному циклу, необходимо объединять в одной группе и развертывать их как единый компонент. Разделяйте компоненты с различными жизненными циклами.

Средства автоматизации

Решение Azure VMware частное облако существует как ресурс в Azure Resource Manager, предоставляя взаимодействие с помощью нескольких различных средств автоматизации. Первое средство Майкрософт, созданное из спецификаций Azure Resource Manager, обычно поддерживает функции вскоре после выпуска. С точки зрения автоматизации, рекомендации, описанные в этой статье, можно применять к различным наборам инструментов.

Соображения.

• Используйте декларативные средства, такие как шаблоны Azure Resource Manager и Bicep, чтобы можно было определить конфигурацию как один артефакт. Средства на базе командной строки и сценариев, такие как Azure CLI и PowerShell, требуют пошагового выполнения и больше соотносятся с развертыванием вручную.
• Для развертывания Решения Azure VMware и собственных служб Azure можно использовать и сторонние средства автоматизации, такие как Terraform. Убедитесь, что компоненты, которые вы хотите использовать в Решении Azure VMware, в настоящее время включены в доступные ресурсы.
• При развертывании на базе сценариев, следует всегда учитывать последствия возможного сбоя и вести соответствующий мониторинг. В частности, когда речь идет о Решении Azure VMware следует рассмотреть возможность мониторинга как развертывания, так и состояния частного облака. Дополнительные сведения о мониторинге Решения Azure VMware см. в статье Управление и мониторинг решения Azure VMware.

Рекомендации.

• Используйте Azure CLI, PowerShell или декларативный шаблон, например Azure Resource Manager или Bicep, для автоматического развертывания Решение Azure VMware.
• По возможности используйте команду что если, чтобы подтвердить изменения перед выполнением и приостановить удаление ресурса для его проверки.

Подход DevOps

Автоматическое развертывания Решения Azure VMware реализуется в виде серии повторяемых действий, в идеале посредством рабочего процесса или конвейера. Важно обозначить те действия, которые должны быть включены в развертывание. К ним можно отнести следующие действия.

• Развертывание частного облака.
• Подключение шлюза ExpressRoute.
• Подключение Global Reach.
• Упрощенное создание DHCP, DNS и сегментов центра обработки данных NSX-T.

После развертывания частного облака можно развернуть в нем ресурсы. Дополнительные сведения см. в статье об автоматизации платформы SDDC VMware.

Соображения.

• Возможно, у вас есть опыт автоматизации, или вы разработали стратегию DevOps как часть целевой зоны корпоративного уровня. В таком случае рекомендуем повторно использовать тех же шаблоны и для развертывания Решения Azure VMware, чтобы обеспечить единообразие общего стиля автоматизации.
• Дополнительные сведения см. в статье, посвященной автоматизации платформы и DevOps для целевых зон корпоративного уровня.

Автоматизация платформы VMware

В Решение Azure VMware частном облаке можно также автоматизировать создание ресурсов в vCenter Server и NSX-T Manager. Ниже перечислены рекомендации по проектированию автоматизации на уровне SDDC VMware.

Автоматизация vCenter Server — PowerCLI

Соображения.

• Используйте PowerCLI для создания и настройки виртуальных машин (виртуальных машин), пулов ресурсов и шаблонов виртуальных машин, обеспечивая полный программный контроль над vCenter Server.
• Так как сервер vCenter Server доступен только через частное подключение или частный IP-адрес, необходимо запустить PowerCLI на компьютере с Решение Azure VMware сетями управления. Рекомендуем использовать локальный агент для выполнения конвейера. С помощью этого агента можно запустить PowerCLI на виртуальной машине в виртуальной сети или сегменте центра обработки данных NSX-T.
• Поскольку вы ограничены ролью CloudAdmin, у вас может быть недостаточно прав для выполнения некоторых операций. Сопоставьте разрешения, необходимые для планируемого объема автоматизации, которую вы планируете реализовать, и разрешения CloudAdmin.
• Для доступа к наименьшим привилегиям рекомендуется использовать учетную запись службы для автоматизации на уровне vCenter Server с помощью интеграции Active Directory.

Автоматизация Центра обработки данных NSX-T — PowerCLI

Соображения.

• В частном облаке Решение Azure VMware администратор имеет административный доступ к Центру обработки данных NSX-T по умолчанию. Из-за этого доступа по умолчанию рассмотрите влияние изменений, внесенных через PowerCLI или API Центра обработки данных NSX-T напрямую. Изменение компонентов, управляемых Майкрософт, например транспортной зоны и шлюза нулевого уровня, запрещено. Рекомендуется соблюдать осторожность.
• Для взаимодействия с Центром обработки данных NSX-T требуется частное подключение с виртуальной машиной, работающей под управлением PowerCLI, к Решение Azure VMware частному облаку.
• Вы можете управлять сетями рабочей нагрузки с помощью Azure Resource Manager. Этот элемент управления позволяет выполнять подмножество операций с помощью API Azure Resource Manager, который затем позволяет выполнять операции с помощью Azure CLI и PowerShell с помощью Azure RBAC вместо удостоверения центра обработки данных NSX-T.

Поставщики Центра обработки данных Terraform vSphere и NSX-T

Соображения.

• Для развертывания ресурсов можно использовать поставщики центра обработки данных vSphere и NSX-T для Terraform. Эти ресурсы декларативно развертываются в области частного облака.
• Поскольку Terraform должен взаимодействовать с конечными точками API в vCenter Server и диспетчере NSX-T, он должен иметь частное подключение к сети управления частным облаком. Рассмотрите возможность развертывания с виртуальной машины Azure, которая маршрутизируется в частное облако.

vRealize Automation и vRealize Operations

Соображения.

• Решение vRealize Automation можно использовать аналогично локальной среде, чтобы автоматизировать подготовку виртуальных машин в рамках частного облака Azure VMware.
• Существуют ограничения на модели развертывания, поддерживаемые в Решении Azure VMware. Рассмотрите возможность использования vRealize Cloud Management или размещения устройств vRealize Automation в локальной среде.
• Как и в случае с PowerCLI, среда, в которой размещены устройства vRealize Automation и vRealize Operations, должна быть подключена к Решению Azure VMware с помощью частного подключения.

Автоматизация на уровне рабочих нагрузок

В рамках отдельных рабочих нагрузок в Решении Azure VMware можно настроить автоматизацию на уровне каждой виртуальной машины. Такой уровень автоматизации реализуется так же, как и автоматизация на уровне локальной сети, и не обсуждается в этой статье. Примерами этой автоматизации являются Microsoft Configuration Manager, Chef, Puppet и Ansible. Вы также можете использовать службу автоматизации Azure для настройки автоматизации на уровне виртуальных машин с помощью локального агента.

Следующие шаги

После того как вы ознакомились с областями проектирования, рекомендуем изучить материалы об архитектурном подходе и реализации Решения Azure VMware в рамках корпоративного сценария.

акселератор целевой зоны Решение Azure VMware