Настройка кластеров HDInsight для интеграции Microsoft Entra с корпоративным пакетом безопасности

В этой статье содержится сводка и обзор процесса создания и настройки кластера HDInsight, интегрированного с идентификатором Microsoft Entra. Эта интеграция зависит от функции HDInsight с именем Enterprise Security Package (ESP), доменных служб Microsoft Entra и предварительно существующих локальная служба Active Directory.

Подробное пошаговое руководство по настройке домена в Azure и созданию кластера с поддержкой ESP с последующей синхронизацией локальных пользователей см. в статье Создание и настройка кластеров корпоративного пакета безопасности в Azure HDInsight.

Общие сведения

Корпоративный пакет безопасности (ESP) обеспечивает интеграцию Active Directory для Azure HDInsight. Такая интеграция позволяет пользователям домена использовать учетные данные домена для аутентификации в кластерах HDInsight и выполнения заданий обработки больших данных.

Примечание.

ESP обычно доступен в HDInsight 4.0 и 5.0 для этих типов кластеров: Apache Spark, Interactive, Hadoop, Apache Kafka и HBase. Кластеры ESP, созданные до даты открытия общего доступа к ESP (1 октября 2018), не поддерживаются.

Необходимые компоненты

Прежде чем можно будет создать кластер HDInsight с поддержкой ESP, необходимо выполнить несколько предварительных требований.

• Существующий локальная служба Active Directory и идентификатор Microsoft Entra.
• Включите доменные службы Microsoft Entra.
• Проверьте состояние работоспособности доменных служб Microsoft Entra, чтобы убедиться, что синхронизация завершена.
• Создайте и проведите авторизацию управляемого удостоверения.
• Завершите настройку сети в отношении DNS и связанных проблем.

Каждый из этих элементов подробно рассматривается. Пошаговое руководство по выполнению всех этих действий см. в статье Создание и настройка кластеров корпоративного пакета безопасности в Azure HDInsight.

Включение доменных служб Microsoft Entra

Включение доменных служб Microsoft Entra является обязательным условием для создания кластера HDInsight с помощью ESP. Дополнительные сведения см. в разделе "Включение доменных служб Microsoft Entra" с помощью портал Azure.

Если доменные службы Microsoft Entra включены, все пользователи и объекты начинают синхронизацию с идентификатора Microsoft Entra с доменными службами Microsoft Entra по умолчанию. Длина операции синхронизации зависит от количества объектов в идентификаторе Microsoft Entra. Синхронизация сотен тысяч объектов может занять несколько дней.

Доменное имя, используемое в доменных службах Microsoft Entra, должно быть 39 символов или меньше, чтобы работать с HDInsight.

Вы можете выбрать для синхронизации только группы, которым требуется доступ к кластерам HDInsight. Этот вариант синхронизации только определенных групп называется синхронизацией определенных объектов. Инструкции см. в разделе "Настройка область синхронизации из идентификатора Microsoft Entra в управляемый домен".

При включении защищенного протокола LDAP введите доменное имя в поле "Имя субъекта". И альтернативное имя субъекта в сертификате. Если ваше доменное имя — contoso100.onmicrosoft.com, убедитесь, что в сертификате указано такое же имя субъекта или альтернативное имя субъекта. Дополнительные сведения см. в разделе "Настройка защищенного LDAP" для управляемого домена доменных служб Microsoft Entra.

В следующем примере показано создание самозаверяющего сертификата. Доменное имя contoso100.onmicrosoft.com находится в обоих полях Subject (имя субъекта) и DnsName (альтернативное имя субъекта).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Примечание.

Только администраторы клиентов имеют права на включение доменных служб Microsoft Entra. Если хранилище кластера — Azure Data Lake Storage 1-го поколения или 2-го поколения, необходимо отключить многофакторную проверку подлинности Microsoft Entra только для пользователей, которым потребуется доступ к кластеру с помощью базовой проверки подлинности Kerberos. Если для организации требуется многофакторная проверка подлинности, попробуйте использовать функцию брокера идентификаторов HDInsight.

Доверенные IP-адреса или условный доступ можно использовать для отключения многофакторной проверки подлинности для конкретных пользователей только при доступе к диапазону IP-адресов для виртуальной сети кластера HDInsight.

Если хранилище кластера является хранилищем BLOB-объектов Azure, не отключайте многофакторную проверку подлинности.

Проверка состояния работоспособности доменных служб Microsoft Entra

Просмотрите состояние работоспособности доменных служб Microsoft Entra, выбрав "Работоспособность " в категории "Управление ". Убедитесь, что состояние доменных служб Microsoft Entra зеленое (запущено) и синхронизация завершена.

Создание и авторизация управляемого удостоверения

Используйте управляемое удостоверение, назначаемое пользователем, чтобы упростить и защитить операции в доменных службах. При назначении управляемому удостоверению роли участника доменных служб HDInsight можно считывать, создавать, изменять и удалять операции доменных служб.

Некоторые операции доменных служб, например создание подразделений и субъектов-служб, требуются для Корпоративного пакета безопасности HDInsight. Вы можете создавать управляемые удостоверения в любой подписке. Дополнительные общие сведения об управляемых удостоверениях для ресурсов Azure см. в этой статье. Дополнительные сведения о работе управляемых удостоверений в Azure HDInsight см. в статье Управляемые удостоверения в Azure HDInsight.

Чтобы настроить кластеры ESP, создайте управляемое удостоверение, назначаемое пользователем, если у вас его еще нет. См. раздел Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Затем назначьте роль участника доменных служб HDInsight управляемому удостоверению в элементе управления доступом для доменных служб Microsoft Entra. Для назначения этой роли вам нужны права администратора доменных служб Microsoft Entra.

Назначение роли участника доменных служб HDInsight гарантирует, что у этого удостоверения есть правильный (on behalf of) доступ к операциям доменных служб в домене доменных служб Microsoft Entra. Эти операции включают создание и удаление подразделений.

После предоставления управляемого удостоверения администратор доменных служб Microsoft Entra управляет им. Сначала администратор выбирает управляемое удостоверение на портале. Затем выбирает Управление доступом (IAM) в разделе Обзор. Администратор назначает роль Оператор управляемого удостоверения пользователям или группам, которые хотят создавать кластеры ESP.

Например, администратор доменных служб Microsoft Entra может назначить эту роль группе MarketingTeam для управляемого удостоверения sjmsi. Пример показан на следующем рисунке. Это назначение гарантирует, что нужные сотрудники организации смогут использовать управляемое удостоверение для создания кластеров ESP.

Сетевая конфигурация

Примечание.

Доменные службы Microsoft Entra должны быть развернуты в виртуальной сети на основе Azure Resource Manager. Классические виртуальные сети не поддерживаются для доменных служб Microsoft Entra. Дополнительные сведения см. в разделе "Включение доменных служб Microsoft Entra" с помощью портал Azure.

Включите доменные службы Microsoft Entra. После локальный сервер службы доменных имен (DNS) будет выполняться на виртуальных машинах Active Directory. Настройте виртуальную сеть доменных служб Microsoft Entra для использования этих пользовательских DNS-серверов. Чтобы найти нужные IP-адреса, выберите Свойства в категории Управление и изучите раздел IP-АДРЕС В ВИРТУАЛЬНОЙ СЕТИ.

Измените конфигурацию DNS-серверов в виртуальной сети доменных служб Microsoft Entra. Чтобы использовать эти настраиваемые IP-адреса, выберите Серверы DNS в категории Параметры. Затем выберите параметр Пользовательский, введите первый IP-адрес в текстовое поле и нажмите кнопку Сохранить. Добавьте дополнительные IP-адреса, выполнив те же действия.

Проще разместить экземпляр доменных служб Microsoft Entra и кластер HDInsight в одной виртуальной сети Azure. Если вы планируете использовать разные виртуальные сети, необходимо выполнить одноранговую связь между ними, чтобы контроллер домена был виден виртуальным машинам HDInsight. Дополнительные сведения см. в статье Пиринг между виртуальными сетями.

После пиринга виртуальных сетей настройте виртуальную сеть HDInsight для использования настраиваемого DNS-сервера. Введите частные IP-адреса доменных служб Microsoft Entra в качестве адресов DNS-сервера. Если обе виртуальные сети используют одни и те же DNS-серверы, имя личного домена разрешается в правильный IP-адрес и доступно из HDInsight. Например, если доменное имя имеет значение contoso.com, то после этого шага ping contoso.com необходимо разрешить правильный IP-адрес доменных служб Microsoft Entra.

Если вы используете правила группы безопасности сети (NSG) в подсети HDInsight, следует разрешить необходимые IP-адреса для входящего и исходящего трафика.

Чтобы протестировать сетевые настройки, присоедините виртуальную машину Windows к виртуальной сети или подсети HDInsight и проверьте связь с доменным именем. (Он должен разрешаться в IP-адрес.) Запустите ldp.exe для доступа к домену доменных служб Microsoft Entra. Затем присоедините эту виртуальную машину Windows к домену, чтобы подтвердить, что все необходимые вызовы RPC между клиентом и сервером успешно выполнены.

Используйте nslookup, чтобы подтвердить сетевой доступ к вашей учетной записи хранения. Или к любой внешней базе данных, которую можно использовать (например, к внешнему хранилищу метаданных Hive или Ranger DB). Убедитесь, что необходимые порты разрешены в правилах NSG подсети доменных служб Microsoft Entra, если группа безопасности сети защищает доменные службы Microsoft Entra. Если присоединение к домену этой виртуальной машины Windows прошло успешно, можно переходить к следующему шагу и создавать кластеры ESP.

Создание кластера HDInsight с ESP

После правильной настройки предыдущих шагов следующим шагом будет создание кластера HDInsight с поддержкой ESP. При создании кластера HDInsight можно включить Корпоративный пакет безопасности на вкладке Безопасность и сеть. Для шаблона развертывания Azure Resource Manager воспользуйтесь порталом один раз. Затем скачайте предварительно заполненный шаблон на странице Проверка и создание для повторного использования в будущем.

Вы также можете включить компонент Брокер удостоверений HDInsight во время создания кластера. Функция брокера идентификаторов позволяет войти в Ambari с помощью многофакторной проверки подлинности и получить необходимые билеты Kerberos без хэшей паролей в доменных службах Microsoft Entra.

Примечание.

Первые шесть символов имени кластера ESP должно быть уникальными в вашей среде. Например, если имеется несколько кластеров ESP в разных виртуальных сетях, следует использовать соглашение об именовании, гарантирующее, что первые шесть символов имени кластера будут уникальными.

После включения ESP распространенные неправильные настройки, связанные с доменными службами Microsoft Entra, автоматически обнаруживаются и проверяются. После исправления этих ошибок можно переходить к следующему шагу.

При создании кластера HDInsight с корпоративным пакетом безопасности необходимо указать следующие параметры.

• Пользователь администратора кластера: выберите администратора кластера из синхронизированного экземпляра доменных служб Microsoft Entra. Эта учетная запись домена должна быть уже синхронизирована и доступна в доменных службах Microsoft Entra.

• Группы доступа к кластеру: группы безопасности, пользователи которых хотите синхронизировать и имеют доступ к кластеру, должны быть доступны в доменных службах Microsoft Entra. Примером является группа HiveUsers. Дополнительные сведения см. в разделе "Создание группы" и добавление участников в идентификатор Microsoft Entra.

• URL-адрес LDAPS. Пример: ldaps://contoso.com:636.

Созданное управляемое удостоверение можно выбрать из раскрывающегося списка Назначаемые пользователем управляемые удостоверения при создании нового кластера.

.

Следующие шаги

• Сведения о настройке политик Hive и выполнении запросов Hive см. в статье Настройка политик Apache Hive в HDInsight с Корпоративным пакетом безопасности.
• Сведения о подключении к кластерам HDInsight с корпоративным пакетом безопасности с использованием SSH см. в разделе Проверка подлинности при использовании присоединенного к домену кластера HDInsight.