Configurar um cluster HDInsight com o Enterprise Security Package usando o Azure Active Directory Domain Services DSConfigure a HDInsight cluster with Enterprise Security Package by using Azure Active Directory Domain Services

Clusters de Enterprise Security Package fornecem acesso de vários usuários em clusters de HDInsight do Azure.Enterprise Security Package (ESP) clusters provide multi-user access on Azure HDInsight clusters. Clusters de HDInsight com ESP estão conectados a um domínio para que os usuários do domínio podem usar suas credenciais de domínio para autenticar com os clusters e executar trabalhos de big data.HDInsight clusters with ESP are connected to a domain so that domain users can use their domain credentials to authenticate with the clusters and run big data jobs.

Neste artigo, você aprenderá como configurar um cluster HDInsight com ESP usando o Azure Active Directory Domain Services (AD do Azure-DS).In this article, you learn how to configure a HDInsight cluster with ESP by using Azure Active Directory Domain Services (Azure AD-DS).

Observação

O ESP está geralmente disponível no HDInsight 3,6 e 4,0 para tipos de cluster: Apache Spark, interativo, Apache Hadoop e HBase.ESP is generally available in HDInsight 3.6 and 4.0 for cluster types: Apache Spark, Interactive, Apache Hadoop and HBase. O ESP para Apache Kafka tipo de cluster está em versão prévia.ESP for Apache Kafka cluster type is in preview.

Habilitar o Microsoft Azure Active Directory DSEnable Azure AD-DS

Observação

Somente administradores de inquilinos têm os privilégios para habilitar o Azure Active Directory -DS.Only tenant administrators have the privileges to enable Azure AD-DS. Se o armazenamento de cluster for Azure Data Lake Storage (ADLS) Gen1 ou Gen2, você deverá desabilitar a MFA (autenticação multifator) somente para os usuários que precisarem acessar o cluster usando as autenticações Kerberos básicas.If the cluster storage is Azure Data Lake Storage (ADLS) Gen1 or Gen2, you must disable Multi-Factor Authentication (MFA) only for users who will need to access the cluster using basic Kerberos authentications. Você pode usar IPs confiáveis ou acesso condicional para desabilitar a MFA para usuários específicos somente quando eles estiverem acessando o intervalo de IP de VNET do cluster HDInsight.You can use trusted IPs or Conditional Access to disable MFA for specific users ONLY when they are accessing the HDInsight cluster VNET IP range. Se você estiver usando o acesso condicional, verifique se o ponto de extremidade de serviço do AD está habilitado na VNET do HDInsight.If you are using Conditional Access please make sure that AD service endpoint in enabled on the HDInsight VNET.

Se o armazenamento de cluster for o Armazenamento de Blobs do Azure (WASB), não desabilite a MFA.If the cluster storage is Azure Blob Storage (WASB), do not disable MFA.

Habilitar o Azure AD-DS é um pré-requisito antes de criar um cluster HDInsight com ESP.Enabling AzureAD-DS is a prerequisite before you can create a HDInsight cluster with ESP. Para obter mais informações, consulte Enable Azure Active Directory Domain Services using the Azure portal (Habilitar o Azure Active Directory Domain Services usando o Portal do Azure).For more information, see Enable Azure Active Directory Domain Services using the Azure portal.

Quando o Azure AD-DS é habilitado, todos os usuários e objetos começam a ser sincronizados do AAD (Azure Active Directory) para o Azure AD-DS por padrão.When Azure AD-DS is enabled, all users and objects start synchronizing from Azure Active Directory (AAD) to Azure AD-DS by default. A duração da operação de sincronização depende do número de objetos no Azure AD.The length of the sync operation depends on the number of objects in Azure AD. A sincronização pode levar alguns dias para centenas de milhares de objetos.The sync could take a few days for hundreds of thousands of objects.

O nome de domínio que você usa com o Azure AD-DS deve ter 39 caracteres ou menos para trabalhar com o HDInsight.The domain name that you use with Azure AD-DS must be 39 characters or less, to work with HDInsight.

Você pode optar por sincronizar apenas os grupos que precisam de acesso aos clusters HDInsight.You can choose to sync only the groups that need access to the HDInsight clusters. Essa opção de sincronizar apenas determinados grupos é chamada de sincronização com escopo.This option of syncing only certain groups is called scoped synchronization. Consulte Configurar a sincronização com escopo do Microsoft Azure AD para um domínio gerenciado para ver as instruções.See Configure Scoped Synchronization from Azure AD to your managed domain for instructions.

Ao ativar o LDAP seguro, coloque o nome do domínio no nome do assunto e o nome alternativo do assunto no certificado.When enabling secure LDAP, put the domain name in the subject name and the subject alternative name in the certificate. Por exemplo, se o nome do domínio for contoso100.onmicrosoft.com, verifique se o nome exato existe no nome do assunto do certificado e no nome alternativo do assunto.For example, if your domain name is contoso100.onmicrosoft.com, make sure that exact name exists in your certificate subject name and subject alternative name. Para obter mais informações, consulte Configurar LDAP seguro para um domínio gerenciado do Microsoft Azure Active Directory DS.For more information, see Configure secure LDAP for an Azure AD-DS managed domain. Abaixo, há um exemplo de criação de um certificado autoassinado e o nome do domínio (contoso100.onmicrosoft.com) em Nome do assunto e nome do DNS (nome alternativo do assunto):Below is an example of creating a self-signed cert and have the domain name (contoso100.onmicrosoft.com) in both Subject name and DnsName (Subject alternate name):

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Verificar o status de integridade do Azure AD-DSCheck Azure AD-DS health status

Exiba o status de integridade dos Azure Active Directory Domain Services selecionando Integridade na categoria Gerenciar.View the health status of your Azure Active Directory Domain Services by selecting Health under the Manage category. Verifique se o status do Azure AD-DS está verde (em execução) e se a sincronização foi concluída.Make sure the status of Azure AD-DS is green (running) and the synchronization is complete.

Integridade do Azure Active Directory Domain Services

Criar e autorizar uma identidade gerenciadaCreate and Authorize a managed identity

Uma identidade gerenciada atribuída pelo usuário é usada para simplificar e proteger operações de serviços do domínio.A user-assigned managed identity is used to simplify and secure domain services operations. Quando você atribui a função de Colaborador de serviços de domínio do HDInsight para identidade gerenciada, ele pode ler, criar, modificar e excluir operações de serviços de domínio.When you assign the HDInsight Domain Services Contributor role to the managed identity, it can read, create, modify, and delete domain services operations. Determinadas operações de serviços de domínio, como a criação de UOs e entidades de serviço, são necessárias para o Enterprise Security Package do HDInsight.Certain domain services operations such as creating OUs and service principals are needed for the HDInsight Enterprise Security Package. As identidades gerenciadas podem ser criadas em qualquer assinatura.Managed identities can be created in any subscription. Para obter mais informações sobre identidades gerenciadas em geral, consulte identidades gerenciadas para recursos do Azure.For more information on managed identities in general, see Managed identities for Azure resources. Para obter mais informações sobre como as identidades gerenciadas funcionam no Azure HDInsight, consulte identidades gerenciadas no Azure hdinsight.For more information on how managed identities work in Azure HDInsight, see Managed identities in Azure HDInsight.

Para configurar clusters de ESP, crie uma identidade gerenciada atribuída pelo usuário, se você ainda não tiver uma.To set up ESP clusters, create a user-assigned managed identity if you don’t have one already. Confira Criar, listar, excluir ou atribuir uma função a uma identidade gerenciada atribuída pelo usuário usando o portal do Azure para obter instruções.See Create, list, delete, or assign a role to a user-assigned managed identity using the Azure portal for instructions. Em seguida, atribua a função Colaborador de serviços de domínio do HDInsight à identidade gerenciada no controle de acesso do Azure AD-DS (os privilégios de administrador do AAD-DS são necessários para fazer essa atribuição de função).Next, assign the HDInsight Domain Services Contributor role to the managed identity in Azure AD-DS Access control (AAD-DS admin privileges are required to make this role assignment).

Controle de acesso do Azure Active Directory Domain Services

Atribuir a função do Colaborador de Serviços de Domínio do HDInsight garante que essa identidade tenha acesso adequado (em nome de) para executar operações de serviços do domínio, como a criação de UOs, exclusões de UOs etc. no domínio do AAD-DS.Assigning the HDInsight Domain Services Contributor role ensures that this identity has proper (on behalf of) access to perform domain services operations such as creating OUs, deleting OUs, etc. on the AAD-DS domain.

Após a criação da identidade gerenciada e o recebimento da função correta, o administrador do AAD-DS pode definir quem pode usar essa identidade gerenciada.Once the managed identity is created and given the correct role, the AAD-DS admin can set up who can use this managed identity. Para configurar usuários para a identidade gerenciada, o administrador deve selecionar a identidade gerenciada no portal e depois clicar em Controle de Acesso (IAM) em Visão geral.To set up users for the managed identity, the admin should select the managed identity in the portal, then click Access Control (IAM) under Overview. Em seguida, à direita, atribua a função Operador de identidade gerenciada aos usuários ou grupos que desejam criar clusters HDInsight ESP.Then, on the right, assign the Managed Identity Operator role to the users or groups that want to create HDInsight ESP clusters. Por exemplo, o administrador do AAD-DS pode atribuir essa função ao grupo MarketingTeam para a identidade gerenciada do sjmsi , conforme mostrado na imagem a seguir.For example, the AAD-DS admin can assign this role to the MarketingTeam group for the sjmsi managed identity as shown in the following image. Isso garantirá que as pessoas certas na organização tenham acesso para usar essa identidade gerenciada com o objetivo de criar clusters de ESP.This will ensure that the right people in the organization have access to use this managed identity for the purpose of creating ESP clusters.

Atribuição da Função de Operador de Identidade Gerenciada do HDInsight

Considerações de redeNetworking considerations

Observação

Azure AD – o DS deve ser implantado em uma vNET baseada em Azure Resource Manager.Azure AD-DS must be deployed in an Azure Resource Manager based vNET. Redes virtuais clássicas não são suportadas pelo Azure AD-DS.Classic virtual networks are not supported for Azure AD-DS. Por favor, consulte Ativar os Serviços de Domínio do Active Directory do Azure usando o portal do Azure para obter mais detalhes.Please refer to Enable Azure Active Directory Domain Services using the Azure portal for more details.

Depois de habilitar o Azure AD-DS, um servidor DNS (Serviço de Nomes de Domínio) local é executado nas VMs (máquinas virtuais) do AD.After you enable Azure AD-DS, a local Domain Name Service (DNS) server runs on the AD Virtual Machines (VMs). Configure sua VNET (rede virtual) do Azure AD-DS para usar esses servidores DNS personalizados.Configure your Azure AD-DS Virtual Network (VNET) to use these custom DNS servers. Para localizar os endereços IP corretos, selecione Propriedades na categoria Gerenciar e examine os Endereços IP listados abaixo de Endereço IP na Rede Virtual.To locate the right IP addresses, select Properties under the Manage category and look at the IP Addresses listed beneath IP Address on Virtual Network.

Localizar endereços IP para servidores DNS locais

Altere a configuração dos servidores DNS na VNET do Azure AD-DS para usar esses IPs personalizados selecionando Servidores DNS na categoria Configurações.Change the configuration of the DNS servers in the Azure AD-DS VNET to use these custom IPs by selecting DNS Servers under the Settings category. Em seguida, clique no botão de opção ao lado de Personalizado, insira o primeiro endereço IP na caixa de texto abaixo e clique em Salvar.Then click the radio button next to Custom, enter the first IP Address in the text box below, and click Save. Adicione outros Endereços IP usando as mesmas etapas.Add additional IP Addresses using the same steps.

Atualizar a configuração do VNET DNS

É mais fácil colocar a instância do Microsoft Azure Active Directory DS e o cluster HDInsight na mesma rede virtual do Azure.It's easier to place both the Azure AD-DS instance and the HDInsight cluster in the same Azure virtual network. Se você planeja usar VNETs diferentes, emparelhe essas redes virtuais para que o controlador de domínio fique visível às VMs de HDI.If you plan to use different VNETs, you must peer those virtual networks so that the domain controller is visible to HDI VMs. Para obter mais informações, consulte Emparelhamento de rede virtual do Azure.For more information, see Virtual network peering.

Após o emparelhamento das VNETs, configure a VNET do HDInsight para usar um servidor DNS personalizado e insira os IPs privados do Azure AD-DS como os endereços de servidor DNS.After the VNETs are peered, configure the HDInsight VNET to use a custom DNS server and input the Azure AD-DS private IPs as the DNS server addresses. Quando as duas VNETs usarem os mesmos servidores DNS, seu nome de domínio personalizado será resolvido para o IP correto e será acessível do HDInsight.When both VNETs use the same DNS servers, your custom domain name will resolve to the right IP and will be reachable from HDInsight. Por exemplo, se o nome de contoso.com domínio for depois dessa etapa ping contoso.com , o deverá ser resolvido para o IP do Azure AD-DS correto.For example if your domain name is contoso.com then after this step, ping contoso.com should resolve to the right Azure AD-DS IP.

Configurar Servidores DNS Personalizados para VNET emparelhada

Se você estiver usando regras de NSG (Grupo de Segurança de Rede) em sua sub-rede do HDInsight, deverá permitir os IPs necessários para o tráfego de entrada e de saída.If you are using Network Security Groups (NSG) rules in your HDInsight subnet, you should allow the required IPs for both Inbound and Outbound traffic.

Para testar se sua rede estiver configurada corretamente, adicione uma VM do Windows à Sub-rede/VNET do HDInsight e execute o ping no nome de domínio (que deve resolver para um IP), depois execute ldp.exe para acessar o domínio do Azure AD-DS.To test if your networking is set up correctly, join a windows VM to the HDInsight VNET/Subnet and ping the domain name (it should resolve to an IP), then run ldp.exe to access Azure AD-DS domain. Em seguida, adicione essa VM do Windows ao domínio para confirmar que todas as chamadas RPC necessárias tenham êxito entre o cliente e o servidor.Then join this windows VM to the domain to confirm that all the required RPC calls succeed between the client and server. Você também pode usar nslookup para confirmar o acesso de rede à sua conta de armazenamento ou qualquer banco de dados externo que você possa usar (por exemplo, metastore externo do Hive ou banco de dados do Ranger DB).You can also use nslookup to confirm networking access to your storage account or any external DB you might use (for example, external Hive metastore or Ranger DB). Você deve certificar-se de que todas as portas necessárias estejam na lista de permissões nas regras do Grupo de Segurança de Rede da sub-rede AAD-DS, se o AAD-DS estiver protegido por um NSG.You should make sure that all of the required ports are whitelisted in the AAD-DS subnet Network Security Group rules, if AAD-DS is secured by an NSG. Se a junção de domínio dessa VM do Windows for bem-sucedida, você poderá prosseguir para a próxima etapa e criar clusters de ESP.If the domain joining of this windows VM is successful, then you can proceed to the next step and create ESP clusters.

Crie um cluster HDInsight com ESPCreate a HDInsight cluster with ESP

Após a configuração correta das etapas anteriores, a próxima etapa é criar o cluster HDInsight com ESP habilitado.After setting up the previous steps correctly, the next step is to create the HDInsight cluster with ESP enabled. Ao criar um cluster HDInsight, você pode habilitar o Enterprise Security Package na guia personalizada. Se você preferir usar um modelo do Azure Resource Manager para implantação, use a experiência do portal uma vez e baixe o modelo previamente preenchido na última página "Resumo" para reutilização futura.When you create an HDInsight cluster, you can enable Enterprise Security Package in the custom tab. If you prefer to use an Azure Resource Manager template for deployment, use the portal experience once and download the pre-filled template on the last "Summary" page for future reuse.

Observação

Os primeiros seis caracteres dos nomes de cluster do ESP devem ser exclusivos em seu ambiente.The first six characters of the ESP cluster names must be unique in your environment. Por exemplo, se você tem vários clusters ESP em diferentes VNETs, escolha uma convenção de nomenclatura que garanta que os primeiros seis caracteres nos nomes de cluster sejam exclusivos.For example, if you have multiple ESP clusters in different VNETs, you should choose a naming convension that ensures the first six characters on the cluster names are unique.

Validação de domínio do pacote de segurança empresarial do Azure HDInsight

Depois de habilitar o ESP, configurações incorretas comuns relacionadas a Microsoft Azure Active Directory DS serão automaticamente detectadas e validadas.Once you enable ESP, common misconfigurations related to Azure AD-DS will be automatically detected and validated. Depois de corrigir esses erros, você pode prosseguir com a próxima etapa:After fixing these errors, you can proceed with the next step:

Falha na validação de domínio do pacote de segurança empresarial do Azure HDInsight

Quando você cria um cluster HDInsight ingressado no domínio, você deve fornecer os seguintes parâmetros:When you create a HDInsight cluster with ESP, you must supply the following parameters:

  • Usuário administrador de cluster: Escolha um administrador para o cluster do Azure AD-DS sincronizado.Cluster admin user: Choose an admin for your cluster from your synced Azure AD-DS. Essa conta de domínio já deve estar sincronizada e disponível no Azure Active Directory-DS.This domain account must be already synced and available in Azure AD-DS.

  • Grupos de acesso de cluster: Os grupos de segurança cujos usuários você deseja sincronizar e ter acesso ao cluster devem estar disponíveis no Azure AD-DS.Cluster access groups: The security groups whose users you want to sync and have access to the cluster should be available in Azure AD-DS. Por exemplo, o grupo HiveUsers.For example, HiveUsers group. Para obter mais informações, consulte Criar um grupo e adicionar membros no Azure Active Directory.For more information, see Create a group and add members in Azure Active Directory.

  • URL de LDAPS: Um exemplo é ldaps://contoso.com:636.LDAPS URL: An example is ldaps://contoso.com:636.

A seguinte captura de tela mostra uma configuração bem-sucedida no portal do Azure:The following screenshot shows a successful configuration in the Azure portal:

Configuração dos Serviços de Domínio do Active Directory do Azure HDInsight ESP..

A identidade gerenciada criada por você pode ser escolhida no menu suspenso de identidade gerenciada atribuída pelo usuário durante a criação de um novo cluster.The managed identity you created can be chosen in from the user-assigned managed identity dropdown when creating a new cluster.

Configuração dos Serviços de Domínio do Active Directory do Azure HDInsight ESP..

Próximas etapasNext steps