Configurar clusters do HDInsight para integração do Microsoft Entra com o Enterprise Security Package

Este artigo fornece um resumo e uma visão geral do processo de criação e configuração de um cluster HDInsight integrado ao Microsoft Entra ID. Essa integração se baseia em um recurso do HDInsight chamado Enterprise Security Package (ESP), no Microsoft Entra Domain Services e em seu Active Directory local pré-existente.

Para obter um tutorial detalhado, passo a passo, sobre como configurar um domínio no Azure, criar um cluster habilitado para ESP e sincronizar usuários locais, consulte Criar e configurar clusters do Enterprise Security Package no Azure HDInsight.

Tela de fundo

O ESP (Enterprise Security Package) fornece integração ao Active Directory para o Azure HDInsight. Essa integração permite que os usuários do domínio usem suas credenciais de domínio para autenticação com clusters HDInsight e execução de trabalhos de big data.

Observação

O ESP está em disponibilidade geral no HDInsight 4.0 e 5.0 para estes tipos de cluster: Apache Spark, Interactive, Hadoop, Apache Kafka e HBase. Os clusters ESP criados antes da data de GA do ESP (1 de outubro de 2018) não têm suporte.

Pré-requisitos

Há alguns pré-requisitos para a criação de um cluster HDInsight habilitado para ESP:

• Um Active Directory local existente e o Microsoft Entra ID.
• Habilitar o Microsoft Entra Domain Services.
• Verifique o status de integridade do Microsoft Entra Domain Services para garantir que a sincronização tenha sido concluída.
• Crie e autorize uma identidade gerenciada.
• Conclua a configuração de Rede para DNS e problemas relacionados.

Cada um desses itens é discutido em detalhes. Para obter uma explicação passo a passo sobre como concluir todas essas etapas, consulte Criar e configurar clusters do Enterprise Security Package no Azure HDInsight.

Habilitar o Microsoft Entra Domain Services

A habilitação do Microsoft Entra Domain Services é um pré-requisito para que você possa criar um cluster HDInsight com ESP. Para obter mais informações, confira Habilitar o Microsoft Entra Domain Services utilizando o portal do Azure.

Quando o Microsoft Entra Domain Services está habilitado, todos os usuários e objetos começam que será sincronizados do Microsoft Entra ID para o Microsoft Entra Domain Services por padrão. A duração da operação de sincronização depende do número de objetos no Microsoft Entra ID. No caso de centenas de milhares de objetos, a sincronização pode levar alguns dias.

O nome de domínio que você usa com o Microsoft Entra Domain Services deve ter 39 caracteres ou menos, para funcionar com o HDInsight.

Os clientes podem optar por sincronizar apenas os grupos que precisam acessar os clusters HDInsight. Essa opção de sincronizar apenas determinados grupos é chamada de sincronização com escopo. Para obter instruções, confira Configurar a sincronização com escopo do Microsoft Entra ID para seu domínio gerenciado.

Quando você estiver habilitando o LDAP seguro, coloque o nome de domínio no nome da entidade. Coloque também o nome alternativo da entidade no certificado. Por exemplo, se o nome do domínio for contoso100.onmicrosoft.com, verifique se esse nome exato existe no nome do assunto do certificado e no nome alternativo do assunto. Para obter mais informações, consulte Configurar LDAP seguro para um domínio gerenciado do Microsoft Entra Domain Services.

O exemplo a seguir cria um certificado autoassinado. O nome de domínio contoso100.onmicrosoft.com está em ambos, Subject (nome da entidade) e DnsName (nome alternativo da entidade).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Observação

Somente os administradores de locatários têm privilégios para habilitar o Microsoft Entra Domain Services. Se o armazenamento do cluster for o Azure Data Lake Storage Gen1 ou Gen2, será necessário desabilitar a autenticação multifator do Microsoft Entra apenas para os usuários que precisarão acessar o cluster utilizando a autenticação Kerberos básica. Se sua organização exigir autenticação multifator, tente usar o recurso Agente de IDs do HDInsight.

Você pode utilizar IPs confiáveis ou Acesso Condicional para desabilitar a autenticação multifator para usuários específicos apenas quando eles estiverem acessando o intervalo de IP da rede virtual do cluster HDInsight.

Se o armazenamento do cluster for o Armazenamento de Blobs do Azure, não desabilite a autenticação multifator.

Verificar o status de integridade do Microsoft Entra Domain Services

Para exibir o status da integridade do Microsoft Entra Domain Services, selecione Integridade na categoria Gerenciar. Verifique se o status do Microsoft Entra Domain Services está verde (em execução) e se a sincronização foi concluída.

Criar e autorizar uma identidade gerenciada

Uma identidade gerenciada atribuída ao usuário é usada para simplificar e proteger operações de serviços do domínio. Quando você atribui a função de Colaborador de serviços de domínio do HDInsight, ele pode ler, criar, modificar e excluir operações de serviços de domínio.

Determinadas operações de serviços de domínio, como a criação de UOs e entidades de serviço, são necessárias ao HDInsight Enterprise Security Package. Você pode criar identidades gerenciadas em qualquer assinatura. Para obter mais informações sobre identidades gerenciadas, consulte Identidades gerenciadas para recursos do Azure. Para obter mais informações sobre como as identidades gerenciadas funcionam no Azure HDInsight, consulte Identidades gerenciadas no Azure HDInsight.

Para configurar clusters ESP, crie uma identidade gerenciada atribuída ao usuário, se você ainda não tiver uma. Consulte Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Em seguida, atribua a função Colaborador dos Serviços de Domínio do HDInsight à identidade gerenciada em Controle de Acesso para o Microsoft Entra Domain Services. Você precisa de privilégios de administrador do Microsoft Entra Domain Services para fazer essa atribuição de função.

Atribuir a função Colaborador dos Serviços de Domínio do HDInsight garante que essa identidade tenha acesso adequado (on behalf of) para realizar operações de serviços de domínio no domínio Microsoft Entra Domain Services. Essas operações incluem a criação e a exclusão de UOs.

Após a identidade gerenciada receber a função, o administrador do Microsoft Entra Domain Services gerenciará quem a utilizar. Primeiro, o administrador seleciona a identidade gerenciada no portal. Em seguida, seleciona Controle de acesso (IAM) em Visão geral. O administrador atribui a função de Operador de identidade gerenciada a usuários ou grupos que desejam criar clusters ESP.

Por exemplo, o administrador do Microsoft Entra Domain Services pode atribuir essa função ao grupo MarketingTeam para a identidade gerenciada sjmsi. Um exemplo é mostrado na imagem a seguir. Essa atribuição garante que as pessoas certas na organização possam usar a identidade gerenciada para criar clusters ESP.

Configuração de rede

Observação

O Microsoft Entra Domain Services deve ser implantado em uma rede virtual baseada no Azure Resource Manager. Não há suporte para redes virtuais clássicas no Microsoft Entra Domain Services. Para obter mais informações, confira Habilitar o Microsoft Entra Domain Services utilizando o portal do Azure.

Habilitar o Microsoft Entra Domain Services. Em seguida, um servidor DNS (Domain Name System) local é executado em VMs (máquinas virtuais) do Active Directory. Configure sua rede virtual do Microsoft Entra Domain Services para utilizar esses servidores DNS personalizados. Para localizar os endereços IP corretos, selecione Propriedades na categoria Gerenciar e procure em Endereço IP na rede virtual.

Altere a configuração dos servidores DNS na rede virtual do Microsoft Entra Domain Services. Para usar esses IPs personalizados, selecione Servidores DNS na categoria Configurações. Em seguida, selecione a opção Personalizado, insira o primeiro endereço IP na caixa de texto e selecione Salvar. Adicione mais endereços IP seguindo as mesmas etapas.

É mais fácil posicionar a instância do Microsoft Entra Domain Services e o cluster HDInsight na mesma rede virtual do Azure. Se você planeja usar diferentes redes virtuais, emparelhe-as para que o controlador de domínio fique visível às VMs do HDInsight. Para obter mais informações, consulte Emparelhamento de rede virtual do Azure.

Depois que as redes virtuais estiverem emparelhadas, configure a rede virtual do HDInsight para usar um servidor DNS personalizado. E insira os IPs privados do Microsoft Entra Domain Services como os endereços do servidor DNS. Quando ambas as redes virtuais utilizam os mesmos servidores DNS, seu nome de domínio personalizado é resolvido para o IP correto e pode ser acessado pelo HDInsight. Por exemplo, se seu nome de domínio for contoso.com, após essa etapa, ping contoso.com deverá ser resolvido para o IP correto do Microsoft Entra Domain Services.

Se você estiver usando regras de NSG (Grupo de Segurança de Rede) em sua sub-rede do HDInsight, deverá permitir os IPs necessários para os tráfego de entrada e de saída.

Para testar a configuração de rede, entre em uma VM do Windows na rede virtual/sub-rede do HDInsight e execute o ping no nome de domínio. (Ele deve ser resolvido para um IP.) Execute ldp.exe para acessar o domínio do Microsoft Entra Domain Services. Em seguida, adicione essa VM do Windows ao domínio para confirmar que todas as chamadas RPC necessárias tenham êxito entre o cliente e o servidor.

Use nslookup para confirmar o acesso à rede da sua conta de armazenamento. Ou qualquer banco de dados externo que você use (por exemplo, metastore do Hive externo ou Ranger DB). Certifique-se de que as portas necessárias estejam permitidas nas regras de NSG da sub-rede do Microsoft Entra Domain Services, se um NSG proteger o Microsoft Entra Domain Services. Se a junção de domínios dessa VM do Windows for bem-sucedida, você poderá passar à próxima etapa e criar clusters ESP.

Criar um cluster HDInsight com ESP

Após a configuração correta das etapas anteriores, a próxima é criar o cluster HDInsight com ESP habilitado. Ao criar um cluster HDInsight, você pode habilitar o Enterprise Security Package na guia Segurança + rede. Para um modelo de Azure Resource Manager para implantação, use a experiência do portal uma vez. Em seguida, baixe o modelo preenchido na página Examinar + criar para reutilização futura.

Você também pode habilitar o recurso Agente de IDs do HDInsight durante a criação do cluster. O recurso do Agente de IDs permite que você entre no Ambari utilizando autenticação multifator e obtenha os tíquetes Kerberos exigidos sem precisar de hashes de senha no Microsoft Entra Domain Services.

Observação

Os primeiros seis caracteres dos nomes de cluster do ESP devem ser exclusivos em seu ambiente. Por exemplo, se você tem vários clusters ESP em diferentes redes virtuais, escolha uma convenção de nomenclatura que garanta que os primeiros seis caracteres nos nomes dos clusters sejam exclusivos.

Após você habilitar o ESP, as configurações incorretas comuns relacionadas ao Microsoft Entra Domain Services são automaticamente detectadas e validadas. Após corrigir esses erros, você poderá passar à próxima etapa.

Quando você cria um cluster HDInsight com ESP, deve fornecer estes parâmetros:

• Usuário administrador do cluster: escolha um administrador para seu cluster a partir da instância sincronizada do Microsoft Entra Domain Services. Essa conta de domínio já deve estar sincronizada e disponível no Microsoft Entra Domain Services.

• Grupos de acesso ao cluster: os grupos de segurança cujos usuários você deseja sincronizar e têm acesso ao cluster devem estar disponíveis no Microsoft Entra Domain Services. Um exemplo é o grupo HiveUsers. Para obter mais informações, confira Criar um grupo e adicionar membros no Microsoft Entra ID.

• URL do LDAPS: um exemplo é ldaps://contoso.com:636.

A identidade gerenciada criada por você pode ser escolhida no menu suspenso Identidade gerenciada atribuída ao usuário durante a criação de um novo cluster.

.

Próximas etapas

• Para configurar as políticas do Hive e executar as consultas do Apache Hive, consulte Configurar políticas do Apache Hive para clusters HDInsight com ESP.
• Para usar SSH para conectar clusters HDInsight com ESP, consulte Usar SSH com Apache Hadoop baseado em Linux no HDInsight do Linux, Unix ou OS X.