Configurar clusters do HDInsight para a integração do Azure Active Directory no Pacote de Segurança Enterprise

Este artigo fornece um resumo e uma visão geral do processo de criação e configuração de um cluster HDInsight integrado com o Azure Ative Directory. Esta integração baseia-se num recurso HDInsight chamado Enterprise Security Package (ESP), Azure Ative Directory Domain Services (Azure AD-DS) e no seu Diretório Ativo pré-existente no local.

Para um tutorial detalhado e passo a passo sobre a criação e configuração de um domínio em Azure e a criação de um cluster habilitado para o ES e, em seguida, sincronizar os utilizadores no local, consulte criar e configurar clusters de pacotes de segurança empresarial em Azure HDInsight.

Fundo

O Pacote de Segurança Enterprise (ESP) proporciona a integração do Active Directory para o Azure HDInsight. Esta integração permite que os utilizadores de domínio utilizem as credenciais de domínio na autenticação com clusters do HDInsight e execução de trabalhos de macrodados.

Nota

O ESP está geralmente disponível em HDInsight 3.6 e 4.0 para estes tipos de cluster: Apache Spark, Interactive, Hadoop e HBase. ESP para o tipo de cluster Apache Kafka está em pré-visualização apenas com o melhor suporte de esforço. Os clusters ESP criados antes da data do ESP GA (1 de outubro de 2018) não são suportados.

Pré-requisitos

Existem alguns pré-requisitos para completar antes de poder criar um cluster HDInsight habilitado a EST:

  • Um Diretório Ativo existente no local e diretório ativo Azure.
  • Ativar a ad-ds Azure.
  • Verifique o estado de saúde do Azure AD-DS para garantir a sincronização concluída.
  • Criar e autorizar uma identidade gerida.
  • Configuração completa de rede para DNS e questões relacionadas.

Cada um destes itens será discutido em detalhe abaixo. Para uma passagem de todos estes passos, consulte Criar e configurar clusters de Pacotes de Segurança Empresarial em Azure HDInsight.

Ativar o Azure AD DS

Permitir que o Azure AD DS seja um pré-requisito antes de poder criar um cluster HDInsight com ESP. Para obter mais informações, consulte Enable Azure Ative Directory Domain Services utilizando o portal Azure.

Quando o Azure AD DS está ativado, todos os utilizadores e objetos começam a sincronizar de Azure Ative Directory (Azure AD) para Azure AD DS por padrão. O comprimento da operação de sincronização depende do número de objetos em Azure AD. A sincronização pode levar alguns dias para centenas de milhares de objetos.

O nome de domínio que utiliza com Azure AD DS deve ter 39 caracteres ou menos, para trabalhar com HDInsight.

Pode optar por sincronizar apenas os grupos que precisam de acesso aos clusters HDInsight. Esta opção de sincronizar apenas certos grupos é chamada de sincronização de âmbito. Para obter instruções, consulte a sincronização de configure scoped da AD AD para o seu domínio gerido.

Quando estiver a ativar lDAP seguro, coloque o nome de domínio no nome do assunto. E o nome alternativo do sujeito no certificado. Se o seu nome de domínio for contoso100.onmicrosoft.com, certifique-se de que o nome exato existe no nome do seu certificado e nome alternativo sujeito. Para obter mais informações, consulte Configure secure LDAP para um domínio gerido Azure AD DS.

O exemplo a seguir cria um certificado auto-assinado. O nome de domínio contoso100.onmicrosoft.com está em ambos Subject (nome do sujeito) e DnsName (nome alternativo sujeito).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Nota

Apenas os administradores de inquilinos têm os privilégios de permitir a Azure AD DS. Se o armazenamento de cluster for o Azure Data Lake Storage Gen1 ou Gen2, tem de desativar o Azure AD Multifactor Authentication apenas para os utilizadores que precisarão de aceder ao cluster com autenticação Kerberos básica. Se a sua organização necessitar de autenticação multi-factor, tente utilizar a função hdInsight ID Broker.

Pode utilizar IPs fidedignos ou Acesso Condicional para desativar a autenticação multi-factor para utilizadores específicos apenas quando estiverem a aceder à gama IP para a rede virtual do cluster HDInsight.

Se o armazenamento do cluster for o armazenamento Azure Blob, não desative a autenticação multi-factor.

Verifique o estado de saúde da Azure AD DS

Consulte o estado de saúde dos Serviços de Domínio do Diretório Ativo Azure selecionando Saúde na categoria Gerir . Certifique-se de que o estado do Azure AD DS é verde (em funcionamento) e que a sincronização está completa.

Azure AD DS health

Criar e autorizar uma identidade gerida

Utilize uma identidade gerida atribuída ao utilizador para simplificar as operações de serviços de domínio seguros. Quando atribui a função de Contribuinte de Serviços de Domínio HDInsight à identidade gerida, pode ler, criar, modificar e eliminar operações de serviços de domínio.

Certas operações de serviços de domínio, tais como a criação de OUs e principais de serviços, são necessárias para o Pacote de Segurança Empresarial HDInsight. Pode criar identidades geridas em qualquer subscrição. Para obter mais informações sobre identidades geridas em geral, consulte identidades geridas para recursos Azure. Para obter mais informações sobre como as identidades geridas funcionam em Azure HDInsight, consulte identidades geridas em Azure HDInsight.

Para configurar clusters ESP, crie uma identidade gerida atribuída ao utilizador se ainda não tiver uma. Consulte Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Em seguida, atribua o papel de Contribuinte de Serviços de Domínio HDInsight à identidade gerida no controlo access para Azure AD DS. Precisa de privilégios administrativos da Azure AD DS para fazer esta tarefa.

Azure Active Directory Domain Services Access control

A atribuição da função hdInsight Domain Services Contributor garante que esta identidade tem acesso () adequadoon behalf of para fazer operações de serviços de domínio no domínio Azure AD DS. Estas operações incluem a criação e eliminação de OUs.

Após a identidade gerida ser dada o papel, o administrador Azure AD DS gere quem a utiliza. Primeiro, o administrador seleciona a identidade gerida no portal. Em seguida, selecione Access Control (IAM) sob visão geral. O administrador atribui a função de Operador de Identidade Gerida a utilizadores ou grupos que pretendam criar clusters ESP.

Por exemplo, o administrador Azure AD DS pode atribuir este papel ao grupo MarketingTeam para a identidade gerida pela SJMSI . Um exemplo é mostrado na imagem seguinte. Esta atribuição garante que as pessoas certas na organização podem usar a identidade gerida para criar clusters ESP.

HDInsight Managed Identity Operator Role Assignment

Configuração de rede

Nota

O Azure AD DS deve ser implantado numa rede virtual baseada no Azure Resource Manager. As redes virtuais clássicas não são suportadas pelo Azure AD DS. Para obter mais informações, consulte Enable Azure Ative Directory Domain Services utilizando o portal Azure.

Ativar a ad ds Azure. Em seguida, um servidor local do Sistema de Nome de Domínio (DNS) funciona nas máquinas virtuais do Ative Directory (VMs). Configure a sua rede virtual Azure AD DS para utilizar estes servidores DNS personalizados. Para localizar os endereços IP certos, selecione Propriedades na categoria Gerir e procure em ENDEREÇO IP NA REDE VIRTUAL.

Locate IP addresses for local DNS servers

Altere a configuração dos servidores DNS na rede virtual Azure AD DS. Para utilizar estes IPs personalizados, selecione servidores DNS na categoria Definições . Em seguida, selecione a opção 'Personalizar ', introduza o primeiro endereço IP na caixa de texto e selecione Guardar. Adicione mais endereços IP utilizando os mesmos passos.

Updating the virtual network DNS configuration

É mais fácil colocar tanto a instância AD DS do Azure como o cluster HDInsight na mesma rede virtual Azure. Se planeia utilizar diferentes redes virtuais, deve espreitar essas redes virtuais para que o controlador de domínio seja visível para hdInsight VMs. Para mais informações, consulte o estado de observação da rede Virtual.

Depois de as redes virtuais serem espreitadas, configurar a rede virtual HDInsight para utilizar um servidor DNS personalizado. E insira os IPs privados Azure AD DS como endereços do servidor DNS. Quando ambas as redes virtuais utilizarem os mesmos servidores DNS, o nome de domínio personalizado resolverá para o IP certo e será acessível a partir de HDInsight. Por exemplo, se o seu nome de domínio for contoso.com, então após este passo, ping contoso.com deve resolver para o Azure AD DS IP direito.

Configuring custom DNS servers for a peered virtual network

Se estiver a utilizar as regras do grupo de segurança de rede (NSG) na sua sub-rede HDInsight, deve permitir os IPs necessários tanto para o tráfego de entrada como para a saída.

Para testar a configuração da sua rede, junte-se a um VM do Windows à rede virtual/sub-rede HDInsight e pingue o nome de domínio. (Deve resolver-se para um IP.) Executar ldp.exe para aceder ao domínio Azure AD DS. Em seguida, junte este Windows VM ao domínio para confirmar que todas as chamadas RPC necessárias têm sucesso entre o cliente e o servidor.

Utilize o nslookup para confirmar o acesso à rede à sua conta de armazenamento. Ou qualquer base de dados externa que possa utilizar (por exemplo, metásta de Colmeia externa ou Ranger DB). Certifique-se de que as portas necessárias são permitidas nas regras NSG da sub-rede Azure AD DS, se um NSG fixar Azure AD DS. Se a adesão de domínio a este Windows VM for bem sucedida, então pode continuar até ao passo seguinte e criar clusters ESP.

Criar um cluster HDInsight com ESP

Depois de configurar corretamente os passos anteriores, o próximo passo é criar o cluster HDInsight com ESP ativado. Quando criar um cluster HDInsight, pode ativar o Pacote de Segurança Empresarial no separador Segurança + Rede . Para um modelo de Gestor de Recursos Azure para implantação, utilize a experiência do portal uma vez. Em seguida, descarregue o modelo pré-preenchido na página 'Rever +' para futura reutilização.

Também pode ativar a funcionalidade hdInsight ID Broker durante a criação do cluster. A funcionalidade ID Broker permite-lhe iniciar sedutação em Ambari usando a Autenticação Multi-Factor e obter os bilhetes Kerberos necessários sem precisar de hashes de senha em Azure AD DS.

Nota

Os primeiros seis caracteres dos nomes do cluster ESP devem ser únicos no seu ambiente. Por exemplo, se tiver vários clusters ESP em diferentes redes virtuais, escolha uma convenção de nomeação que garanta que os primeiros seis caracteres nos nomes do cluster são únicos.

Domain validation for Azure HDInsight Enterprise Security Package

Depois de ativar o ESP, as configurações erradas comuns relacionadas com o Azure AD DS são automaticamente detetadas e validadas. Depois de corrigir estes erros, pode continuar com o próximo passo.

Azure HDInsight Enterprise Security Package failed domain validation

Quando criar um cluster HDInsight com ESP, deve fornecer os seguintes parâmetros:

  • Utilizador de administração de cluster: Escolha um administrador para o seu cluster a partir da sua instância AD DS sincronizada. Esta conta de domínio já deve estar sincronizada e disponível em Azure AD DS.

  • Grupos de acesso ao cluster: Os grupos de segurança cujos utilizadores pretende sincronizar e ter acesso ao cluster devem estar disponíveis no Azure AD DS. Um exemplo é o grupo HiveUsers. Para obter mais informações, consulte Criar um grupo e adicionar membros no Diretório Ativo Azure.

  • URL LDAPS: Um exemplo é ldaps://contoso.com:636.

A identidade gerida que criou pode ser escolhida a partir da lista de abandono de identidade gerida atribuída pelo Utilizador quando está a criar um novo cluster.

Azure HDInsight ESP Active Directory Domain Services managed identity .

Passos seguintes