HDInsight-clusters configureren voor Microsoft Entra-integratie met Enterprise Security Package

Dit artikel bevat een overzicht en een overzicht van het proces voor het maken en configureren van een HDInsight-cluster dat is geïntegreerd met Microsoft Entra ID. Deze integratie is afhankelijk van een HDInsight-functie met de naam Enterprise Security Package (ESP), Microsoft Entra Domain Services en uw bestaande on-premises Active Directory.

Zie Enterprise Security Package-clusters maken en configureren in Azure HDInsight voor een gedetailleerde, stapsgewijze zelfstudie over het instellen en configureren van een domein in Azure en het maken van een ESP-cluster en het synchroniseren van on-premises gebruikers.

Achtergrond

Enterprise Security Package (ESP) biedt Active Directory-integratie voor Azure HDInsight. Met deze integratie kunnen domeingebruikers hun domeinreferenties gebruiken om te verifiëren met HDInsight-clusters en big data-taken uit te voeren.

Notitie

ESP is algemeen beschikbaar in HDInsight 4.0 en 5.0 voor deze clustertypen: Apache Spark, Interactive, Hadoop, Apache Kafka en HBase. ESP-clusters die zijn gemaakt vóór de algemene beschikbaarheidsdatum van ESP (1 oktober 2018) worden niet ondersteund.

Vereisten

Er zijn enkele vereisten die moeten worden voltooid voordat u een HDInsight-cluster met ESP kunt maken:

• Een bestaande on-premises Active Directory- en Microsoft Entra-id.
• Schakel Microsoft Entra Domain Services in.
• Controleer de status van Microsoft Entra Domain Services om te controleren of de synchronisatie is voltooid.
• Een beheerde identiteit maken en autoriseren.
• Voltooi de netwerkinstallatie voor DNS en gerelateerde problemen.

Elk van deze items wordt in detail besproken. Zie Enterprise Security Package-clusters maken en configureren in Azure HDInsight voor een overzicht van het voltooien van al deze stappen.

Microsoft Entra Domain Services inschakelen.

Het inschakelen van Microsoft Entra Domain Services is een vereiste voordat u een HDInsight-cluster met ESP kunt maken. Zie Microsoft Entra Domain Services inschakelen met behulp van Azure Portal voor meer informatie.

Wanneer Microsoft Entra Domain Services is ingeschakeld, beginnen alle gebruikers en objecten standaard te synchroniseren van Microsoft Entra ID naar Microsoft Entra Domain Services. De lengte van de synchronisatiebewerking is afhankelijk van het aantal objecten in Microsoft Entra-id. De synchronisatie kan enkele dagen duren voordat er honderdduizenden objecten zijn.

De domeinnaam die u met Microsoft Entra Domain Services gebruikt, moet 39 tekens of minder zijn om met HDInsight te werken.

U kunt ervoor kiezen om alleen de groepen te synchroniseren die toegang nodig hebben tot de HDInsight-clusters. Deze optie voor het synchroniseren van alleen bepaalde groepen wordt synchronisatie binnen het bereik genoemd. Zie Bereiksynchronisatie van Microsoft Entra-id configureren voor uw beheerde domein voor instructies.

Wanneer u Secure LDAP inschakelt, plaatst u de domeinnaam in de onderwerpnaam. En de alternatieve naam van het onderwerp in het certificaat. Als uw domeinnaam is contoso100.onmicrosoft.com, controleert u of de exacte naam bestaat in de onderwerpnaam van uw certificaat en alternatieve onderwerpnaam. Zie Secure LDAP configureren voor een door Microsoft Entra Domain Services beheerd domein voor meer informatie.

In het volgende voorbeeld wordt een zelfondertekend certificaat gemaakt. De domeinnaam contoso100.onmicrosoft.com zich in zowel Subject (onderwerpnaam) als DnsName (alternatieve onderwerpnaam).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Notitie

Alleen tenantbeheerders hebben de bevoegdheden om Microsoft Entra Domain Services in te schakelen. Als de clusteropslag Azure Data Lake Storage Gen1 of Gen2 is, moet u Meervoudige Verificatie van Microsoft Entra alleen uitschakelen voor gebruikers die toegang nodig hebben tot het cluster met behulp van eenvoudige Kerberos-verificatie. Als uw organisatie meervoudige verificatie vereist, kunt u de HDInsight ID Broker-functie gebruiken.

U kunt vertrouwde IP-adressen of voorwaardelijke toegang gebruiken om meervoudige verificatie voor specifieke gebruikers alleen uit te schakelen wanneer ze toegang hebben tot het IP-bereik voor het virtuele netwerk van het HDInsight-cluster.

Als de clusteropslag Azure Blob Storage is, schakelt u meervoudige verificatie niet uit.

Status van Microsoft Entra Domain Services controleren

Bekijk de status van Microsoft Entra Domain Services door Health te selecteren in de categorie Beheren. Zorg ervoor dat de status van Microsoft Entra Domain Services groen is (actief) en dat de synchronisatie is voltooid.

Een beheerde identiteit maken en autoriseren

Gebruik een door de gebruiker toegewezen beheerde identiteit om beveiligde domeinservices te vereenvoudigen. Wanneer u de rol HDInsight Domain Services-inzender toewijst aan de beheerde identiteit, kan deze bewerkingen voor domeinservices lezen, maken, wijzigen en verwijderen.

Bepaalde domeinservicesbewerkingen, zoals het maken van OE's en service-principals, zijn nodig voor HDInsight Enterprise Security Package. U kunt beheerde identiteiten maken in elk abonnement. Zie Beheerde identiteiten voor Azure-resources voor meer informatie over beheerde identiteiten in het algemeen. Zie Beheerde identiteiten in Azure HDInsight voor meer informatie over hoe beheerde identiteiten werken in Azure HDInsight.

Als u ESP-clusters wilt instellen, maakt u een door de gebruiker toegewezen beheerde identiteit als u er nog geen hebt. Zie Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Wijs vervolgens de rol HDInsight Domain Services-inzender toe aan de beheerde identiteit in Toegangsbeheer voor Microsoft Entra Domain Services. U hebt beheerdersbevoegdheden van Microsoft Entra Domain Services nodig om deze roltoewijzing te maken.

Als u de rol HDInsight Domain Services-inzender toewijst, zorgt u ervoor dat deze identiteit over de juiste (on behalf of) toegang beschikt om domeinservicesbewerkingen uit te voeren op het domein Van Microsoft Entra Domain Services. Deze bewerkingen omvatten het maken en verwijderen van OE's.

Nadat de beheerde identiteit de rol heeft gekregen, beheert de Microsoft Entra Domain Services-beheerder wie deze gebruikt. Eerst selecteert de beheerder de beheerde identiteit in de portal. Selecteer vervolgens Toegangsbeheer (IAM) onder Overzicht. De beheerder wijst de rol Managed Identity Operator toe aan gebruikers of groepen die ESP-clusters willen maken.

De beheerder van Microsoft Entra Domain Services kan deze rol bijvoorbeeld toewijzen aan de groep MarketingTeam voor de beheerde identiteit van sjmsi . In de volgende afbeelding ziet u een voorbeeld. Deze toewijzing zorgt ervoor dat de juiste personen in de organisatie de beheerde identiteit kunnen gebruiken om ESP-clusters te maken.

Netwerkconfiguratie

Notitie

Microsoft Entra Domain Services moet worden geïmplementeerd in een virtueel netwerk op basis van Azure Resource Manager. Klassieke virtuele netwerken worden niet ondersteund voor Microsoft Entra Domain Services. Zie Microsoft Entra Domain Services inschakelen met behulp van Azure Portal voor meer informatie.

Schakel Microsoft Entra Domain Services in. Vervolgens wordt een lokale DNS-server (Domain Name System) uitgevoerd op de virtuele Active Directory-machines (VM's). Configureer uw virtuele Microsoft Entra Domain Services-netwerk om deze aangepaste DNS-servers te gebruiken. Als u de juiste IP-adressen wilt vinden, selecteert u Eigenschappen in de categorie Beheren en kijkt u onder IP-ADRES OP VIRTUEEL NETWERK.

Wijzig de configuratie van de DNS-servers in het virtuele netwerk van Microsoft Entra Domain Services. Als u deze aangepaste IP-adressen wilt gebruiken, selecteert u DNS-servers in de categorie Instellingen. Selecteer vervolgens de optie Aangepast , voer het eerste IP-adres in het tekstvak in en selecteer Opslaan. Voeg meer IP-adressen toe met behulp van dezelfde stappen.

Het is eenvoudiger om zowel het Microsoft Entra Domain Services-exemplaar als het HDInsight-cluster in hetzelfde virtuele Azure-netwerk te plaatsen. Als u van plan bent om verschillende virtuele netwerken te gebruiken, moet u deze virtuele netwerken koppelen zodat de domeincontroller zichtbaar is voor HDInsight-VM's. Zie Peering voor virtuele netwerken voor meer informatie.

Nadat de virtuele netwerken zijn gekoppeld, configureert u het virtuele HDInsight-netwerk om een aangepaste DNS-server te gebruiken. Voer de privé-IP-adressen van Microsoft Entra Domain Services in als de DNS-serveradressen. Wanneer beide virtuele netwerken dezelfde DNS-servers gebruiken, wordt uw aangepaste domeinnaam omgezet naar het juiste IP-adres en is deze bereikbaar vanuit HDInsight. Als uw domeinnaam bijvoorbeeld is contoso.com, moet na deze stap ping contoso.com worden omgezet naar het juiste IP-adres van Microsoft Entra Domain Services.

Als u regels voor netwerkbeveiligingsgroepen (NSG) in uw HDInsight-subnet gebruikt, moet u de vereiste IP-adressen toestaan voor zowel inkomend als uitgaand verkeer.

Als u de installatie van uw netwerk wilt testen, voegt u een Virtuele Windows-machine toe aan het virtuele HDInsight-netwerk/subnet en pingt u de domeinnaam. (Deze moet worden omgezet in een IP.) Voer ldp.exe uit om toegang te krijgen tot het domein Microsoft Entra Domain Services. Voeg vervolgens deze Windows-VM toe aan het domein om te bevestigen dat alle vereiste RPC-aanroepen tussen de client en de server slagen.

Gebruik nslookup om de netwerktoegang tot uw opslagaccount te bevestigen. Of een externe database die u kunt gebruiken (bijvoorbeeld externe Hive-metastore of Ranger DB). Zorg ervoor dat de vereiste poorten zijn toegestaan in de NSG-regels van het Subnet van Microsoft Entra Domain Services als een NSG Microsoft Entra Domain Services beveiligt. Als het toevoegen van het domein van deze Windows-VM is geslaagd, kunt u doorgaan met de volgende stap en ESP-clusters maken.

Een HDInsight-cluster maken met ESP

Nadat u de vorige stappen correct hebt ingesteld, is de volgende stap het maken van het HDInsight-cluster waarvoor ESP is ingeschakeld. Wanneer u een HDInsight-cluster maakt, kunt u Enterprise Security Package inschakelen op het tabblad Beveiliging en netwerken . Gebruik de portal-ervaring eenmaal voor een Azure Resource Manager-sjabloon voor implementatie. Download vervolgens de vooraf ingevulde sjabloon op de pagina Beoordelen en maken voor toekomstig hergebruik.

U kunt ook de HDInsight ID Broker-functie inschakelen tijdens het maken van het cluster. Met de functie ID Broker kunt u zich aanmelden bij Ambari met behulp van meervoudige verificatie en de vereiste Kerberos-tickets ophalen zonder dat u wachtwoordhashes nodig hebt in Microsoft Entra Domain Services.

Notitie

De eerste zes tekens van de ESP-clusternamen moeten uniek zijn in uw omgeving. Als u bijvoorbeeld meerdere ESP-clusters in verschillende virtuele netwerken hebt, kiest u een naamconventie die ervoor zorgt dat de eerste zes tekens op de clusternamen uniek zijn.

Nadat u ESP hebt ingeschakeld, worden veelvoorkomende onjuiste configuraties met betrekking tot Microsoft Entra Domain Services automatisch gedetecteerd en gevalideerd. Nadat u deze fouten hebt opgelost, kunt u doorgaan met de volgende stap.

Wanneer u een HDInsight-cluster met ESP maakt, moet u de volgende parameters opgeven:

• Gebruiker van clusterbeheerder: kies een beheerder voor uw cluster vanuit uw gesynchroniseerde Microsoft Entra Domain Services-exemplaar. Dit domeinaccount moet al zijn gesynchroniseerd en beschikbaar zijn in Microsoft Entra Domain Services.

• Clustertoegangsgroepen: de beveiligingsgroepen waarvan u gebruikers wilt synchroniseren en toegang tot het cluster moeten beschikbaar zijn in Microsoft Entra Domain Services. Een voorbeeld is de groep HiveUsers. Zie Een groep maken en leden toevoegen in Microsoft Entra-id voor meer informatie.

• LDAPS-URL: een voorbeeld is ldaps://contoso.com:636.

De beheerde identiteit die u hebt gemaakt, kunt u kiezen uit de vervolgkeuzelijst door de gebruiker toegewezen beheerde identiteit wanneer u een nieuw cluster maakt.

.

Volgende stappen

• Zie Apache Hive-beleid configureren voor HDInsight-clusters met ESP voor het configureren van Hive-beleid en het uitvoeren van Hive-query's.
• Zie SSH gebruiken met Apache Hadoop op basis van Linux in HDInsight vanuit Linux, Unix of OS X voor het gebruik van SSH om verbinding te maken met HDInsight-clusters met ESP.