Konfigurace clusterů HDInsight pro integraci Microsoft Entra s balíčkem zabezpečení podniku

Tento článek obsahuje souhrn a přehled procesu vytváření a konfigurace clusteru HDInsight integrovaného s ID Microsoft Entra. Tato integrace využívá funkci HDInsight s názvem Enterprise Security Package (ESP), Microsoft Entra Domain Services a vaše stávající místní Active Directory.

Podrobný kurz nastavení a konfigurace domény v Azure a vytvoření clusteru s podporou ESP a následné synchronizaci místních uživatelů najdete v tématu Vytvoření a konfigurace clusterů Enterprise Security Packages v Azure HDInsight.

Pozadí

Balíček zabezpečení podniku (ESP) poskytuje integraci služby Active Directory pro Azure HDInsight. Tato integrace umožňuje, aby uživatelé domény používali k ověřování vůči clusterům HDInsight a spouštění úloh velkých objemů dat své přihlašovací údaje domény.

Poznámka:

ESP je obecně k dispozici v HDInsight 4.0 a 5.0 pro tyto typy clusterů: Apache Spark, Interactive, Hadoop, Apache Kafka a HBase. Clustery ESP vytvořené před datem ga ESP (1. října 2018) se nepodporují.

Požadavky

Před vytvořením clusteru HDInsight s podporou ESP je potřeba splnit několik požadavků:

• Existující místní Active Directory a Microsoft Entra ID.
• Povolte službu Microsoft Entra Domain Services.
• Zkontrolujte stav služby Microsoft Entra Domain Services a ujistěte se, že synchronizace byla dokončena.
• Vytvoření a autorizace spravované identity
• Dokončete nastavení sítě pro DNS a související problémy.

Každá z těchto položek je podrobně popsána. Návod k dokončení všech těchto kroků najdete v tématu Vytvoření a konfigurace clusterů Enterprise Security Package ve službě Azure HDInsight.

Povolení Microsoft Entra Domain Services

Povolení služby Microsoft Entra Domain Services je předpokladem před vytvořením clusteru HDInsight s ESP. Další informace naleznete v tématu Povolení služby Microsoft Entra Domain Services pomocí webu Azure Portal.

Pokud je povolena služba Microsoft Entra Domain Services, všichni uživatelé a objekty se ve výchozím nastavení začnou synchronizovat z ID Microsoft Entra Domain Services do služby Microsoft Entra Domain Services. Délka operace synchronizace závisí na počtu objektů v ID Microsoft Entra. Synchronizace může trvat několik dní pro stovky tisíc objektů.

Pro práci se službou HDInsight musí být název domény, který používáte se službou Microsoft Entra Domain Services, 39 znaků nebo méně.

Můžete se rozhodnout synchronizovat jenom skupiny, které potřebují přístup ke clusterům HDInsight. Tato možnost synchronizace pouze určitých skupin se nazývá synchronizace s vymezeným oborem. Pokyny najdete v tématu Konfigurace synchronizace s vymezeným oborem z MICROSOFT Entra ID do vaší spravované domény.

Při povolování protokolu SECURE LDAP vložte název domény do názvu subjektu. A alternativní název subjektu v certifikátu. Pokud je název vaší domény contoso100.onmicrosoft.com, ujistěte se, že přesný název existuje v názvu subjektu certifikátu a alternativním názvu subjektu. Další informace naleznete v tématu Konfigurace protokolu LDAP zabezpečení pro spravovanou doménu služby Microsoft Entra Domain Services.

Následující příklad vytvoří certifikát podepsaný svým držitelem. Název domény contoso100.onmicrosoft.com je v názvu Subject subjektu i DnsName (alternativní název subjektu).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Poznámka:

Oprávnění k povolení služby Microsoft Entra Domain Services mají pouze správci tenanta. Pokud je úložištěm clusteru Azure Data Lake Storage Gen1 nebo Gen2, musíte zakázat vícefaktorové ověřování Microsoft Entra pouze pro uživatele, kteří budou potřebovat přístup ke clusteru pomocí základního ověřování Kerberos. Pokud vaše organizace vyžaduje vícefaktorové ověřování, zkuste použít funkci Zprostředkovatele ID SLUŽBY HDInsight.

Důvěryhodné IP adresy nebo podmíněný přístup můžete použít k zakázání vícefaktorového ověřování pro konkrétní uživatele pouze v případě, že přistupují k rozsahu IP adres pro virtuální síť clusteru HDInsight.

Pokud je úložištěm clusteru Azure Blob Storage, nezakažte vícefaktorové ověřování.

Kontrola stavu služby Microsoft Entra Domain Services

Stav služby Microsoft Entra Domain Services zobrazíte výběrem možnosti Stav v kategorii Spravovat . Ujistěte se, že je stav služby Microsoft Entra Domain Services zelený (spuštěný) a synchronizace je dokončená.

Vytvoření a autorizace spravované identity

Použijte spravovanou identitu přiřazenou uživatelem ke zjednodušení operací se zabezpečenými doménovým službami. Když přiřadíte roli Přispěvatel služby HDInsight Domain Services spravované identitě, může číst, vytvářet, upravovat a odstraňovat operace doménové služby.

Některé operace služeb domény, jako je vytváření organizačních jednotek a instančních objektů, jsou potřeba pro balíček zabezpečení služby HDInsight Enterprise. Spravované identity můžete vytvářet v libovolném předplatném. Další informace o spravovaných identitách obecně najdete v tématu Spravované identity pro prostředky Azure. Další informace o tom, jak spravované identity fungují ve službě Azure HDInsight, najdete v tématu Spravované identity ve službě Azure HDInsight.

Pokud chcete nastavit clustery ESP, vytvořte spravovanou identitu přiřazenou uživatelem, pokud ji ještě nemáte. Viz třída Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Dále přiřaďte roli Přispěvatel služby HDInsight Domain Services spravované identitě v řízení přístupu pro službu Microsoft Entra Domain Services. K přiřazení této role potřebujete oprávnění správce služby Microsoft Entra Domain Services.

Přiřazením role Přispěvatel služby HDInsight Domain Services zajistíte, že tato identita má správný (on behalf of) přístup k operacím doménových služeb v doméně služby Microsoft Entra Domain Services. Mezi tyto operace patří vytváření a odstraňování organizačních jednotek.

Po přiřazení spravované identity správce služby Microsoft Entra Domain Services spravuje, kdo ji používá. Nejprve správce vybere spravovanou identitu na portálu. Potom vybere řízení přístupu (IAM) v části Přehled. Správce přiřadí roli Operátor spravované identity uživatelům nebo skupinám, které chtějí vytvářet clustery ESP.

Správce služby Microsoft Entra Domain Services může například tuto roli přiřadit skupině MarketingTeam pro spravovanou identitu sjmsi . Příklad je znázorněn na následujícím obrázku. Toto přiřazení zajistí, že správné lidi v organizaci můžou používat spravovanou identitu k vytváření clusterů ESP.

Konfigurace sítě

Poznámka:

Služba Microsoft Entra Domain Services musí být nasazena ve virtuální síti založené na Azure Resource Manageru. Klasické virtuální sítě nejsou podporovány pro službu Microsoft Entra Domain Services. Další informace naleznete v tématu Povolení služby Microsoft Entra Domain Services pomocí webu Azure Portal.

Povolte službu Microsoft Entra Domain Services. Potom místní server DNS (Domain Name System) běží na virtuálních počítačích služby Active Directory. Nakonfigurujte virtuální síť Microsoft Entra Domain Services tak, aby používala tyto vlastní servery DNS. Chcete-li najít správné IP adresy, vyberte Vlastnosti v kategorii Spravovat a vyhledejte IP ADRESU VE VIRTUÁLNÍ SÍTI.

Změňte konfiguraci serverů DNS ve virtuální síti Microsoft Entra Domain Services. Pokud chcete použít tyto vlastní IP adresy, vyberte servery DNS v kategorii Nastavení. Potom vyberte možnost Vlastní , do textového pole zadejte první IP adresu a vyberte Uložit. Přidejte další IP adresy stejným postupem.

Umístění instance služby Microsoft Entra Domain Services i clusteru HDInsight ve stejné virtuální síti Azure je jednodušší. Pokud plánujete používat různé virtuální sítě, musíte tyto virtuální sítě propojit, aby byl řadič domény viditelný pro virtuální počítače HDInsight. Další informace najdete v tématu Partnerské vztahy virtuálních sítí.

Po vytvoření partnerského vztahu virtuálních sítí nakonfigurujte virtuální síť HDInsight tak, aby používala vlastní server DNS. A jako adresy serveru DNS zadejte privátní IP adresy služby Microsoft Entra Domain Services. Pokud obě virtuální sítě používají stejné servery DNS, váš vlastní název domény se přeloží na správnou IP adresu a je dostupný ze služby HDInsight. Pokud je contoso.comnapříklad název vaší domény , měl by se po tomto kroku ping contoso.com přeložit na správnou IP adresu služby Microsoft Entra Domain Services.

Pokud ve své podsíti HDInsight používáte pravidla skupiny zabezpečení sítě (NSG), měli byste povolit požadované IP adresy pro příchozí i odchozí provoz.

Pokud chcete otestovat nastavení sítě, připojte virtuální počítač s Windows k virtuální síti nebo podsíti HDInsight a odešlete příkaz ping na název domény. (Měl by se přeložit na IP adresu.) Spusťte ldp.exe pro přístup k doméně služby Microsoft Entra Domain Services. Potom připojte tento virtuální počítač s Windows k doméně a ověřte, že všechna požadovaná volání RPC mezi klientem a serverem budou úspěšná.

Pomocí nástroje nslookup potvrďte síťový přístup k vašemu účtu úložiště. Nebo jakoukoli externí databázi, kterou můžete použít (například externí metastore Hive nebo Ranger DB). Ujistěte se, že jsou požadované porty povolené v pravidlech NSG podsítě služby Microsoft Entra Domain Services, pokud skupina zabezpečení sítě zabezpečuje službu Microsoft Entra Domain Services. Pokud je připojení k doméně tohoto virtuálního počítače s Windows úspěšné, můžete pokračovat dalším krokem a vytvořit clustery ESP.

Vytvoření clusteru HDInsight s ESP

Po správném nastavení předchozích kroků je dalším krokem vytvoření clusteru HDInsight s povoleným ESP. Při vytváření clusteru HDInsight můžete povolit balíček zabezpečení podniku na kartě Zabezpečení a sítě . Pro šablonu Azure Resource Manageru pro nasazení použijte prostředí portálu jednou. Pak si stáhněte předem vyplněnou šablonu na stránce Zkontrolovat a vytvořit pro budoucí použití.

Funkci Zprostředkovatele ID SLUŽBY HDInsight můžete také povolit při vytváření clusteru. Funkce zprostředkovatele ID umožňuje přihlásit se k Ambari pomocí vícefaktorového ověřování a získat požadované lístky Kerberos, aniž byste museli v Microsoft Entra Domain Services potřebovat hodnoty hash hesel.

Poznámka:

Prvních šest znaků názvů clusterů ESP musí být ve vašem prostředí jedinečné. Pokud máte například několik clusterů ESP v různých virtuálních sítích, zvolte konvenci pojmenování, která zajistí, že prvních šest znaků v názvech clusteru bude jedinečné.

Po povolení ESP se automaticky zjistí a ověří běžné chybné konfigurace související se službou Microsoft Entra Domain Services. Po opravě těchto chyb můžete pokračovat dalším krokem.

Při vytváření clusteru HDInsight s ESP musíte zadat následující parametry:

• Uživatel správce clusteru: Zvolte správce vašeho clusteru z synchronizované instance služby Microsoft Entra Domain Services. Tento účet domény musí být již synchronizovaný a dostupný ve službě Microsoft Entra Domain Services.

• Skupiny přístupu ke clusteru: Skupiny zabezpečení, jejichž uživatele chcete synchronizovat a mají přístup ke clusteru, by měly být dostupné ve službě Microsoft Entra Domain Services. Příkladem je skupina HiveUsers. Další informace naleznete v tématu Vytvoření skupiny a přidání členů v Microsoft Entra ID.

• Adresa URL LDAPS: Příkladem je ldaps://contoso.com:636.

Spravovanou identitu, kterou jste vytvořili, si můžete vybrat z rozevíracího seznamu spravovaná identita přiřazená uživatelem při vytváření nového clusteru.

.

Další kroky

• Informace o konfiguraci zásad Hive a spouštění dotazů Hive najdete v tématu Konfigurace zásad Apache Hivu pro clustery HDInsight pomocí ESP.
• Informace o použití SSH pro připojení ke clusterům HDInsight s ESP najdete v tématu Použití SSH s Linuxem Apache Hadoop ve službě HDInsight ze systému Linux, Unix nebo OS X.