Korzystanie z pakietu Enterprise Security w usłudze HDInsight

  • Artykuł

Standardowy klaster usługi Azure HDInsight to klaster pojedynczego użytkownika. Jest ona odpowiednia dla większości firm, które mają mniejsze zespoły ds. aplikacji tworzące duże obciążenia danych. Każdy użytkownik może utworzyć dedykowany klaster na żądanie i zniszczyć go, gdy nie jest już potrzebny.

Wiele przedsiębiorstw przeniosło się do modelu, w którym zespoły IT zarządzają klastrami, a wiele zespołów aplikacji współużytkuje klastry. Te większe przedsiębiorstwa potrzebują dostępu wielu użytkowników do każdego klastra w usłudze Azure HDInsight.

Usługa HDInsight korzysta z popularnego dostawcy tożsamości — usługi Active Directory — w zarządzany sposób. Integrując usługę HDInsight z usługami Microsoft Entra Domain Services, możesz uzyskać dostęp do klastrów przy użyciu poświadczeń domeny.

Maszyny wirtualne w usłudze HDInsight są przyłączone do podanej domeny. Dlatego wszystkie usługi działające w usłudze HDInsight (Apache Ambari, Apache Hive server, Apache Ranger, Apache Spark thrift server i inne) działają bezproblemowo dla uwierzytelnionego użytkownika. Administracja istratory mogą następnie tworzyć silne zasady autoryzacji przy użyciu platformy Apache Ranger w celu zapewnienia kontroli dostępu opartej na rolach dla zasobów w klastrze.

Integracja usługi HDInsight z usługą Active Directory

Platforma Apache Hadoop typu open source korzysta z protokołu Kerberos na potrzeby uwierzytelniania i zabezpieczeń. W związku z tym węzły klastra usługi HDInsight z pakietem Enterprise Security Package (ESP) są przyłączone do domeny zarządzanej przez usługi Microsoft Entra Domain Services. Zabezpieczenia protokołu Kerberos są skonfigurowane dla składników usługi Hadoop w klastrze.

Następujące elementy są tworzone automatycznie:

  • Jednostka usługi dla każdego składnika hadoop
  • Jednostka maszyny dla każdej maszyny przyłączonej do domeny
  • Jednostka organizacyjna (OU) dla każdego klastra do przechowywania tych jednostek usługi i maszyn

Podsumowując, należy skonfigurować środowisko przy użyciu:

  • Domena usługi Active Directory (zarządzana przez usługi Microsoft Entra Domain Services). Nazwa domeny musi zawierać co najmniej 39 znaków do pracy z usługą Azure HDInsight.
  • Protokół Secure LDAP (LDAPS) włączony w usługach Microsoft Entra Domain Services.
  • Poprawna łączność sieciowa z sieci wirtualnej usługi HDInsight z siecią wirtualną usług Microsoft Entra Domain Services, jeśli wybierzesz dla nich oddzielne sieci wirtualne. Maszyna wirtualna w sieci wirtualnej usługi HDInsight powinna mieć widok na usługi Microsoft Entra Domain Services za pośrednictwem komunikacji równorzędnej sieci wirtualnych. Jeśli usługi HDInsight i Microsoft Entra Domain Services są wdrażane w tej samej sieci wirtualnej, łączność jest dostarczana automatycznie i nie jest wymagana żadna dalsza akcja.

Konfigurowanie różnych kontrolerów domeny

Usługa HDInsight obecnie obsługuje tylko usługi Microsoft Entra Domain Services jako główny kontroler domeny używany przez klaster do komunikacji kerberos. Jednak inne złożone konfiguracje usługi Active Directory są możliwe, o ile taka konfiguracja prowadzi do włączenia usług Microsoft Entra Domain Services na potrzeby dostępu do usługi HDInsight.

Usługi domenowe Microsoft Entra

Microsoft Entra Domain Services udostępnia domenę zarządzaną, która jest w pełni zgodna z usługą Active Directory systemu Windows Server. Firma Microsoft zajmuje się zarządzaniem, stosowaniem poprawek i monitorowaniem domeny w konfiguracji wysokiej dostępności (HA). Klaster można wdrożyć bez obaw o konserwowanie kontrolerów domeny.

Użytkownicy, grupy i hasła są synchronizowane z identyfikatorem Entra firmy Microsoft. Jednokierunkowa synchronizacja z wystąpienia firmy Microsoft Entra z usługami Microsoft Entra Domain Services umożliwia użytkownikom logowanie się do klastra przy użyciu tych samych poświadczeń firmowych.

Aby uzyskać więcej informacji, zobacz Configure HDInsight clusters with ESP using Microsoft Entra Domain Services (Konfigurowanie klastrów usługi HDInsight przy użyciu usług Microsoft Entra Domain Services).

Lokalna usługa Active Directory lub usługa Active Directory na maszynach wirtualnych IaaS

Jeśli masz wystąpienie lokalna usługa Active Directory lub bardziej złożone konfiguracje usługi Active Directory dla domeny, możesz zsynchronizować te tożsamości z identyfikatorem Entra firmy Microsoft przy użyciu usługi Microsoft Entra Połączenie. Następnie można włączyć usługi Microsoft Entra Domain Services w tej dzierżawie usługi Active Directory.

Ponieważ protokół Kerberos opiera się na skrótach haseł, należy włączyć synchronizację skrótów haseł w usługach Microsoft Entra Domain Services.

Jeśli używasz federacji z usługami Active Directory Federation Services (AD FS), musisz włączyć synchronizację skrótów haseł. (Aby uzyskać zalecaną konfigurację, zobacz ten film wideo). Synchronizacja skrótów haseł pomaga w odzyskiwaniu po awarii w przypadku awarii infrastruktury usług AD FS, a także pomaga zapewnić ochronę przed wyciekiem poświadczeń. Aby uzyskać więcej informacji, zobacz Włączanie synchronizacji skrótów haseł z usługą Microsoft Entra Połączenie Sync.

Używanie lokalna usługa Active Directory lub usługi Active Directory na samych maszynach wirtualnych IaaS bez identyfikatora Microsoft Entra ID i microsoft Entra Domain Services nie jest obsługiwaną konfiguracją klastrów usługi HDInsight z esp.

Uwaga

Moduły usług Azure AD i MSOnline programu PowerShell są przestarzałe od 30 marca 2024 r. Aby dowiedzieć się więcej, przeczytaj aktualizację o wycofaniu. Po tej dacie obsługa tych modułów jest ograniczona do pomocy dotyczącej migracji do zestawu MICROSOFT Graph PowerShell SDK i poprawek zabezpieczeń. Przestarzałe moduły będą nadal działać do 30 marca 2025 r.

Zalecamy migrację do programu Microsoft Graph PowerShell w celu interakcji z identyfikatorem Entra firmy Microsoft (dawniej Azure AD). W przypadku typowych pytań dotyczących migracji zapoznaj się z często zadawanymi pytaniami dotyczącymi migracji. Uwaga: wersje 1.0.x usługi MSOnline mogą wystąpić zakłócenia po 30 czerwca 2024 r.

Jeśli federacja jest używana, a skróty haseł są synchronizowane poprawnie, ale występują błędy uwierzytelniania, sprawdź, czy dla jednostki usługi programu PowerShell włączono uwierzytelnianie za pomocą hasła w chmurze. Jeśli nie, musisz ustawić zasady odnajdywania obszaru głównego (HRD) dla dzierżawy firmy Microsoft Entra. Aby sprawdzić i ustawić zasady HRD:

  1. Zainstaluj moduł Azure AD PowerShell w wersji zapoznawczej.

    Install-Module AzureAD

  2. Połączenie przy użyciu poświadczeń administratora globalnego (administratora dzierżawy).

    Connect-AzureAD

  3. Sprawdź, czy jednostka usługi microsoft Azure PowerShell została już utworzona.

    Get-AzureADServicePrincipal -SearchString "Microsoft Azure PowerShell"

  4. Jeśli nie istnieje, utwórz jednostkę usługi.

    $powershellSPN = New-AzureADServicePrincipal -AppId 1950a258-227b-4e31-a9cf-717495945fc2

  5. Utwórz i dołącz zasady do tej jednostki usługi.

     # Determine whether policy exists
 Get-AzureADPolicy | Where {$_.DisplayName -eq "EnableDirectAuth"}

 # Create if not exists
 $policy = New-AzureADPolicy `
     -Definition @('{"HomeRealmDiscoveryPolicy":{"AllowCloudPasswordValidation":true}}') `
     -DisplayName "EnableDirectAuth" `
     -Type "HomeRealmDiscoveryPolicy"

 # Determine whether a policy for the service principal exist
 Get-AzureADServicePrincipalPolicy `
     -Id $powershellSPN.ObjectId

 # Add a service principal policy if not exist
 Add-AzureADServicePrincipalPolicy `
     -Id $powershellSPN.ObjectId `
     -refObjectID $policy.ID

Następne kroki