Enterprise Security Package használata a HDInsightban

  • Cikk

A standard Azure HDInsight-fürt egy egyfelhasználós fürt. A legtöbb olyan vállalat számára alkalmas, amelyek kisebb alkalmazáscsapatokkal rendelkeznek, amelyek nagy adatterheléseket építenek ki. Minden felhasználó igény szerint létrehozhat egy dedikált fürtöt, és megsemmisítheti azt, ha már nincs rá szükség.

Sok vállalat olyan modell felé mozdult el, amelyben az informatikai csapatok fürtöket kezelnek, és több alkalmazáscsapat is megosztja a fürtöket. Ezeknek a nagyobb vállalatoknak többfelhasználós hozzáférésre van szükségük az Egyes fürtökhöz az Azure HDInsightban.

A HDInsight egy népszerű identitásszolgáltatóra – az Active Directoryra – támaszkodik felügyelt módon. A HDInsight és a Microsoft Entra Domain Services integrálásával a fürtöket a tartomány hitelesítő adataival érheti el.

A HDInsight virtuális gépei tartományhoz csatlakoznak a megadott tartományhoz. Így a HDInsighton futó összes szolgáltatás (Apache Ambari, Apache Hive-kiszolgáló, Apache Ranger, Apache Spark thrift-kiszolgáló és mások) zökkenőmentesen működik a hitelesített felhasználó számára. Rendszergazda istratorok ezután erős engedélyezési szabályzatokat hozhatnak létre az Apache Ranger használatával, hogy szerepköralapú hozzáférés-vezérlést biztosítsanak a fürt erőforrásaihoz.

A HDInsight és az Active Directory integrálása

A nyílt forráskódú Apache Hadoop a Kerberos protokollra támaszkodik a hitelesítéshez és a biztonsághoz. Ezért az Enterprise Security Package (ESP) csomaggal rendelkező HDInsight-fürtcsomópontok a Microsoft Entra Domain Services által felügyelt tartományhoz csatlakoznak. A Kerberos-biztonság a fürt Hadoop-összetevőihez van konfigurálva.

A következő elemek automatikusan létrejönnek:

  • Szolgáltatásnév minden Hadoop-összetevőhöz
  • A tartományhoz csatlakoztatott összes géphez tartozó egyszerű gép
  • Szervezeti egység (OU) minden egyes fürthöz a szolgáltatás- és gépnevek tárolásához

Összegzésként be kell állítania egy környezetet a következőkkel:

  • Active Directory-tartomány (a Microsoft Entra Domain Services felügyelete alatt). A tartománynévnek legalább 39 karakter hosszúságúnak kell lennie az Azure HDInsight használatához.
  • A Biztonságos LDAP (LDAPS) engedélyezve van a Microsoft Entra Domain Servicesben.
  • Megfelelő hálózati kapcsolat a HDInsight virtuális hálózatról a Microsoft Entra Domain Services virtuális hálózatra, ha külön virtuális hálózatokat választ számukra. A HDInsight virtuális hálózatban lévő virtuális gépeknek a Microsoft Entra Domain Serviceshez virtuális hálózatok közötti társviszony-létesítéssel kell rendelkezniük. Ha a HDInsight és a Microsoft Entra Domain Services ugyanabban a virtuális hálózaton van üzembe helyezve, a rendszer automatikusan biztosítja a kapcsolatot, és nincs szükség további műveletekre.

Különböző tartományvezérlők beállítása

A HDInsight jelenleg csak a Microsoft Entra Domain Servicest támogatja fő tartományvezérlőként, amelyet a fürt a Kerberos-kommunikációhoz használ. De más összetett Active Directory-beállítások is lehetségesek, amennyiben egy ilyen beállítás lehetővé teszi a Microsoft Entra Domain Services for HDInsight-hozzáférést.

Microsoft Entra tartományi szolgáltatások

A Microsoft Entra Domain Services olyan felügyelt tartományt biztosít, amely teljes mértékben kompatibilis a Windows Server Active Directoryval. A Microsoft gondoskodik a tartomány kezeléséről, javításáról és monitorozásáról egy magas rendelkezésre állású (HA) beállításban. A fürtöt anélkül helyezheti üzembe, hogy a tartományvezérlők karbantartásával kellene foglalkoznia.

A felhasználók, csoportok és jelszavak szinkronizálódnak a Microsoft Entra-azonosítóból. A Microsoft Entra-példány és a Microsoft Entra Domain Services egyirányú szinkronizálása lehetővé teszi, hogy a felhasználók ugyanazokkal a vállalati hitelesítő adatokkal jelentkezzenek be a fürtbe.

További információ: HDInsight-fürtök konfigurálása ESP-vel a Microsoft Entra Domain Services használatával.

Helyszíni Active Directory vagy IaaS virtuális gépeken található Active Directory

Ha helyi Active Directory-példánysal vagy összetettebb Active Directory-beállításokkal rendelkezik a tartományához, szinkronizálhatja ezeket az identitásokat a Microsoft Entra-azonosítóval a Microsoft Entra Csatlakozás használatával. Ezután engedélyezheti a Microsoft Entra Domain Services szolgáltatást az Adott Active Directory-bérlőn.

Mivel a Kerberos jelszókivonatokra támaszkodik, engedélyeznie kell a jelszókivonat-szinkronizálást a Microsoft Entra Domain Servicesben.

Ha Active Directory összevonási szolgáltatások (AD FS) (AD FS) összevonást használ, engedélyeznie kell a jelszókivonat-szinkronizálást. (Az ajánlott beállításért tekintse meg ezt a videót.) A jelszókivonat-szinkronizálás segít a vészhelyreállításban abban az esetben, ha az AD FS-infrastruktúra meghibásodik, és segít a kiszivárgott hitelesítő adatok védelmében is. További információ: Jelszókivonat-szinkronizálás engedélyezése a Microsoft Entra Csatlakozás Synctel.

A helyi Active Directory vagy az Active Directory használata csak IaaS virtuális gépeken a Microsoft Entra ID és a Microsoft Entra Domain Services nélkül nem támogatott konfiguráció az ESP-vel rendelkező HDInsight-fürtökhöz.

Feljegyzés

Az Azure AD- és MSOnline PowerShell-modulok 2024. március 30-ától elavultak. További információkért olvassa el az elavulás frissítését. Ezen dátum után ezeknek a moduloknak a támogatása a Microsoft Graph PowerShell SDK-ra való migrálásra és a biztonsági javításokra korlátozódik. Az elavult modulok 2025. március 30-ától működnek tovább.

Javasoljuk, hogy migráljon a Microsoft Graph PowerShellbe a Microsoft Entra ID (korábbi nevén Azure AD) használatához. Gyakori migrálási kérdésekért tekintse meg a migrálással kapcsolatos gyakori kérdéseket. Megjegyzés: Az MSOnline 1.0.x verziói 2024. június 30. után fennakadást tapasztalhatnak.

Ha összevonás van használatban, és a jelszókivonatok megfelelően vannak szinkronizálva, de hitelesítési hibákat kap, ellenőrizze, hogy engedélyezve van-e a felhőbeli jelszóhitelesítés a PowerShell szolgáltatásnévhez. Ha nem, akkor be kell állítania egy Home Realm Discovery (HRD) szabályzatot a Microsoft Entra-bérlőhöz. A HRD-szabályzat ellenőrzése és beállítása:

  1. Telepítse az előzetes verziójú Azure AD PowerShell-modult.

    Install-Module AzureAD

  2. Csatlakozás globális rendszergazdai (bérlői rendszergazdai) hitelesítő adatok használatával.

    Connect-AzureAD

  3. Ellenőrizze, hogy a Microsoft Azure PowerShell szolgáltatásnév már létrejött-e.

    Get-AzureADServicePrincipal -SearchString "Microsoft Azure PowerShell"

  4. Ha nem létezik, hozza létre a szolgáltatásnevet.

    $powershellSPN = New-AzureADServicePrincipal -AppId 1950a258-227b-4e31-a9cf-717495945fc2

  5. Hozza létre és csatolja a szabályzatot ehhez a szolgáltatásnévhez.

     # Determine whether policy exists
 Get-AzureADPolicy | Where {$_.DisplayName -eq "EnableDirectAuth"}

 # Create if not exists
 $policy = New-AzureADPolicy `
     -Definition @('{"HomeRealmDiscoveryPolicy":{"AllowCloudPasswordValidation":true}}') `
     -DisplayName "EnableDirectAuth" `
     -Type "HomeRealmDiscoveryPolicy"

 # Determine whether a policy for the service principal exist
 Get-AzureADServicePrincipalPolicy `
     -Id $powershellSPN.ObjectId

 # Add a service principal policy if not exist
 Add-AzureADServicePrincipalPolicy `
     -Id $powershellSPN.ObjectId `
     -refObjectID $policy.ID

Következő lépések