Migrera lokala Apache Hadoop-kluster till Azure HDInsight – bästa praxis för säkerhet och DevOps

  • Artikel

Den här artikeln ger rekommendationer för säkerhet och DevOps i Azure HDInsight-system. Det är en del av en serie som innehåller metodtips som hjälper dig att migrera lokala Apache Hadoop-system till Azure HDInsight.

Skydda och styra kluster med Enterprise Security Package

Enterprise Security Package (ESP) stöder Active Directory-baserad autentisering, stöd för flera användare och rollbaserad åtkomstkontroll. Med esp-alternativet valt är HDInsight-klustret anslutet till Active Directory-domänen och företagsadministratören kan konfigurera rollbaserad åtkomstkontroll (RBAC) för Apache Hive-säkerhet med hjälp av Apache Ranger. Administratören kan också granska dataåtkomsten för anställda och eventuella ändringar som görs i åtkomstkontrollprinciper.

ESP är tillgängligt för följande klustertyper: Apache Hadoop, Apache Spark, Apache HBase, Apache Kafka och Interaktiv fråga (Hive LLAP).

Använd följande steg för att distribuera det domänanslutna HDInsight-klustret:

  • Distribuera Microsoft Entra-ID genom att skicka domännamnet.

  • Distribuera Microsoft Entra Domain Services.

  • Skapa det nödvändiga virtuella nätverket och undernätet.

  • Distribuera en virtuell dator i det virtuella nätverket för att hantera Microsoft Entra Domain Services.

  • Anslut den virtuella datorn till domänen.

  • Installera AD- och DNS-verktyg.

  • Låt Administratören för Microsoft Entra Domain Services skapa en organisationsenhet (OU).

  • Aktivera LDAPS för Microsoft Entra Domain Services.

  • Skapa ett tjänstkonto i Microsoft Entra-ID med delegerad läs- och skrivadministratörsbehörighet till organisationsenheten, så att det kan det. Det här tjänstkontot kan sedan ansluta datorer till domänen och placera datorns huvudnamn i organisationsenheten. Den kan också skapa tjänstens huvudnamn inom den organisationsenhet som du anger när klustret skapas.

    Kommentar

    Tjänstkontot behöver inte vara AD-domänadministratörskonto.

  • Distribuera HDInsight ESP-kluster genom att ange följande parametrar:

    Parameter Description
    Domännamn Domännamnet som är associerat med Microsoft Entra Domain Services.
    Domännamn Tjänstkontot i domänhanterad domän i Microsoft Entra Domain Services som du skapade i föregående avsnitt, till exempel: hdiadmin@contoso.onmicrosoft.com. Den här domänanvändaren är administratör för det här HDInsight-klustret.
    Domänlösenord Lösenordet för tjänstkontot.
    Organisationsenhet Det unika namnet på organisationsenheten som du vill använda med HDInsight-klustret, till exempel: OU=HDInsightOU,DC=contoso,DC=onmicrosoft,DC=com. Om den här organisationsenheten inte finns försöker HDInsight-klustret skapa organisationsenheten med hjälp av tjänstkontots behörigheter.
    LDAPS-URL till exempel ldaps://contoso.onmicrosoft.com:636.
    Åtkomst till användargrupp De säkerhetsgrupper vars användare du vill synkronisera med klustret, till exempel: HiveUsers. Om du vill ange flera användargrupper avgränsar du dem med semikolonet ;. Grupperna måste finnas i katalogen innan du skapar ESP-klustret.

Mer information finns i följande artiklar:

Implementera företagssäkerhet från slutpunkt till slutpunkt

Företagssäkerhet från slutpunkt till slutpunkt kan uppnås med hjälp av följande kontroller:

Privat och skyddad datapipeline (säkerhet på perimeternivå) – Säkerhet på perimeternivå kan uppnås via Azure Virtual Networks, Nätverkssäkerhetsgrupper och Gateway-tjänsten.

Autentisering och auktorisering för dataåtkomst – Skapa domänanslutna HDInsight-kluster med Hjälp av Microsoft Entra Domain Services. (Företagssäkerhetspaket). – Använd Ambari för att ge rollbaserad åtkomst till klusterresurser för AD-användare. – Använd Apache Ranger för att ange åtkomstkontrollprinciper för Hive på tabell-/kolumn-/radnivå. – SSH-åtkomst till klustret kan endast begränsas till administratören.

Granskning – Visa och rapportera all åtkomst till HDInsight-klusterresurser och -data. – Visa och rapportera alla ändringar i åtkomstkontrollprinciperna.

Kryptering – Transparent kryptering på serversidan med hjälp av Microsoft-hanterade nycklar eller kundhanterade nycklar. – Under Överföringskryptering med kryptering på klientsidan, https och TLS.

Mer information finns i följande artiklar:

Använda övervakning och aviseringar

Mer information finns i artikeln:

Översikt över Azure Monitor

Uppgradera kluster

Uppgradera regelbundet till den senaste HDInsight-versionen för att dra nytta av de senaste funktionerna. Följande steg kan användas för att uppgradera klustret till den senaste versionen:

  1. Skapa ett nytt TEST HDInsight-kluster med den senaste tillgängliga HDInsight-versionen.
  2. Testa det nya klustret för att se till att jobben och arbetsbelastningarna fungerar som förväntat.
  3. Ändra jobb, program eller arbetsbelastningar efter behov.
  4. Säkerhetskopiera tillfälliga data som lagras lokalt på klusternoderna.
  5. Ta bort det befintliga klustret.
  6. Skapa ett kluster med den senaste HDInsight-versionen i samma virtuella nätverksundernät med samma standarddata och metalager som föregående kluster.
  7. Importera tillfälliga data som säkerhetskopierades.
  8. Starta jobb/fortsätt bearbetningen med det nya klustret.

Mer information finns i artikeln: Uppgradera HDInsight-kluster till en ny version.

Korrigera klusteroperativsystem

Mer information finns i artikeln: OS-korrigering för HDInsight.

Efter migrering

  1. Åtgärda program – Iterativt gör du nödvändiga ändringar i jobb, processer och skript.
  2. Utför tester – Köra funktions- och prestandatester iterativt.
  3. Optimera – Åtgärda eventuella prestandaproblem baserat på testresultaten ovan och testa sedan igen för att bekräfta prestandaförbättringarna.

Nästa steg

Läs mer om HDInsight 4.0.