HDInsight-clusters beheren met Enterprise Security PackageManage HDInsight clusters with Enterprise Security Package

Meer informatie over de gebruikers en de rollen in HDInsight Enterprise Security Package (ESP) en hoe u ESP-clusters beheert.Learn the users and the roles in HDInsight Enterprise Security Package (ESP), and how to manage ESP clusters.

U kunt een normaal cluster koppelen met behulp van Apache Ambari Managed username, ook een beveiligings Apache Hadoop cluster koppelen met behulp van domein user1@contoso.comgebruikers naam (zoals:).You can link a normal cluster by using Apache Ambari managed username, also link a security Apache Hadoop cluster by using domain username (such as: user1@contoso.com).

  1. Open het opdracht palet door CTRL + SHIFT + Pte selecteren en vervolgens HDInsight op te geven: Koppel een cluster.Open the command palette by selecting CTRL+SHIFT+P, and then enter HDInsight: Link a cluster.

    opdracht palet, koppel een cluster

  2. Geef de URL van het HDInsight-cluster op-> invoer gebruikers naam-> invoer wachtwoord-> Selecteer cluster type-> deze geeft geslaagde informatie weer als verificatie is geslaagd.Enter HDInsight cluster URL -> input Username -> input Password -> select cluster type -> it shows success info if verification passed.

    dialoog venster cluster proces stappen koppelen

    Notitie

    De gekoppelde gebruikers naam en het bijbehorende wacht woord worden gebruikt als het cluster beide zijn aangemeld bij het Azure-abonnement en een cluster heeft gekoppeld.The linked username and password are used if the cluster both logged in Azure subscription and Linked a cluster.

  3. U kunt een gekoppeld cluster zien met behulp van de opdracht lijst cluster.You can see a Linked cluster by using command List cluster. U kunt nu een script verzenden naar dit gekoppelde cluster.Now you can submit a script to this linked cluster.

    uitvoer verificatie van de cluster opdracht weer gevenlist cluster command output verification

  4. U kunt ook de koppeling van een cluster met behulp van HDInsight ontkoppelen: Een cluster ontkoppelen van het opdracht palet.You also can unlink a cluster by inputting HDInsight: Unlink a cluster from command palette.

U kunt een normaal cluster koppelen met behulp van Ambari Managed username, ook een beveiligings-Hadoop-cluster koppelen met behulp user1@contoso.comvan domein gebruikers naam (zoals:).You can link a normal cluster by using Ambari managed username, also link a security hadoop cluster by using domain username (such as: user1@contoso.com).

  1. Klik op een cluster koppelen vanuit Azure Verkenner.Click Link a cluster from Azure Explorer.

    IntelliJ van het context menu van het cluster koppelen

  2. Voer de cluster naam, de gebruikers naam en het wacht woordin.Enter Cluster Name, User Name and Password. U moet de gebruikers naam en het wacht woord controleren als u de verificatie fout hebt ontvangen.You need to check the username and password if got the authentication failure. Optioneel kunt u een opslag account, opslag sleutel toevoegen en vervolgens een container uit de opslag container selecteren.Optionally, add Storage Account, Storage Key, then select a container from Storage Container. Opslag gegevens zijn voor opslag Verkenner in de linker boom structuurStorage information is for storage explorer in the left tree

    IntelliJ van Azure Explorer-koppelings cluster dialoog venster

    Notitie

    We gebruiken de gekoppelde opslag sleutel, gebruikers naam en wacht woord als het cluster beide zijn aangemeld bij het Azure-abonnement en een cluster heeft gekoppeld.We use the linked storage key, username and password if the cluster both logged in Azure subscription and Linked a cluster.

    Azure Verkenner-opslag account in IntelliJ

  3. U kunt een gekoppeld cluster in het HDInsight -knoop punt zien als de invoer gegevens het juiste zijn.You can see a Linked cluster in HDInsight node if the input information are right. U kunt nu een toepassing verzenden naar dit gekoppelde cluster.Now you can submit an application to this linked cluster.

    IntelliJ van Azure Verkenner gekoppeld clusterAzure Explorer linked cluster intellij

  4. U kunt ook een cluster ontkoppelen van Azure Explorer.You also can unlink a cluster from Azure Explorer.

    Niet-gekoppelde cluster-IntelliJ Azure Verkenner

U kunt een normaal cluster koppelen met behulp van Ambari Managed username, ook een beveiligings-Hadoop-cluster koppelen met behulp user1@contoso.comvan domein gebruikers naam (zoals:).You can link a normal cluster by using Ambari managed username, also link a security hadoop cluster by using domain username (such as: user1@contoso.com).

  1. Klik op een cluster koppelen vanuit Azure Verkenner.Click Link a cluster from Azure Explorer.

    intereclips in het context menu van het cluster koppelen

  2. Voer de cluster naam, de gebruikers naam en het wacht woordin en klik vervolgens op de knop OK om het cluster te koppelen.Enter Cluster Name, User Name and Password, then click OK button to link cluster. Voer optioneel het opslag account en de opslag sleutel in en selecteer vervolgens opslag container voor Storage Explorer om in de linkernavigatiebalk te werkenOptionally, enter Storage Account, Storage Key and then select Storage Container for storage explorer to work in the left tree view

    Dialoog venster voor koppelings cluster van Azure Explorer

    Notitie

    We gebruiken de gekoppelde opslag sleutel, gebruikers naam en wacht woord als het cluster beide zijn aangemeld bij het Azure-abonnement en een cluster heeft gekoppeld.We use the linked storage key, username and password if the cluster both logged in Azure subscription and Linked a cluster.

    Azure Verkenner-opslag account in eclips

  3. U kunt een gekoppeld cluster in HDInsight -knoop punt bekijken nadat u op de knop OK hebt geklikt, als de invoer gegevens rechts zijn.You can see a Linked cluster in HDInsight node after clicking OK button, if the input information are right. U kunt nu een toepassing verzenden naar dit gekoppelde cluster.Now you can submit an application to this linked cluster.

    Met Azure Explorer gekoppelde cluster-eclips

  4. U kunt ook een cluster ontkoppelen van Azure Explorer.You also can unlink a cluster from Azure Explorer.

    Niet-gekoppelde cluster-eclips van Azure Explorer

Toegang tot de clusters met Enterprise Security Package.Access the clusters with Enterprise Security Package.

Enterprise Security Package (voorheen bekend als HDInsight Premium) biedt toegang van meerdere gebruikers tot het cluster, waarbij de verificatie wordt uitgevoerd door Active Directory en autorisatie door Apache zwerver en opslag-Acl's (ADLS Acl's).Enterprise Security Package (previously known as HDInsight Premium) provides multi-user access to the cluster, where authentication is done by Active Directory and authorization by Apache Ranger and Storage ACLs (ADLS ACLs). Autorisatie biedt een veilige grenzen tussen meerdere gebruikers en geeft alleen bevoegde gebruikers toegang tot de gegevens op basis van het autorisatie beleid.Authorization provides secure boundaries among multiple users and allows only privileged users to have access to the data based on the authorization policies.

Beveiliging en gebruikers isolatie zijn belang rijk voor een HDInsight-cluster met Enterprise Security Package.Security and user isolation are important for a HDInsight cluster with Enterprise Security Package. Om aan deze vereisten te voldoen, wordt SSH-toegang tot het cluster met Enterprise Security Package geblokkeerd.To meet these requirements, SSH access to the cluster with Enterprise Security Package is blocked. De volgende tabel bevat de aanbevolen toegangs methoden voor elk cluster type:The following table shows the recommended access methods for each cluster type:

WorkloadWorkload ScenarioScenario Toegangs methodeAccess Method
Apache HadoopApache Hadoop Hive-interactieve taken/Query'sHive – Interactive Jobs/Queries
Apache SparkApache Spark Interactieve taken/Query's, PySpark InteractiveInteractive Jobs/Queries, PySpark interactive
Apache SparkApache Spark Batch-Scenario's – Spark-verzen ding, PySparkBatch Scenarios – Spark submit, PySpark
Interactieve query (LLAP)Interactive Query (LLAP) InteractiefInteractive
AnyAny Aangepaste toepassing installerenInstall Custom Application

Notitie

Jupyter is niet geïnstalleerd/ondersteund in Enterprise Security Package.Jupyter is not installed/supported in Enterprise Security Package.

Het gebruik van de standaard-Api's helpt bij het beveiligen van de beveiliging.Using the standard APIs helps from security perspective. Daarnaast profiteert u van de volgende voor delen:In addition, you get the following benefits:

  • Beheer : u kunt uw code beheren en taken automatiseren met standaard-Api's – LIVY, HS2 enzovoort.Management – You can manage your code and automate jobs using standard APIs – Livy, HS2 etc.
  • Audit : met SSH is er geen manier om te controleren of de gebruikers SSHen naar het cluster.Audit – With SSH, there is no way to audit, which users SSH’d to the cluster. Dit is niet het geval wanneer taken zijn gemaakt via standaard-eind punten, aangezien ze worden uitgevoerd in de context van de gebruiker.This wouldn’t be the case when jobs are constructed via standard endpoints as they would be executed in context of user.

Beeline gebruikenUse Beeline

Beeline op uw computer installeren en verbinding maken via het open bare Internet, gebruik de volgende para meters:Install Beeline on your machine, and connect over the public internet, use the following parameters:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Als Beeline lokaal is geïnstalleerd en verbinding maakt via een Azure Virtual Network, gebruikt u de volgende para meters:If you have Beeline installed locally, and connect over an Azure Virtual Network, use the following parameters:

- Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Als u wilt zoeken naar de Fully Qualified Domain Name van een hoofd knooppunt, gebruikt u de informatie in het REST API-document HDInsight beheren met behulp van de gegevens in de Ambari.To find the fully qualified domain name of a headnode, use the information in the Manage HDInsight using the Ambari REST API document.

Gebruikers van HDInsight-clusters met ESPUsers of HDInsight clusters with ESP

Een niet-ESP HDInsight-cluster heeft twee gebruikers accounts die worden gemaakt tijdens het maken van het cluster:A non-ESP HDInsight cluster has two user accounts that are created during the cluster creation:

  • Ambari beheerder: Dit account wordt ook een Hadoop-gebruiker of http-gebruikergenoemd.Ambari admin: This account is also known as Hadoop user or HTTP user. Dit account kan worden gebruikt om u aan te melden bij Ambari<op https://clustername >. azurehdinsight. net.This account can be used to sign in to Ambari at https://<clustername>.azurehdinsight.net. Het kan ook worden gebruikt om query's uit te voeren op Ambari-weer gaven, taken uit te voeren via externe hulpprogram ma's (bijvoorbeeld Power shell, Templeton, Visual Studio) en te verifiëren met het Hive ODBC-stuur programma en BI-hulpprogram ma's (bijvoorbeeld Excel, Power BI of tableau).It can also be used to run queries on Ambari views, execute jobs via external tools (for example, PowerShell, Templeton, Visual Studio), and authenticate with the Hive ODBC driver and BI tools (for example, Excel, Power BI, or Tableau).

Een HDInsight-cluster met ESP heeft naast Ambari-beheerder drie nieuwe gebruikers.A HDInsight cluster with ESP has three new users in addition to Ambari Admin.

  • Zwerver-beheerder: Dit account is het lokale Apache zwerver-beheerders account.Ranger admin: This account is the local Apache Ranger admin account. Het is geen Active Directory-domein gebruiker.It is not an active directory domain user. Dit account kan worden gebruikt voor het instellen van beleid en het maken van andere gebruikers beheerders of gedelegeerde beheerders (zodat deze gebruikers beleid kunnen beheren).This account can be used to setup policies and make other users admins or delegated admins (so that those users can manage policies). De gebruikers naam is standaard beheerder en het wacht woord is hetzelfde als het Ambari beheerders wachtwoord.By default, the username is admin and the password is the same as the Ambari admin password. Het wacht woord kan worden bijgewerkt vanaf de pagina instellingen in zwerver.The password can be updated from the Settings page in Ranger.

  • Domein gebruiker cluster beheerder: Dit account is een Active Directory-domein gebruiker die is aangewezen als Hadoop-Cluster beheer, waaronder Ambari en zwerver.Cluster admin domain user: This account is an active directory domain user designated as the Hadoop cluster admin including Ambari and Ranger. U moet de referenties van deze gebruiker opgeven tijdens het maken van het cluster.You must provide this user’s credentials during cluster creation. Deze gebruiker heeft de volgende bevoegdheden:This user has the following privileges:

    • Voeg computers toe aan het domein en plaats deze binnen de OE die u opgeeft tijdens het maken van het cluster.Join machines to the domain and place them within the OU that you specify during cluster creation.

    • Service-principals maken binnen de organisatie-eenheid die u opgeeft tijdens het maken van het cluster.Create service principals within the OU that you specify during cluster creation.

    • Omgekeerde DNS-vermeldingen maken.Create reverse DNS entries.

      Houd er rekening mee dat de andere AD-gebruikers ook over deze bevoegdheden beschikken.Note the other AD users also have these privileges.

      Er zijn een aantal eind punten in het cluster (bijvoorbeeld Templeton) die niet worden beheerd door zwerver en daarom niet zijn beveiligd.There are some end points within the cluster (for example, Templeton) which are not managed by Ranger, and hence are not secure. Deze eind punten zijn voor alle gebruikers vergrendeld, met uitzonde ring van de domein gebruiker cluster beheerder.These end points are locked down for all users except the cluster admin domain user.

  • Normaal: Tijdens het maken van het cluster kunt u meerdere Active Directory-groepen opgeven.Regular: During cluster creation, you can provide multiple active directory groups. De gebruikers in deze groepen worden gesynchroniseerd met zwerver en Ambari.The users in these groups are synced to Ranger and Ambari. Deze gebruikers zijn domein gebruikers en hebben toegang tot alleen zwerver-beheerde eind punten (bijvoorbeeld Hiveserver2).These users are domain users and have access to only Ranger-managed endpoints (for example, Hiveserver2). Alle RBAC-beleids regels en-controles zijn van toepassing op deze gebruikers.All the RBAC policies and auditing will be applicable to these users.

Rollen van HDInsight-clusters met ESPRoles of HDInsight clusters with ESP

HDInsight Enterprise Security Package heeft de volgende rollen:HDInsight Enterprise Security Package has the following roles:

  • Cluster beheerderCluster Administrator
  • Cluster operatorCluster Operator
  • ServicebeheerderService Administrator
  • Service operatorService Operator
  • Cluster gebruikerCluster User

De machtigingen van deze rollen weer gevenTo see the permissions of these roles

  1. Open de gebruikers interface van Ambari-beheer.Open the Ambari Management UI. Zie de gebruikers interface van Ambari Management openen.See Open the Ambari Management UI.

  2. Klik in het menu links op rollen.From the left menu, click Roles.

  3. Klik op het blauwe vraag teken om de machtigingen te bekijken:Click the blue question mark to see the permissions:

    Machtigingen voor ESP HDInsight-rollen

De gebruikers interface van Ambari Management openenOpen the Ambari Management UI

  1. Meld u aan bij Azure Portal.Sign on to the Azure portal.

  2. Open uw HDInsight-cluster.Open your HDInsight cluster.

  3. Klik op dash board in het bovenste menu om Ambari te openen.Click Dashboard from the top menu to open Ambari.

  4. Meld u aan bij Ambari met behulp van de domein gebruikers naam en het wacht woord van de Cluster beheerder.Sign in to Ambari using the cluster administrator domain user name and password.

  5. Klik in de rechter bovenhoek op de vervolg keuzelijst beheerder en klik vervolgens op Ambari beheren.Click the Admin dropdown menu from the upper right corner, and then click Manage Ambari.

    ESP HDInsight Manage Apache Ambari

    De gebruikers interface ziet er als volgt uit:The UI looks like:

    Gebruikers interface voor ESP HDInsight Apache Ambari Management

De domein gebruikers weer geven die zijn gesynchroniseerd vanuit uw Active DirectoryList the domain users synchronized from your Active Directory

  1. Open de gebruikers interface van Ambari-beheer.Open the Ambari Management UI. Zie de gebruikers interface van Ambari Management openen.See Open the Ambari Management UI.

  2. Klik in het menu links op gebruikers.From the left menu, click Users. U ziet alle gebruikers die zijn gesynchroniseerd van uw Active Directory naar het HDInsight-cluster.You shall see all the users synced from your Active Directory to the HDInsight cluster.

    Gebruikers interface lijst van ESP HDInsight Ambari-beheer

De domein groepen weer geven die zijn gesynchroniseerd vanuit uw Active DirectoryList the domain groups synchronized from your Active Directory

  1. Open de gebruikers interface van Ambari-beheer.Open the Ambari Management UI. Zie de gebruikers interface van Ambari Management openen.See Open the Ambari Management UI.

  2. Klik in het menu links op groepen.From the left menu, click Groups. U ziet alle groepen die zijn gesynchroniseerd van uw Active Directory naar het HDInsight-cluster.You shall see all the groups synced from your Active Directory to the HDInsight cluster.

    Lijst groepen van de gebruikers interface van ESP HDInsight Ambari Management

Machtigingen voor Hive-weer gaven configurerenConfigure Hive Views permissions

  1. Open de gebruikers interface van Ambari-beheer.Open the Ambari Management UI. Zie de gebruikers interface van Ambari Management openen.See Open the Ambari Management UI.

  2. Klik in het menu links op weer gaven.From the left menu, click Views.

  3. Klik op Hive om de details weer te geven.Click HIVE to show the details.

    UI-Hive-weer gaven ESP HDInsight Ambari Management

  4. Klik op de koppeling van de Hive-weer gave om Hive-weer gaven te configureren.Click the Hive View link to configure Hive Views.

  5. Schuif omlaag naar de sectie machtigingen .Scroll down to the Permissions section.

    Gebruikers interface van ESP HDInsight Ambari Management-Hive machtigingen configureren

  6. Klik op gebruiker toevoegen of groep toevoegenen geef vervolgens de gebruikers of groepen op die Hive-weer gaven kunnen gebruiken.Click Add User or Add Group, and then specify the users or groups that can use Hive Views.

Gebruikers configureren voor de rollenConfigure users for the roles

Zie rollen van HDInsight-clusters met ESP voor een overzicht van de rollen en de bijbehorende machtigingen.To see a list of roles and their permissions, see Roles of HDInsight clusters with ESP.

  1. Open de gebruikers interface van Ambari-beheer.Open the Ambari Management UI. Zie de gebruikers interface van Ambari Management openen.See Open the Ambari Management UI.
  2. Klik in het menu links op rollen.From the left menu, click Roles.
  3. Klik op gebruiker toevoegen of groep toevoegen om gebruikers en groepen toe te wijzen aan verschillende rollen.Click Add User or Add Group to assign users and groups to different roles.

Volgende stappenNext steps