A vállalati biztonsági csomaggal HDInsight-fürtök kezeléseManage HDInsight clusters with Enterprise Security Package

Ismerje meg, a felhasználók és a HDInsight vállalati biztonsági csomag (ESP) és az ESP-fürtök kezelése a szerepkörök.Learn the users and the roles in HDInsight Enterprise Security Package (ESP), and how to manage ESP clusters.

Most egy normál fürt hivatkozás használatával felügyelt Apache Ambari felhasználónév, is hivatkozásra a biztonsági Apache Hadoop-fürt használatával: tartomány felhasználónév (például: user1@contoso.com).You can link a normal cluster by using Apache Ambari managed username, also link a security Apache Hadoop cluster by using domain username (such as: user1@contoso.com).

  1. Nyissa meg a parancskatalógust kiválasztásával CTRL + SHIFT + P, majd adja meg HDInsight: Egy fürtöt.Open the command palette by selecting CTRL+SHIFT+P, and then enter HDInsight: Link a cluster.

    hivatkozás fürt parancs

  2. Adja meg a HDInsight fürt URL-cím-bemenet felhasználónév -> > be a jelszót a select -> fürttípus -> azt látható sikeres info ellenőrzési át.Enter HDInsight cluster URL -> input Username -> input Password -> select cluster type -> it shows success info if verification passed.

    hivatkozás fürt párbeszédpanel

    Megjegyzés

    A társított felhasználónevet és jelszót használják, ha a fürt egyaránt bejelentkezett az Azure-előfizetés és a fürthöz társított.The linked username and password are used if the cluster both logged in Azure subscription and Linked a cluster.

  3. Parancs használatával megtekintheti a társított fürt lista fürt.You can see a Linked cluster by using command List cluster. Most már küldhet egy parancsfájlt, hogy a társított fürtöt.Now you can submit a script to this linked cluster.

    a csatolt fürt

  4. Is megszüntetheti a fürt által bevitelével HDInsight: A fürt leválasztása a parancskatalógus.You also can unlink a cluster by inputting HDInsight: Unlink a cluster from command palette.

Hivatkozás egy normál fürt kezelése az Ambari felhasználónév használatával is, is hivatkozásra a biztonsági hadoop-fürt használatával: tartomány felhasználónév (például: user1@contoso.com).You can link a normal cluster by using Ambari managed username, also link a security hadoop cluster by using domain username (such as: user1@contoso.com).

  1. Kattintson a egy fürtöt a Azure Explorer.Click Link a cluster from Azure Explorer.

    hivatkozás fürt helyi menü

  2. Adja meg fürt neve, felhasználónév és jelszó.Enter Cluster Name, User Name and Password. Ellenőrizze a felhasználónevet és jelszót, ha a hitelesítési hiba van szüksége.You need to check the username and password if got the authentication failure. Szükség esetén adja meg a Tárfiókot, a Tárfiók kulcsát, majd kiválaszthatja a tárolót a Storage-tárolóból.Optionally, add Storage Account, Storage Key, then select a container from Storage Container. A bal oldali fában a storage Explorer van tárolássalStorage information is for storage explorer in the left tree

    hivatkozás fürt párbeszédpanel

    Megjegyzés

    Ha a fürt egyaránt bejelentkezett az Azure-előfizetés és a fürthöz társított a társított storage-kulcs, a felhasználónevet és jelszót használunk.We use the linked storage key, username and password if the cluster both logged in Azure subscription and Linked a cluster. az intellij-ben a Storage Explorerbenstorage explorer in IntelliJ

  3. Láthatja, hogy a társított fürt HDInsight csomópont, ha a bemeneti adatokat megfelelőek.You can see a Linked cluster in HDInsight node if the input information are right. Ehhez a fürthöz társított alkalmazás most már küldhet.Now you can submit an application to this linked cluster.

    a csatolt fürt

  4. Fürt is megszüntetheti Azure Explorer.You also can unlink a cluster from Azure Explorer.

    nem összekapcsolt fürt

Hivatkozás egy normál fürt kezelése az Ambari felhasználónév használatával is, is hivatkozásra a biztonsági hadoop-fürt használatával: tartomány felhasználónév (például: user1@contoso.com).You can link a normal cluster by using Ambari managed username, also link a security hadoop cluster by using domain username (such as: user1@contoso.com).

  1. Kattintson a egy fürtöt a Azure Explorer.Click Link a cluster from Azure Explorer.

    hivatkozás fürt helyi menü

  2. Adja meg fürtnév, felhasználónév és jelszó, majd kattintson az OK gombra kattintva a fürtöt.Enter Cluster Name, User Name and Password, then click OK button to link cluster. Szükség esetén adja meg a Tárfiókot, a Tárfiók kulcsát, és válassza ki a tároló dolgozhat a bal oldali fanézetben a storage ExplorerOptionally, enter Storage Account, Storage Key and then select Storage Container for storage explorer to work in the left tree view

    hivatkozás fürt párbeszédpanel

    Megjegyzés

    Ha a fürt egyaránt bejelentkezett az Azure-előfizetés és a fürthöz társított a társított storage-kulcs, a felhasználónevet és jelszót használunk.We use the linked storage key, username and password if the cluster both logged in Azure subscription and Linked a cluster. az eclipse-ben a Storage Explorerbenstorage explorer in Eclipse

  3. Láthatja, hogy a társított fürt HDInsight OK gombra kattintunk, ha a bemeneti adatokat a megfelelő csomópont.You can see a Linked cluster in HDInsight node after clicking OK button, if the input information are right. Ehhez a fürthöz társított alkalmazás most már küldhet.Now you can submit an application to this linked cluster.

    a csatolt fürt

  4. Fürt is megszüntetheti Azure Explorer.You also can unlink a cluster from Azure Explorer.

    nem összekapcsolt fürt

Hozzáférés a vállalati biztonsági csomag-fürtöket.Access the clusters with Enterprise Security Package.

Vállalati biztonsági csomag (korábbi nevén HDInsight prémium szintű) a fürt, ahol hitelesítési végzi el az Active Directory és az Apache Ranger-és tárolási hozzáférés-vezérlési listák (ACL-ek ADLS) engedélyezése több felhasználó hozzáférést biztosít.Enterprise Security Package (previously known as HDInsight Premium) provides multi-user access to the cluster, where authentication is done by Active Directory and authorization by Apache Ranger and Storage ACLs (ADLS ACLs). Engedélyezési nyújt biztonságos határok több felhasználó használ, és lehetővé teszi, hogy csak a kiemelt jogosultságú felhasználók férnek hozzá az adatokhoz, a hitelesítési házirendek alapján.Authorization provides secure boundaries among multiple users and allows only privileged users to have access to the data based on the authorization policies.

Biztonság és a felhasználó elkülönítési fontosak egy HDInsight-fürt a vállalati biztonsági csomaggal.Security and user isolation are important for a HDInsight cluster with Enterprise Security Package. Ezek a követelmények teljesítéséhez, vállalati biztonsági csomaggal a fürthöz SSH-hozzáférés le van tiltva.To meet these requirements, SSH access to the cluster with Enterprise Security Package is blocked. Az alábbi táblázat az egyes fürttípus ajánlott hozzáférési metódusokat:The following table shows the recommended access methods for each cluster type:

Számítási feladatWorkload ForgatókönyvScenario Hozzáférési módAccess Method
Apache HadoopApache Hadoop Hive – interaktív lekérdezések és feladatokHive – Interactive Jobs/Queries
Apache SparkApache Spark Interaktív feladatok és lekérdezésekkel, a PySpark interaktívInteractive Jobs/Queries, PySpark interactive
Apache SparkApache Spark Batch-forgatókönyv – a Spark-submit, PySparkBatch Scenarios – Spark submit, PySpark
Az interaktív lekérdezések (LLAP)Interactive Query (LLAP) InteraktívInteractive
BármelyAny Egyéni alkalmazás telepítéseInstall Custom Application

Megjegyzés

A vállalati biztonsági csomag telepítve van és támogatott Jupyter nem áll.Jupyter is not installed/supported in Enterprise Security Package.

A standard API-k használatával segít a biztonság szempontjából.Using the standard APIs helps from security perspective. Emellett a következő előnyöket kap:In addition, you get the following benefits:

  1. Felügyeleti – a kód kezelheti és automatizálhatja a feladatokat a standard API-k használatával – Livy, HS2 stb.Management – You can manage your code and automate jobs using standard APIs – Livy, HS2 etc.
  2. Naplózási – az ssh-val, nincs lehetőség a naplózása, hogy mely felhasználók SSH volt a fürthöz.Audit – With SSH, there is no way to audit, which users SSH’d to the cluster. Ez nem arra az esetre, ha a feladatok épített standard végpontokat keresztül azok lenne, felhasználó környezetében hajtja végre.This wouldn’t be the case when jobs are constructed via standard endpoints as they would be executed in context of user.

A Beeline használataUse Beeline

A gépén, telepítse a Beeline és a nyilvános interneten keresztül csatlakozni, használja a következő paramétereket:Install Beeline on your machine, and connect over the public internet, use the following parameters:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Ha a Beeline helyben telepítve van, és egy Azure virtuális hálózaton keresztül, használja a következő paramétereket:If you have Beeline installed locally, and connect over an Azure Virtual Network, use the following parameters:

- Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Egy átjárócsomópontjával teljesen minősített tartományneve megkereséséhez használja a a az Ambari REST API-dokumentumok kezelése HDInsight az adatokat.To find the fully qualified domain name of a headnode, use the information in the Manage HDInsight using the Ambari REST API document.

HDInsight-fürtök ESP-felhasználókUsers of HDInsight clusters with ESP

ESP HDInsight fürt rendelkezik a két felhasználói fiókot, amely a fürt létrehozása során jönnek létre:A non-ESP HDInsight cluster has two user accounts that are created during the cluster creation:

  • Az Ambari rendszergazdai: Ez a fiók akkor is Hadoop-felhasználóra vagy HTTP-felhasználó.Ambari admin: This account is also known as Hadoop user or HTTP user. Ez a fiók segítségével jelentkezzen be az Ambari, https://<clustername >. azurehdinsight.NET formátumban van.This account can be used to sign in to Ambari at https://<clustername>.azurehdinsight.net. Is használható lekérdezéseket futtathat az Ambari-nézetek, hajtsa végre a külső eszközöket (például PowerShell, templeton eszközön keresztül végzett, a Visual Studio)-feladatok és a Hive ODBC-illesztőt és az Üzletiintelligencia-eszközökkel (például az Excel, a Power BI vagy a Tableau) a hitelesítéshez.It can also be used to run queries on Ambari views, execute jobs via external tools (for example, PowerShell, Templeton, Visual Studio), and authenticate with the Hive ODBC driver and BI tools (for example, Excel, Power BI, or Tableau).

ESP HDInsight fürtök az Ambari rendszergazda mellett három új felhasználók rendelkezikA HDInsight cluster with ESP has three new users in addition to Ambari Admin.

  • Ranger felügyeleti: A fiók az Apache Ranger helyi rendszergazdai fiók legyen.Ranger admin: This account is the local Apache Ranger admin account. Akkor sem az active directory tartományi felhasználó.It is not an active directory domain user. Ez a fiók használható beállítási házirendek, és győződjön meg arról, más felhasználók rendszergazdák vagy a meghatalmazott rendszergazdák (úgy, hogy ezek a felhasználók kezelhetik a szabályzatok).This account can be used to setup policies and make other users admins or delegated admins (so that those users can manage policies). Alapértelmezés szerint a felhasználónevet a rendszergazdai és a jelszó nem ugyanaz, mint az Ambari rendszergazdai jelszót.By default, the username is admin and the password is the same as the Ambari admin password. A jelszó (Ranger beállítások) lapján lehet frissíteni.The password can be updated from the Settings page in Ranger.

  • Fürt rendszergazdai tartományi felhasználó: Ezt a fiókot az active directory tartományi felhasználó megjelölte a Hadoop-fürt többek között az Ambari és a Ranger felügyeleti.Cluster admin domain user: This account is an active directory domain user designated as the Hadoop cluster admin including Ambari and Ranger. A fürt létrehozásakor meg kell adni a felhasználó hitelesítő adatait.You must provide this user’s credentials during cluster creation. Ez a felhasználó rendelkezik a következő jogosultságokat:This user has the following privileges:

    • Gépek csatlakoztatása a tartományhoz, és helyezze el őket a szervezeti Egységet a fürt létrehozásakor megadott belül.Join machines to the domain and place them within the OU that you specify during cluster creation.

    • A fürt létrehozásakor megadott szervezeti Egységben lévő egyszerű szolgáltatások létrehozása.Create service principals within the OU that you specify during cluster creation.

    • Fordított DNS-bejegyzéseket létrehozni.Create reverse DNS entries.

      Vegye figyelembe, hogy a többi AD-felhasználók is ezeket a jogosultságokat.Note the other AD users also have these privileges.

      Vannak bizonyos végpontok a fürtben (például templeton eszközön keresztül végzett) amely Ranger által nem kezelt, és ezért nem biztonságos.There are some end points within the cluster (for example, Templeton) which are not managed by Ranger, and hence are not secure. Ezek a végpontok le az összes felhasználó számára, kivéve a fürt rendszergazdai tartományi felhasználó zárolva vannak.These end points are locked down for all users except the cluster admin domain user.

  • Rendszeres: Fürt létrehozása során megadhat több active directory-csoportokat.Regular: During cluster creation, you can provide multiple active directory groups. A megadott csoportokban szereplő felhasználók Ranger és az Ambari vannak szinkronizálva.The users in these groups are synced to Ranger and Ambari. Ezek a felhasználók tartományi felhasználók, és csak Ranger által felügyelt végpontok (például hiveserver2-n) birtokában.These users are domain users and have access to only Ranger-managed endpoints (for example, Hiveserver2). Az RBAC-házirendeket és a naplózási fogja ezeket a felhasználókat a alkalmazni kell.All the RBAC policies and auditing will be applicable to these users.

HDInsight-fürtök ESP-szerepkörökRoles of HDInsight clusters with ESP

HDInsight vállalati biztonsági csomaggal rendelkezik, a következő szerepkörök:HDInsight Enterprise Security Package has the following roles:

  • Fürt rendszergazdájaCluster Administrator
  • Fürt operátorCluster Operator
  • Szolgáltatás-rendszergazdaService Administrator
  • Szolgáltatás-operátorService Operator
  • Fürt felhasználóiCluster User

Ezek a szerepkörök engedélyeinek megtekintéséhezTo see the permissions of these roles

  1. Nyissa meg az Ambari felügyeleti felhasználói Felületét.Open the Ambari Management UI. Lásd: nyissa meg az Ambari felügyeleti felhasználói Felületét.See Open the Ambari Management UI.

  2. A bal oldali menüben kattintson a szerepkörök.From the left menu, click Roles.

  3. Kattintson a kék kérdőjel az engedélyek megtekintéséhez:Click the blue question mark to see the permissions:

    ESP HDInsight szerepköri engedélyek

Nyissa meg az Ambari felhasználói felület kezeléseOpen the Ambari Management UI

  1. Jelentkezzen be az Azure Portalra.Sign on to the Azure portal.

  2. Nyissa meg a HDInsight-fürt.Open your HDInsight cluster.

  3. Kattintson a irányítópult Ambari megnyitásához a felső menüben.Click Dashboard from the top menu to open Ambari.

  4. Jelentkezzen be az Ambari a fürt rendszergazdai tartományi felhasználónevével és jelszavával.Sign in to Ambari using the cluster administrator domain user name and password.

  5. Kattintson a rendszergazdai felső legördülő menüben kattintson a jobb sarokban található, és kattintson kezelése az Ambari.Click the Admin dropdown menu from the upper right corner, and then click Manage Ambari.

    ESP HDInsight kezelése az Ambari

    A felhasználói felület hasonlóan néz ki:The UI looks like:

    ESP HDInsight az Ambari felügyeleti felhasználói Felületét

A tartományi felhasználók az Active Directoryból szinkronizált listázásaList the domain users synchronized from your Active Directory

  1. Nyissa meg az Ambari felügyeleti felhasználói Felületét.Open the Ambari Management UI. Lásd: nyissa meg az Ambari felügyeleti felhasználói Felületét.See Open the Ambari Management UI.

  2. A bal oldali menüben kattintson a felhasználók.From the left menu, click Users. A HDInsight-fürt az Active Directoryból szinkronizált az összes felhasználó látni.You shall see all the users synced from your Active Directory to the HDInsight cluster.

    ESP HDInsight az Ambari management UI felhasználók listázása

A tartományi csoportokat az Active Directoryból szinkronizáltList the domain groups synchronized from your Active Directory

  1. Nyissa meg az Ambari felügyeleti felhasználói Felületét.Open the Ambari Management UI. Lásd: nyissa meg az Ambari felügyeleti felhasználói Felületét.See Open the Ambari Management UI.

  2. A bal oldali menüben kattintson a csoportok.From the left menu, click Groups. A HDInsight-fürt az Active Directoryból szinkronizált az összes csoportot látni.You shall see all the groups synced from your Active Directory to the HDInsight cluster.

    ESP HDInsight az Ambari management UI csoportok listázása

Hive-nézetek-engedélyek konfigurálásaConfigure Hive Views permissions

  1. Nyissa meg az Ambari felügyeleti felhasználói Felületét.Open the Ambari Management UI. Lásd: nyissa meg az Ambari felügyeleti felhasználói Felületét.See Open the Ambari Management UI.

  2. A bal oldali menüben kattintson a nézetek.From the left menu, click Views.

  3. Kattintson a HIVE részleteinek megjelenítéséhez.Click HIVE to show the details.

    ESP HDInsight az Ambari management UI Hive-nézetek

  4. Kattintson a Hive-nézet hivatkozás Hive-nézetek konfigurálásához.Click the Hive View link to configure Hive Views.

  5. Görgessen le a engedélyek szakaszban.Scroll down to the Permissions section.

    ESP HDInsight az Ambari felügyeleti felhasználói felület Hive-nézetek-engedélyek konfigurálása

  6. Kattintson a felhasználó hozzáadása vagy csoport hozzáadása, majd adja meg a felhasználókat vagy csoportokat, amelyek a Hive-nézetek használatával.Click Add User or Add Group, and then specify the users or groups that can use Hive Views.

A felhasználók a szerepkörök konfigurálásaConfigure users for the roles

Azon szerepköröket és engedélyeiket listáját, olvassa el az ESP szerepkörök a HDInsight-fürtöket.To see a list of roles and their permissions, see Roles of HDInsight clusters with ESP.

  1. Nyissa meg az Ambari felügyeleti felhasználói Felületét.Open the Ambari Management UI. Lásd: nyissa meg az Ambari felügyeleti felhasználói Felületét.See Open the Ambari Management UI.
  2. A bal oldali menüben kattintson a szerepkörök.From the left menu, click Roles.
  3. Kattintson a felhasználó hozzáadása vagy csoport hozzáadása felhasználók és csoportok hozzárendelése különböző szerepköröket.Click Add User or Add Group to assign users and groups to different roles.

További lépésekNext steps