Gerenciar clusters HDInsight com Enterprise Security PackageManage HDInsight clusters with Enterprise Security Package

Saiba mais sobre usuários e funções no ESP (Enterprise Security Package) do HDInsight e como gerenciar clusters ESP.Learn the users and the roles in HDInsight Enterprise Security Package (ESP), and how to manage ESP clusters.

É possível vincular um cluster normal usando o nome de usuário gerenciado do Apache Ambari, além de vincular um cluster de segurança do Apache Hadoop, usando o nome de usuário de domínio (como: user1@contoso.com).You can link a normal cluster by using Apache Ambari managed username, also link a security Apache Hadoop cluster by using domain username (such as: user1@contoso.com).

  1. Abra a paleta de comandos selecionando CTRL+SHIFT+P e, em seguida, insira HDInsight: Vincular um cluster.Open the command palette by selecting CTRL+SHIFT+P, and then enter HDInsight: Link a cluster.

    comando para vincular cluster

  2. Insira a URL do Cluster HDInsight -> Nome de usuário de entrada -> Senha de entrada -> selecione o tipo de cluster -> informações de êxito serão exibidas se a verificação for aprovada.Enter HDInsight cluster URL -> input Username -> input Password -> select cluster type -> it shows success info if verification passed.

    caixa de diálogo para vincular cluster

    Observação

    O nome de usuário e a senha vinculados serão usados se o cluster foi registrado na assinatura do Azure e vinculou um cluster.The linked username and password are used if the cluster both logged in Azure subscription and Linked a cluster.

  3. É possível ver um cluster vinculado, usando o comandoListar cluster.You can see a Linked cluster by using command List cluster. Agora, você pode enviar um script para esse cluster vinculado.Now you can submit a script to this linked cluster.

    cluster vinculado

  4. Você também pode desvincular um cluster inserindo HDInsight: Desvincular um cluster na paleta de comandos.You also can unlink a cluster by inputting HDInsight: Unlink a cluster from command palette.

É possível vincular um cluster normal usando o nome de usuário gerenciado Ambari, além de vincular um cluster hadoop de segurança usando o nome de usuário do domínio (como: user1@contoso.com).You can link a normal cluster by using Ambari managed username, also link a security hadoop cluster by using domain username (such as: user1@contoso.com).

  1. Clique em Vincular um cluster a partir do Azure Explorer.Click Link a cluster from Azure Explorer.

    menu de contexto para vincular cluster

  2. Insira o Nome do Cluster, o Nome do Usuário e a Senha.Enter Cluster Name, User Name and Password. É necessário verificar o nome de usuário e senha, se obter a falha de autenticação.You need to check the username and password if got the authentication failure. Como opção, adicione a Conta de Armazenamento, Chave de Armazenamento, e selecione um contêiner do Contêiner de Armazenamento.Optionally, add Storage Account, Storage Key, then select a container from Storage Container. As informações de armazenamento são para o gerenciador de armazenamento na árvore à esquerdaStorage information is for storage explorer in the left tree

    caixa de diálogo para vincular cluster

    Observação

    Usamos a chave de armazenamento vinculada, nome de usuário e senha, se o cluster registrou na assinatura do Azure e vinculou um cluster.We use the linked storage key, username and password if the cluster both logged in Azure subscription and Linked a cluster. gerenciador de armazenamento no IntelliJstorage explorer in IntelliJ

  3. Se as informações de entrada estiverem corretas, será possível ver um cluster vinculado no nó HDInsight.You can see a Linked cluster in HDInsight node if the input information are right. Agora, você pode enviar um aplicativo para esse cluster vinculado.Now you can submit an application to this linked cluster.

    cluster vinculado

  4. Também é possível desvincular um cluster a partir do Azure Explorer.You also can unlink a cluster from Azure Explorer.

    cluster desvinculado

É possível vincular um cluster normal usando o nome de usuário gerenciado Ambari, além de vincular um cluster hadoop de segurança usando o nome de usuário do domínio (como: user1@contoso.com).You can link a normal cluster by using Ambari managed username, also link a security hadoop cluster by using domain username (such as: user1@contoso.com).

  1. Clique em Vincular um cluster a partir do Azure Explorer.Click Link a cluster from Azure Explorer.

    menu de contexto para vincular cluster

  2. Digite Nome do Cluster, Nome de usuário e Senha, clique no botão OK para vincular o cluster.Enter Cluster Name, User Name and Password, then click OK button to link cluster. Opcionalmente, insira a Conta de Armazenamento, Chave de Armazenamento e, em seguida, selecione o Contêiner de Armazenamento para o Gerenciador de armazenamento trabalhar no modo de exibição de árvore à esquerdaOptionally, enter Storage Account, Storage Key and then select Storage Container for storage explorer to work in the left tree view

    caixa de diálogo para vincular cluster

    Observação

    Usamos a chave de armazenamento vinculada, nome de usuário e senha, se o cluster registrou na assinatura do Azure e vinculou um cluster.We use the linked storage key, username and password if the cluster both logged in Azure subscription and Linked a cluster. gerenciador de armazenamento no Eclipsestorage explorer in Eclipse

  3. Se as informações estiverem corretas, será possível ver um cluster vinculado no nó HDInsight, após clicar no botão OK.You can see a Linked cluster in HDInsight node after clicking OK button, if the input information are right. Agora, você pode enviar um aplicativo para esse cluster vinculado.Now you can submit an application to this linked cluster.

    cluster vinculado

  4. Também é possível desvincular um cluster a partir do Azure Explorer.You also can unlink a cluster from Azure Explorer.

    cluster desvinculado

Acesse os clusters com o Pacote de Segurança Enterprise.Access the clusters with Enterprise Security Package.

O Pacote de Segurança Enterprise (anteriormente conhecido como HDInsight Premium) fornece acesso de vários usuário ao cluster, onde a autenticação é feita pelo Active Directory e a autorização pelo Apache Ranger e ACLs de armazenamento (ACLs do ADLS).Enterprise Security Package (previously known as HDInsight Premium) provides multi-user access to the cluster, where authentication is done by Active Directory and authorization by Apache Ranger and Storage ACLs (ADLS ACLs). A autorização fornece limites de segurança entre vários usuários e permite que somente usuários privilegiados tenham acesso aos dados com base nas políticas de autorização.Authorization provides secure boundaries among multiple users and allows only privileged users to have access to the data based on the authorization policies.

Segurança e isolamento de usuários são importantes para um cluster de HDInsight com o Pacote de Segurança Enterprise.Security and user isolation are important for a HDInsight cluster with Enterprise Security Package. Para atender a esses requisitos, o acesso do SSH ao cluster com o Pacote de Segurança Enterprise é bloqueado.To meet these requirements, SSH access to the cluster with Enterprise Security Package is blocked. A tabela a seguir mostra os métodos de acesso recomendados para cada tipo de cluster:The following table shows the recommended access methods for each cluster type:

Carga de TrabalhoWorkload CenárioScenario Método de AcessoAccess Method
Apache HadoopApache Hadoop Hive – trabalhos/consultas interativasHive – Interactive Jobs/Queries
Apache SparkApache Spark Trabalhos/consultas interativas, PySpark interativoInteractive Jobs/Queries, PySpark interactive
Apache SparkApache Spark Cenários em lote – envio de Spark, PySparkBatch Scenarios – Spark submit, PySpark
Consulta Interativa (LLAP)Interactive Query (LLAP) InterativoInteractive
AnyAny Instalar Aplicativo PersonalizadoInstall Custom Application

Observação

Jupyter não está instalado/com suporte no Enterprise Security Package.Jupyter is not installed/supported in Enterprise Security Package.

Usar as APIs padrão ajuda da perspectiva de segurança.Using the standard APIs helps from security perspective. Além disso, você obtém os benefícios a seguir:In addition, you get the following benefits:

  1. Gerenciamento – você pode gerenciar seu código e automatizar trabalhos usando APIs padrão – Livy, HS2 etc.Management – You can manage your code and automate jobs using standard APIs – Livy, HS2 etc.
  2. Auditoria – com SSH, não é possível auditar quais usuários o SSH tinha para o cluster.Audit – With SSH, there is no way to audit, which users SSH’d to the cluster. Esse seria o caso em que os trabalhos seriam criados por meio de pontos de extremidade padrão conforme eles fossem executados no contexto do usuário.This wouldn’t be the case when jobs are constructed via standard endpoints as they would be executed in context of user.

Usar o BeelineUse Beeline

Instale o Beeline no seu computador e conecte-se pela internet pública, use os seguintes parâmetros:Install Beeline on your machine, and connect over the public internet, use the following parameters:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Se você tiver Beeline instalado localmente e conectar-se pela Rede Virtual do Azure, use os seguintes parâmetros:If you have Beeline installed locally, and connect over an Azure Virtual Network, use the following parameters:

- Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Para localizar o nome de domínio totalmente qualificado de um nó principal, use as informações do documento Gerenciar HDInsight usando a API de REST do Ambari.To find the fully qualified domain name of a headnode, use the information in the Manage HDInsight using the Ambari REST API document.

Usuários de clusters HDInsight com ESPUsers of HDInsight clusters with ESP

Um cluster HDInsight não ESP tem duas contas de usuário criadas durante a criação do cluster:A non-ESP HDInsight cluster has two user accounts that are created during the cluster creation:

  • Administrador do Ambari: Essa conta também é conhecida como usuário do Hadoop ou usuário HTTP.Ambari admin: This account is also known as Hadoop user or HTTP user. Essa conta pode ser usada para entrar em Ambari em https://<ClusterName >. azurehdinsight. net.This account can be used to sign in to Ambari at https://<clustername>.azurehdinsight.net. Ele também pode ser usado para executar consultas em exibições do Ambari, executar trabalhos por meio de ferramentas externas (por exemplo, PowerShell, Templeton, Visual Studio) e autenticar com o driver ODBC do hive e as ferramentas de BI (por exemplo, Excel, Power BI ou tableau).It can also be used to run queries on Ambari views, execute jobs via external tools (for example, PowerShell, Templeton, Visual Studio), and authenticate with the Hive ODBC driver and BI tools (for example, Excel, Power BI, or Tableau).

Um cluster HDInsight com ESP tem três novos usuários além do Ambari Admin.A HDInsight cluster with ESP has three new users in addition to Ambari Admin.

  • Administrador do Ranger: Essa é a conta do administrador local do Apache Ranger.Ranger admin: This account is the local Apache Ranger admin account. Ela não é um usuário do Domínio do Active Directory.It is not an active directory domain user. Essa conta pode ser usada para configurar políticas e tornar outros usuários administradores ou administradores delegados (de modo que os usuários possam gerenciar políticas).This account can be used to setup policies and make other users admins or delegated admins (so that those users can manage policies). Por padrão, o nome de usuário é administrador e a senha é a mesma que a senha de administrador do Ambari.By default, the username is admin and the password is the same as the Ambari admin password. A senha pode ser atualizada da página Configurações no Ranger.The password can be updated from the Settings page in Ranger.

  • Usuário de domínio do administrador do cluster: Essa conta é um usuário do Domínio do Active Directory designado como o administrador do cluster do Hadoop, incluindo o Ambari e o Ranger.Cluster admin domain user: This account is an active directory domain user designated as the Hadoop cluster admin including Ambari and Ranger. Você deve fornecer as credenciais do usuário durante a criação do cluster.You must provide this user’s credentials during cluster creation. Esse usuário tem os seguintes privilégios:This user has the following privileges:

    • Adicionar computadores ao domínio e colocá-los na UO que você especificar durante a criação do cluster.Join machines to the domain and place them within the OU that you specify during cluster creation.

    • Criar entidades de serviço na UO que você especificar durante a criação do cluster.Create service principals within the OU that you specify during cluster creation.

    • Criar entradas de DNS reverso.Create reverse DNS entries.

      Observe que os usuários do AD também têm esses privilégios.Note the other AD users also have these privileges.

      Há alguns pontos de extremidade do cluster (por exemplo, Templeton) que não são gerenciados pelo Ranger e, portanto, não são seguros.There are some end points within the cluster (for example, Templeton) which are not managed by Ranger, and hence are not secure. Esses pontos de extremidade estão bloqueados para todos os usuários, exceto para o usuário de domínio do administrador do cluster.These end points are locked down for all users except the cluster admin domain user.

  • Regular: Durante a criação do cluster, você pode fornecer vários grupos do Active Directory.Regular: During cluster creation, you can provide multiple active directory groups. Os usuários nesses grupos são sincronizados ao Ranger e ao Ambari.The users in these groups are synced to Ranger and Ambari. Esses usuários são usuários de domínio e têm acesso apenas aos pontos de extremidade gerenciados pelo Ranger (por exemplo, Hiveserver2).These users are domain users and have access to only Ranger-managed endpoints (for example, Hiveserver2). Todas as políticas de RBAC e a auditoria serão aplicáveis a esses usuários.All the RBAC policies and auditing will be applicable to these users.

Funções dos clusters HDInsight com ESPRoles of HDInsight clusters with ESP

O Enterprise Security Package do HDInsight tem as seguintes funções:HDInsight Enterprise Security Package has the following roles:

  • Administrador do clusterCluster Administrator
  • Operador do clusterCluster Operator
  • Administrador de ServiçosService Administrator
  • Operador de serviçoService Operator
  • Usuário do clusterCluster User

Para ver as permissões dessas funçõesTo see the permissions of these roles

  1. Abra a interface do usuário do Ambari Management.Open the Ambari Management UI. Confira Open the Ambari Management UI (Abrir a interface do usuário do Ambari Management).See Open the Ambari Management UI.

  2. No menu à esquerda, clique em Funções.From the left menu, click Roles.

  3. Clique no ponto de interrogação azul para ver as permissões:Click the blue question mark to see the permissions:

    Permissões de funções do HDInsight do ESP

Abra a interface do usuário do Ambari ManagementOpen the Ambari Management UI

  1. Entre no Portal do Azure.Sign on to the Azure portal.

  2. Apra seu cluster HDInsight.Open your HDInsight cluster.

  3. Clique em Painel no menu superior para abrir o Ambari.Click Dashboard from the top menu to open Ambari.

  4. Entre no Ambari usando o nome de usuário e a senha do domínio do administrador de cluster.Sign in to Ambari using the cluster administrator domain user name and password.

  5. Clique no menu suspenso Administrador no canto superior direito e, em seguida, clique em Gerenciar o Ambari.Click the Admin dropdown menu from the upper right corner, and then click Manage Ambari.

    Ambari gerenciado pelo HDInsight do ESP

    A interface do usuário é semelhante a:The UI looks like:

    Interface do usuário de gerenciamento do Ambari do HDInsight do ESP

Listar os usuários de domínio sincronizados do Active DirectoryList the domain users synchronized from your Active Directory

  1. Abra a interface do usuário do Ambari Management.Open the Ambari Management UI. Confira Open the Ambari Management UI (Abrir a interface do usuário do Ambari Management).See Open the Ambari Management UI.

  2. No menu à esquerda, clique em Usuários.From the left menu, click Users. Você deverá ver todos os usuários sincronizados do seu Active Directory com o cluster do HDInsight.You shall see all the users synced from your Active Directory to the HDInsight cluster.

    Usuários listados na interface do usuário de gerenciamento do Ambari do HDInsight do ESP

Listar os grupos de domínio sincronizados do Active DirectoryList the domain groups synchronized from your Active Directory

  1. Abra a interface do usuário do Ambari Management.Open the Ambari Management UI. Confira Open the Ambari Management UI (Abrir a interface do usuário do Ambari Management).See Open the Ambari Management UI.

  2. No menu à esquerda, clique em Grupos.From the left menu, click Groups. Você deverá ver todos os grupos sincronizados do seu Active Directory no cluster do HDInsight.You shall see all the groups synced from your Active Directory to the HDInsight cluster.

    Grupos de listas de interface do usuário de gerenciamento do Ambari do HDInsight do ESP

Configurar permissões de exibições do HiveConfigure Hive Views permissions

  1. Abra a interface do usuário do Ambari Management.Open the Ambari Management UI. Confira Open the Ambari Management UI (Abrir a interface do usuário do Ambari Management).See Open the Ambari Management UI.

  2. No menu à esquerda, clique em Exibições.From the left menu, click Views.

  3. Clique em HIVE para mostrar os detalhes.Click HIVE to show the details.

    Exibições de Hive da interface do usuário de gerenciamento do Ambari do HDInsight do ESP

  4. Clique no link Exibição do Hive para configurar as exibições do Hive.Click the Hive View link to configure Hive Views.

  5. Role para baixo até a seção Permissões.Scroll down to the Permissions section.

    Permissões de configuração das Exibições de Hive na interface do usuário de gerenciamento do Ambari do HDInsight do ESP

  6. Clique em Adicionar Usuário ou Adicionar Grupo e, em seguida, especifique os usuários ou grupos que podem usar as exibições do Hive.Click Add User or Add Group, and then specify the users or groups that can use Hive Views.

Configurar usuários para as funçõesConfigure users for the roles

Para ver uma lista de funções e suas permissões, confira Funções dos clusters HDInsight com ESP.To see a list of roles and their permissions, see Roles of HDInsight clusters with ESP.

  1. Abra a interface do usuário do Ambari Management.Open the Ambari Management UI. Confira Open the Ambari Management UI (Abrir a interface do usuário do Ambari Management).See Open the Ambari Management UI.
  2. No menu à esquerda, clique em Funções.From the left menu, click Roles.
  3. Clique em Adicionar Usuário ou Adicionar Grupo para atribuir usuários e grupos a funções diferentes.Click Add User or Add Group to assign users and groups to different roles.

Próximas etapasNext steps