O que é o Enterprise Security Package no Azure HDInsightWhat is Enterprise Security Package in Azure HDInsight

No passado, o Azure HDInsight dava suporte apenas a um único usuário: o administrador local. Isso funcionava bem para equipes de aplicativos ou departamentos menores.In the past, Azure HDInsight supported only a single user: local admin. This worked great for smaller application teams or departments. À medida que as cargas de trabalho com base no Apache Hadoop ganharam mais popularidade no setor empresarial, a necessidade de funcionalidades de nível empresarial, como autenticação baseada no Azure Active Directory, suporte a vários usuários e controle de acesso baseado em função, tornou-se cada vez mais importante.As Apache Hadoop-based workloads gained more popularity in the enterprise sector, the need for enterprise-grade capabilities like Active Directory-based authentication, multi-user support, and role-based access control became increasingly important.

Você pode criar um cluster do HDInsight com o ESP (Enterprise Security Package) que é ingressado em um domínio do Active Directory.You can create an HDInsight cluster with Enterprise Security Package (ESP) that's joined to an Active Directory domain. Em seguida, você poderá configurar uma lista de funcionários da empresa que podem autenticar por meio do Azure Active Directory para entrar no cluster do HDInsight.You can then configure a list of employees from the enterprise who can authenticate through Azure Active Directory to sign in to the HDInsight cluster. Ninguém de fora da empresa pode entrar no cluster do HDInsight ou acessá-lo.No one from outside the enterprise can sign in or access the HDInsight cluster.

O administrador corporativo pode configurar o RBAC (controle de acesso baseado em função) para segurança do Apache Hive, usando o Apache Ranger.The enterprise admin can configure role-based access control (RBAC) for Apache Hive security by using Apache Ranger. Configurar RBAC restringe o acesso a dados somente para o que é necessário.Configuring RBAC restricts data access to only what's needed. Finalmente, o administrador pode auditar o acesso aos dados pelos funcionários e quaisquer alterações feitas para acessar as políticas de controle.Finally, the admin can audit the data access by employees and any changes done to access control policies. O administrador pode, então, alcançar um alto grau de governança dos recursos corporativos.The admin can then achieve a high degree of governance of their corporate resources.

O Apache Oozie agora está habilitado em clusters do ESP.Apache Oozie is now enabled on ESP clusters. Para acessar a IU da Web do Oozie, os usuários devem habilitar o túnel.To access the Oozie web UI, users should enable tunneling.

A segurança empresarial contém quatro pilares principais: segurança de perímetro, autenticação, autorização e criptografia.Enterprise security contains four major pillars: perimeter security, authentication, authorization, and encryption.

Benefícios dos clusters do HDInsight do Enterprise Security Package nos quatro pilares da segurança empresarial..

Segurança de perímetroPerimeter security

A segurança de perímetro no HDInsight é obtida por meio de redes virtuais e do serviço do Gateway de VPN do Azure.Perimeter security in HDInsight is achieved through virtual networks and the Azure VPN Gateway service. Um admin corporativo pode criar um cluster ESP dentro de uma rede virtual e usar grupos de segurança de rede (regras de firewall) para restringir o acesso à rede virtual.An enterprise admin can create an ESP cluster inside a virtual network and use network security groups (firewall rules) to restrict access to the virtual network. Somente os endereços IP definidos nas regras de firewall de entrada poderão comunicar-se com o cluster HDInsight.Only the IP addresses defined in the inbound firewall rules will be able to communicate with the HDInsight cluster. Essa configuração fornece segurança de perímetro.This configuration provides perimeter security.

Outra camada de segurança de perímetro é obtida através do serviço de Gateway de VPN.Another layer of perimeter security is achieved through the VPN Gateway service. O gateway atua como primeira linha de defesa para qualquer solicitação recebida no cluster HDInsight.The gateway acts as first line of defense for any incoming request to the HDInsight cluster. Ele aceita a solicitação, valida-a e somente então permitirá que a solicitação passe para os outros nós no cluster.It accepts the request, validates it, and only then allows the request to pass to the other nodes in cluster. Dessa maneira, o gateway fornece segurança de perímetro para outros nós de nome e dados no cluster.In this way, the gateway provides perimeter security to other name and data nodes in the cluster.

AuthenticationAuthentication

Um admin corporativo pode criar um cluster do HDInsight com ESP em uma rede virtual.An enterprise admin can create a HDInsight cluster with ESP in a virtual network. Todos os nós do cluster HDInsight são ingressados no domínio que a empresa gerencia.All the nodes of the HDInsight cluster are joined to the domain that the enterprise manages. Isso é obtido por meio do uso do Azure Active Directory Domain Services.This is achieved through the use of Azure Active Directory Domain Services.

Com essa configuração, funcionários da empresa podem entrar nos nós de cluster, usando as credenciais de domínio.With this setup, enterprise employees can sign in to the cluster nodes by using their domain credentials. Além disso, podem usar suas credenciais de domínio para autenticação com outros pontos de extremidade aprovados como Apache Ambari Views, ODBC, JDBC, PowerShell e API REST para interagir com o cluster.They can also use their domain credentials to authenticate with other approved endpoints like Apache Ambari Views, ODBC, JDBC, PowerShell, and REST APIs to interact with the cluster. O administrador tem controle total sobre a limitação do número de usuários que interagem com o cluster por meio desses pontos de extremidade.The admin has full control over limiting the number of users who interact with the cluster via these endpoints.

AutorizaçãoAuthorization

Uma melhor prática que a maioria das empresas segue é garantir que nem todos os funcionários tenham acesso a todos os recursos da empresa.A best practice that most enterprises follow is making sure that not every employee has access to all enterprise resources. Da mesma forma, o administrador pode definir políticas de controle de acesso baseadas em função para os recursos do cluster.Likewise, the admin can define role-based access control policies for the cluster resources.

Por exemplo, o administrador pode configurar o Apache Ranger para definir políticas de controle de acesso para o Hive.For example, the admin can configure Apache Ranger to set access control policies for Hive. Essa funcionalidade garante que os funcionários possam acessar apenas os dados que precisam para ter êxito nos trabalhos.This functionality ensures that employees can access only as much data as they need to be successful in their jobs. O acesso SSH ao cluster também é restrito apenas ao administrador.SSH access to the cluster is also restricted to only the administrator.

AuditoriaAuditing

A auditoria de todo acesso aos recursos do cluster e aos dados é necessária para rastrear o acesso não autorizado ou não intencional dos recursos.Auditing of all access to the cluster resources, and the data, is necessary to track unauthorized or unintentional access of the resources. É tão importante quanto proteger os recursos de cluster HDInsight de usuários não autorizados e proteger os dados.It's as important as protecting the HDInsight cluster resources from unauthorized users and securing the data.

O administrador pode exibir e relatar todo o acesso aos recursos e dados de cluster do HDInsight.The admin can view and report all access to the HDInsight cluster resources and data. O administrador também pode exibir e relatar todas as alterações nas políticas de controle de acesso criadas nos pontos de extremidade com suporte pelo Apache Ranger.The admin can also view and report all changes to the access control policies created in Apache Ranger supported endpoints.

Um cluster do HDInsight com ESP usa a interface do usuário familiar do Apache Ranger para pesquisar logs de auditoria.A HDInsight cluster with ESP uses the familiar Apache Ranger UI to search audit logs. No back-end, o Ranger usa o Apache Solr para armazenar e pesquisar os logs.On the back end, Ranger uses Apache Solr for storing and searching the logs.

CriptografiaEncryption

A proteção de dados é importante para atender aos requisitos de segurança e conformidade da organização.Protecting data is important for meeting organizational security and compliance requirements. Além de restringir o acesso a dados de funcionários não autorizados, você deve criptografá-lo.Along with restricting access to data from unauthorized employees, you should encrypt it.

Ambos os armazenamentos de dados para clusters HDInsight, Armazenamento de Blobs do Azure e Azure Data Lake Storage Gen1/Gen2, dão suporte à criptografia de dados transparente do lado do servidor em repouso.Both data stores for HDInsight clusters, Azure Blob storage and Azure Data Lake Storage Gen1/Gen2, support transparent server-side encryption of data at rest. Os clusters seguros do HDInsight funcionarão perfeitamente com esse recurso de criptografia de dados do lado do servidor em repouso.Secure HDInsight clusters will seamlessly work with this capability of server-side encryption of data at rest.

Próximas etapasNext steps