Configurar clusters no HDInsight com Apache Hadoop, Apache Spark, Apache Kafka e muito maisSet up clusters in HDInsight with Apache Hadoop, Apache Spark, Apache Kafka, and more

Aprenda a configurar e configurar Apache Hadoop, Apache Spark, Apache Kafka, Interactive Query, Apache HBase, ML Services ou Apache Storm em HDInsight.Learn how to set up and configure Apache Hadoop, Apache Spark, Apache Kafka, Interactive Query, Apache HBase, ML Services, or Apache Storm in HDInsight. Além disso, aprenda a personalizar clusters e adicione segurança juntando-os a um domínio.Also, learn how to customize clusters and add security by joining them to a domain.

Um cluster Hadoop é composto por várias máquinas virtuais (nós) que são usadas para o processamento distribuído de tarefas.A Hadoop cluster consists of several virtual machines (nodes) that are used for distributed processing of tasks. O Azure HDInsight lida com detalhes de implementação da instalação e configuração de nós individuais, pelo que só tem de fornecer informações gerais de configuração.Azure HDInsight handles implementation details of installation and configuration of individual nodes, so you only have to provide general configuration information.

Importante

A faturação do cluster do HDInsight tem início quando o cluster é criado e termina quando é eliminado.HDInsight cluster billing starts once a cluster is created and stops when the cluster is deleted. A faturação é rateada por minuto, pelo que deve sempre eliminar o cluster quando deixar de ser utilizado.Billing is pro-rated per minute, so you should always delete your cluster when it is no longer in use. Aprenda a apagar um cluster.Learn how to delete a cluster.

Se estiver a utilizar vários clusters em conjunto, vai querer criar uma rede virtual, e se estiver a usar um cluster Spark também vai querer usar o Conector do Armazém da Colmeia.If you're using multiple clusters together, you'll want to create a virtual network, and if you're using a Spark cluster you'll also want to use the Hive Warehouse Connector. Para obter mais informações, consulte Plan a virtual network for Azure HDInsight and Integrate Apache Spark and Apache Hive with the Hive Warehouse Connector.For more information, see Plan a virtual network for Azure HDInsight and Integrate Apache Spark and Apache Hive with the Hive Warehouse Connector.

Métodos de configuração do clusterCluster setup methods

A tabela a seguir mostra os diferentes métodos que pode utilizar para configurar um cluster HDInsight.The following table shows the different methods you can use to set up an HDInsight cluster.

Clusters criados comClusters created with BrowserWeb browser Linha de comandosCommand line API RESTREST API SDKSDK
Portal do AzureAzure portal      
Azure Data FactoryAzure Data Factory
CLI do AzureAzure CLI      
Azure PowerShellAzure PowerShell      
cURLcURL    
Modelos do Azure Resource ManagerAzure Resource Manager templates      

Este artigo acompanha-o através da configuração no portal Azure,onde pode criar um cluster HDInsight.This article walks you through setup in the Azure portal, where you can create an HDInsight cluster.

Noções básicasBasics

hdinsight criar opções personalizadas rápido

Detalhes do projetoProject details

O Azure Resource Manager ajuda-o a trabalhar com os recursos da sua aplicação como um grupo, referido como um grupo de recursosAzure.Azure Resource Manager helps you work with the resources in your application as a group, referred to as an Azure resource group. Pode implementar, atualizar, monitorizar ou eliminar todos os recursos da sua aplicação numa única operação coordenada.You can deploy, update, monitor, or delete all the resources for your application in a single coordinated operation.

Detalhes do clusterCluster details

Nome do clusterCluster name

Os nomes do cluster HDInsight têm as seguintes restrições:HDInsight cluster names have the following restrictions:

  • Personagens permitidos: a-z, 0-9, A-ZAllowed characters: a-z, 0-9, A-Z
  • Comprimento máximo: 59Max length: 59
  • Nomes reservados: appsReserved names: apps
  • O cluster naming scope é para todo o Azure, em todas as subscrições.The cluster naming scope is for all Azure, across all subscriptions. Assim, o nome do cluster deve ser único em todo o mundo.So the cluster name must be unique worldwide.
  • Os primeiros seis caracteres devem ser únicos dentro de uma rede virtualFirst six characters must be unique within a virtual network

RegiãoRegion

Não é necessário especificar explicitamente a localização do cluster: O cluster encontra-se no mesmo local que o armazenamento predefinido.You don't need to specify the cluster location explicitly: The cluster is in the same location as the default storage. Para obter uma lista de regiões apoiadas, selecione a lista de drop-down da Região nos preços hdInsight.For a list of supported regions, select the Region drop-down list on HDInsight pricing.

Tipo de clusterCluster type

A Azure HDInsight fornece atualmente os seguintes tipos de cluster, cada um com um conjunto de componentes para fornecer certas funcionalidades.Azure HDInsight currently provides the following cluster types, each with a set of components to provide certain functionalities.

Importante

Os clusters HDInsight estão disponíveis em vários tipos, cada um para uma única carga de trabalho ou tecnologia.HDInsight clusters are available in various types, each for a single workload or technology. Não existe um método suportado para criar um cluster que combine vários tipos, tais como Storm e HBase em um cluster.There is no supported method to create a cluster that combines multiple types, such as Storm and HBase on one cluster. Se a sua solução necessitar de tecnologias que estejam espalhadas por vários tipos de cluster HDInsight, uma rede virtual Azure pode ligar os tipos de clusters necessários.If your solution requires technologies that are spread across multiple HDInsight cluster types, an Azure virtual network can connect the required cluster types.

Tipo de clusterCluster type FuncionalidadeFunctionality
HadoopHadoop Consulta de lote e análise de dados armazenadosBatch query and analysis of stored data
HBaseHBase Processamento de grandes quantidades de dados noSQL sem esquemasProcessing for large amounts of schemaless, NoSQL data
Interactive QueryInteractive Query Caching na memória para consultas interativas e mais rápidas da ColmeiaIn-memory caching for interactive and faster Hive queries
KafkaKafka Uma plataforma de streaming distribuída que pode ser usada para construir oleodutos e aplicações de dados de streaming em tempo realA distributed streaming platform that can be used to build real-time streaming data pipelines and applications
Serviços MLML Services Várias estatísticas de big data, modelação preditiva e capacidades de aprendizagem automáticaVarious big data statistics, predictive modeling, and machine learning capabilities
SparkSpark Processamento em memória, consultas interativas, processamento de fluxo de micro-lotesIn-memory processing, interactive queries, micro-batch stream processing
StormStorm Processamento de eventos em tempo realReal-time event processing

VersãoVersion

Escolha a versão de HDInsight para este cluster.Choose the version of HDInsight for this cluster. Para obter mais informações, consulte as versões HDInsight suportadas.For more information, see Supported HDInsight versions.

Credenciais de clusterCluster credentials

Com clusters HDInsight, pode configurar duas contas de utilizador durante a criação do cluster:With HDInsight clusters, you can configure two user accounts during cluster creation:

  • Nome de utilizador de login do cluster: O nome de utilizador predefinido é administrador . Utiliza a configuração básica no portal Azure.Cluster login username: The default username is admin . It uses the basic configuration on the Azure portal. Às vezes chama-se "Utilizador do Cluster", ou "utilizador HTTP".Sometimes it's called "Cluster user," or "HTTP user."
  • Nome de utilizador Secure Shell (SSH): Usado para ligar ao cluster através de SSH.Secure Shell (SSH) username: Used to connect to the cluster through SSH. Para obter mais informações, consulte Use SSH com HDInsight.For more information, see Use SSH with HDInsight.

O nome de utilizador HTTP tem as seguintes restrições:The HTTP username has the following restrictions:

  • Personagens especiais permitidos: _ e @Allowed special characters: _ and @
  • Caracteres não permitidos: #;."', / '!*?$)[]<>{} [&-=+^^Characters not allowed: #;."',/:`!*?$(){}[]<>|&--=+%~^space
  • Comprimento máximo: 20Max length: 20

O nome de utilizador SSH tem as seguintes restrições:The SSH username has the following restrictions:

  • Personagens especiais permitidos: _ e @Allowed special characters:_ and @
  • Caracteres não permitidos: #;."', / '!*?$)[]<>{} [&-=+^^Characters not allowed: #;."',/:`!*?$(){}[]<>|&--=+%~^space
  • Comprimento máximo: 64Max length: 64
  • Nomes reservados: hadoop, utilizadores, oozie, colmeia, maped, ambari-qa, zookeeper, tez, hdfs, sqoop, yarn, hcat, ams, hbase, storm, administrador, administrador, administrador, administrador, admin, user1, test, user2, test1, user3, admin1, 1, 123, a, actuser, adm, admin2, aspnet, backup, consola, david, convidado, john, proprietário, raiz, servidor, sql, suporte, support_388945a0, sys, test2, test3, user4, user, user5, spark,Reserved names: hadoop, users, oozie, hive, mapred, ambari-qa, zookeeper, tez, hdfs, sqoop, yarn, hcat, ams, hbase, storm, administrator, admin, user, user1, test, user2, test1, user3, admin1, 1, 123, a, actuser, adm, admin2, aspnet, backup, console, david, guest, john, owner, root, server, sql, support, support_388945a0, sys, test2, test3, user4, user5, spark

ArmazenamentoStorage

Definições de armazenamento de cluster: pontos finais compatíveis com HDFS

Embora uma instalação no local do Hadoop utilize o Hadoop Distributed File System (HDFS) para armazenamento no cluster, na nuvem você usa pontos finais de armazenamento ligados ao cluster.Although an on-premises installation of Hadoop uses the Hadoop Distributed File System (HDFS) for storage on the cluster, in the cloud you use storage endpoints connected to cluster. A utilização de armazenamento em nuvem significa que pode eliminar com segurança os clusters HDInsight utilizados para a computação, mantendo os seus dados.Using cloud storage means you can safely delete the HDInsight clusters used for computation while still retaining your data.

Os clusters HDInsight podem utilizar as seguintes opções de armazenamento:HDInsight clusters can use the following storage options:

  • Armazenamento do Azure Data Lake Ger2Azure Data Lake Storage Gen2
  • Armazenamento do Azure Data Lake Ger1Azure Data Lake Storage Gen1
  • Azure Storage General Purpose v2Azure Storage General Purpose v2
  • Azure Armazenamento Geral Finalidade v1Azure Storage General Purpose v1
  • Bolha do bloco de armazenamento Azure (apenas suportada como armazenamento secundário)Azure Storage Block blob ( only supported as secondary storage )

Para obter mais informações sobre opções de armazenamento com HDInsight, consulte opções de armazenamento compare para utilização com clusters Azure HDInsight.For more information on storage options with HDInsight, see Compare storage options for use with Azure HDInsight clusters.

Aviso

A utilização de uma conta de armazenamento adicional num local diferente do cluster HDInsight não é suportada.Using an additional storage account in a different location from the HDInsight cluster is not supported.

Durante a configuração, para o ponto final de armazenamento predefinido, especifica-se um recipiente blob de uma conta de Armazenamento Azure ou armazenamento do Data Lake.During configuration, for the default storage endpoint you specify a blob container of an Azure Storage account or Data Lake Storage. O armazenamento predefinido contém registos de aplicações e sistemas.The default storage contains application and system logs. Opcionalmente, pode especificar contas adicionais de armazenamento Azure e contas de Armazenamento de Data Lake a que o cluster pode aceder.Optionally, you can specify additional linked Azure Storage accounts and Data Lake Storage accounts that the cluster can access. O cluster HDInsight e as contas de armazenamento dependentes devem estar no mesmo local Azure.The HDInsight cluster and the dependent storage accounts must be in the same Azure location.

Nota

A funcionalidade que requer transferência segura aplica todos os pedidos à sua conta através de uma ligação segura.The feature that requires secure transfer enforces all requests to your account through a secure connection. Apenas a versão 3.6 ou mais recente do cluster HDInsight suporta esta funcionalidade.Only HDInsight cluster version 3.6 or newer supports this feature. Para obter mais informações, consulte o cluster Create Apache Hadoop com contas de armazenamento de transferências seguras em Azure HDInsight.For more information, see Create Apache Hadoop cluster with secure transfer storage accounts in Azure HDInsight.

Importante

Permitir uma transferência segura de armazenamento após a criação de um cluster pode resultar em erros usando a sua conta de armazenamento e não é recomendado.Enabling secure storage transfer after creating a cluster can result in errors using your storage account and is not recommended. É melhor criar um novo cluster usando uma conta de armazenamento com transferência segura já ativada.It is better to create a new cluster using a storage account with secure transfer already enabled.

Nota

O Azure HDInsight não transfere, move ou copia automaticamente os seus dados armazenados no Azure Storage de uma região para outra.Azure HDInsight does not automatically transfer, move or copy your data stored in Azure Storage from one region to another.

Configurações de metastõesMetastore settings

Pode criar metastões opcionais de Hive ou Apache Oozie.You can create optional Hive or Apache Oozie metastores. No entanto, nem todos os tipos de cluster suportam metastões, e o Azure Synapse Analytics não é compatível com as metastores.However, not all cluster types support metastores, and Azure Synapse Analytics isn't compatible with metastores.

Para obter mais informações, consulte utilizar lojas de metadados externos no Azure HDInsight.For more information, see Use external metadata stores in Azure HDInsight.

Importante

Quando criar uma metástamo personalizada, não utilize traços, hífens ou espaços no nome da base de dados.When you create a custom metastore, don't use dashes, hyphens, or spaces in the database name. Isto pode fazer com que o processo de criação do cluster falhe.This can cause the cluster creation process to fail.

Base de dados SQL para ColmeiaSQL database for Hive

Se pretender reter as suas tabelas De Colmeia depois de eliminar um cluster HDInsight, utilize uma metástaia personalizada.If you want to retain your Hive tables after you delete an HDInsight cluster, use a custom metastore. Em seguida, pode anexar a meta-loja a outro cluster HDInsight.You can then attach the metastore to another HDInsight cluster.

Uma metásta de HDInsight criada para uma versão hdInsight cluster não pode ser partilhada em diferentes versões de cluster HDInsight.An HDInsight metastore that is created for one HDInsight cluster version can't be shared across different HDInsight cluster versions. Para obter uma lista de versões HDInsight, consulte as versões HDInsight suportadas.For a list of HDInsight versions, see Supported HDInsight versions.

Importante

A metástore predefinida fornece uma Base de Dados Azure SQL com um limite básico de DTU de nível 5 (não atualizável) !The default metastore provides an Azure SQL Database with a basic tier 5 DTU limit (not upgradeable) ! Adequado para fins básicos de teste.Suitable for basic testing purposes. Para cargas de trabalho grandes ou de produção, recomendamos migrar para uma meta-loja externa.For large or production workloads, we recommend migrating to an external metastore.

Base de dados SQL para OozieSQL database for Oozie

Para aumentar o desempenho ao utilizar o Oozie, utilize uma metásta costume.To increase performance when using Oozie, use a custom metastore. Uma meta-loja também pode fornecer acesso aos dados de trabalho da Oozie depois de eliminar o seu cluster.A metastore can also provide access to Oozie job data after you delete your cluster.

Base de dados SQL para AmbariSQL database for Ambari

O Ambari é usado para monitorizar clusters HDInsight, fazer alterações de configuração e armazenar informações de gestão de clusters, bem como histórico de trabalho.Ambari is used to monitor HDInsight clusters, make configuration changes, and store cluster management information as well as job history. A funcionalidade DB personalizada permite-lhe implementar um novo cluster e configurar o Ambari numa base de dados externa que gere.The custom Ambari DB feature allows you to deploy a new cluster and setup Ambari in an external database that you manage. Para mais informações, consulte Custom Ambari DB.For more information, see Custom Ambari DB.

Importante

Não é possível reutilizar uma metástase oozie personalizada.You cannot reuse a custom Oozie metastore. Para utilizar uma metástaria Oozie personalizada, você deve fornecer uma base de dados Azure SQL vazia ao criar o cluster HDInsight.To use a custom Oozie metastore, you must provide an empty Azure SQL Database when creating the HDInsight cluster.

Segurança + networkingSecurity + networking

hdinsight criar opções escolher pacote de segurança da empresa

Pacote de segurança da empresaEnterprise security package

Para tipos de cluster Hadoop, Spark, HBase, Kafka e Interactive Query, pode optar por ativar o Pacote de Segurança Empresarial.For Hadoop, Spark, HBase, Kafka, and Interactive Query cluster types, you can choose to enable the Enterprise Security Package . Este pacote oferece a opção de ter uma configuração de cluster mais segura usando o Apache Ranger e integrando-se com o Azure Ative Directory.This package provides option to have a more secure cluster setup by using Apache Ranger and integrating with Azure Active Directory. Para mais informações, consulte a visão geral da segurança da empresa em Azure HDInsight.For more information, see Overview of enterprise security in Azure HDInsight.

O pacote de segurança da Enterprise permite-lhe integrar o HDInsight com o Ative Directory e o Apache Ranger.The Enterprise security package allows you to integrate HDInsight with Active Directory and Apache Ranger. Vários utilizadores podem ser criados usando o pacote de segurança Enterprise.Multiple users can be created using the Enterprise security package.

Para obter mais informações sobre a criação de um cluster HDInsight ligado ao domínio, consulte Criar ambiente de caixa de areia HDInsight ligado ao domínio.For more information on creating domain-joined HDInsight cluster, see Create domain-joined HDInsight sandbox environment.

TLSTLS

Para mais informações, consulte a Segurança da Camada de TransporteFor more information, see Transport Layer Security

Rede virtualVirtual network

Se a sua solução necessitar de tecnologias que estejam espalhadas por vários tipos de cluster HDInsight, uma rede virtual Azure pode ligar os tipos de clusters necessários.If your solution requires technologies that are spread across multiple HDInsight cluster types, an Azure virtual network can connect the required cluster types. Esta configuração permite que os clusters, e qualquer código que implemente neles, se comuniquem diretamente uns com os outros.This configuration allows the clusters, and any code you deploy to them, to directly communicate with each other.

Para obter mais informações sobre a utilização de uma rede virtual Azure com HDInsight, consulte Plan a virtual network for HDInsight.For more information on using an Azure virtual network with HDInsight, see Plan a virtual network for HDInsight.

Para um exemplo de utilização de dois tipos de cluster dentro de uma rede virtual Azure, consulte Use Apache Spark Structured Streaming com Apache Kafka.For an example of using two cluster types within an Azure virtual network, see Use Apache Spark Structured Streaming with Apache Kafka. Para obter mais informações sobre a utilização do HDInsight com uma rede virtual, incluindo requisitos específicos de configuração para a rede virtual, consulte Plan uma rede virtual para HDInsight.For more information about using HDInsight with a virtual network, including specific configuration requirements for the virtual network, see Plan a virtual network for HDInsight.

Definição de encriptação de discoDisk encryption setting

Para obter mais informações, consulte a encriptação do disco de chaves gerida pelo Cliente.For more information, see Customer-managed key disk encryption.

Proxy REST do KafkaKafka REST proxy

Esta definição só está disponível para o tipo de cluster Kafka.This setting is only available for cluster type Kafka. Para obter mais informações, consulte utilizando um representante do REST.For more information, see Using a REST proxy.

IdentidadeIdentity

Para obter mais informações, consulte identidades geridas no Azure HDInsight.For more information, see Managed identities in Azure HDInsight.

Configuração + preçosConfiguration + pricing

HDInsight escolha o tamanho do seu nó

És cobrado para uso de nó enquanto o aglomerado existir.You're billed for node usage for as long as the cluster exists. A faturação começa quando um cluster é criado e para quando o cluster é eliminado.Billing starts when a cluster is created and stops when the cluster is deleted. Os agrupamentos não podem ser desatribuidos ou colocados em espera.Clusters can't be de-allocated or put on hold.

Configuração do nóNode configuration

Cada tipo de cluster tem o seu próprio número de nós, terminologia para nós, e tamanho VM padrão.Each cluster type has its own number of nodes, terminology for nodes, and default VM size. Na tabela seguinte, o número de nós para cada tipo de nó está nos parênteses.In the following table, the number of nodes for each node type is in parentheses.

TipoType NósNodes DiagramaDiagram
HadoopHadoop Nó de cabeça (2), nó do trabalhador (1+)Head node (2), Worker node (1+) HdInsight Hadoop cluster nosdes
HBaseHBase Servidor de cabeça (2), servidor de região (1+), nó master/ZooKeeper (3)Head server (2), region server (1+), master/ZooKeeper node (3) Configuração do tipo de cluster HDInsight HBase
StormStorm Nó Nimbus (2), servidor de supervisor (1+), nó ZooKeeper (3)Nimbus node (2), supervisor server (1+), ZooKeeper node (3) Configuração do tipo de cluster de tempestade HDInsight
SparkSpark Nó de cabeça (2), nó do trabalhador (1+), nó ZooKeeper (3) (grátis para o tamanho A1 ZooKeeper VM)Head node (2), Worker node (1+), ZooKeeper node (3) (free for A1 ZooKeeper VM size) Configuração do tipo de cluster de faíscas HDInsight

Para obter mais informações, consulte a configuração do nó padrão e os tamanhos de máquinas virtuais para clusters em "Quais são os componentes e versões Hadoop em HDInsight?"For more information, see Default node configuration and virtual machine sizes for clusters in "What are the Hadoop components and versions in HDInsight?"

O custo dos clusters HDInsight é determinado pelo número de nós e pelos tamanhos das máquinas virtuais para os nós.The cost of HDInsight clusters is determined by the number of nodes and the virtual machines sizes for the nodes.

Diferentes tipos de aglomerados têm diferentes tipos de nó, números de nó e tamanhos de nó:Different cluster types have different node types, numbers of nodes, and node sizes:

  • Padrão do tipo de cluster Hadoop:Hadoop cluster type default:
    • Dois acenos de cabeçaTwo head nodes
    • Quatro nódoas operáriasFour Worker nodes
  • Padrão do tipo de aglomerado de tempestade:Storm cluster type default:
    • Dois nó de NimbusTwo Nimbus nodes
    • Três nódoas do ZooKeeperThree ZooKeeper nodes
    • Quatro nosdes de supervisorFour supervisor nodes

Se está apenas a experimentar o HDInsight, recomendamos que use um nó operário.If you're just trying out HDInsight, we recommend you use one Worker node. Para obter mais informações sobre os preços da HDInsight, consulte os preços da HDInsight.For more information about HDInsight pricing, see HDInsight pricing.

Nota

O limite de tamanho do cluster varia entre as subscrições do Azure.The cluster size limit varies among Azure subscriptions. Contacte o suporte de faturação da Azure para aumentar o limite.Contact Azure billing support to increase the limit.

Quando utiliza o portal Azure para configurar o cluster, o tamanho do nó está disponível através do separador Configuração + preços. No portal, também é possível ver o custo associado aos diferentes tamanhos dos nós.When you use the Azure portal to configure the cluster, the node size is available through the Configuration + pricing tab. In the portal, you can also see the cost associated with the different node sizes.

Tamanhos de máquinas virtuaisVirtual machine sizes

Quando implementar clusters, escolha recursos de computação com base na solução que pretende implementar.When you deploy clusters, choose compute resources based on the solution you plan to deploy. Os seguintes VM são utilizados para clusters HDInsight:The following VMs are used for HDInsight clusters:

Para saber qual o valor que deve utilizar para especificar um tamanho VM enquanto cria um cluster utilizando os diferentes SDKs ou durante a utilização do Azure PowerShell, consulte os tamanhos VM para utilizar para clusters HDInsight.To find out what value you should use to specify a VM size while creating a cluster using the different SDKs or while using Azure PowerShell, see VM sizes to use for HDInsight clusters. A partir deste artigo ligado, utilize o valor na coluna Tamanho das tabelas.From this linked article, use the value in the Size column of the tables.

Importante

Se precisar de mais de 32 nós de trabalhador num cluster, deve selecionar um tamanho de nó de cabeça com pelo menos 8 núcleos e 14 GB de RAM.If you need more than 32 Worker nodes in a cluster, you must select a head node size with at least 8 cores and 14 GB of RAM.

Para obter mais informações, consulte tamanhos para máquinas virtuais.For more information, see Sizes for virtual machines. Para obter informações sobre preços dos vários tamanhos, consulte os preços da HDInsight.For information about pricing of the various sizes, see HDInsight pricing.

Adicionar aplicaçãoAdd application

Uma aplicação HDInsight é uma aplicação que os utilizadores podem instalar num cluster do HDInsight baseado em Linux.An HDInsight application is an application that users can install on a Linux-based HDInsight cluster. Pode utilizar aplicações fornecidas pela Microsoft, terceiros ou que se desenvolva.You can use applications provided by Microsoft, third parties, or that you develop yourself. Para obter mais informações, consulte instalar aplicações Apache Hadoop de terceiros no Azure HDInsight.For more information, see Install third-party Apache Hadoop applications on Azure HDInsight.

A maioria das aplicações HDInsight são instaladas num nó de borda vazia.Most of the HDInsight applications are installed on an empty edge node. Um nó de borda vazia é uma máquina virtual Linux com as mesmas ferramentas de cliente instaladas e configuradas como no nó da cabeça.An empty edge node is a Linux virtual machine with the same client tools installed and configured as in the head node. Pode utilizar o nó de borda para aceder ao cluster, testar as aplicações do seu cliente e hospedar as aplicações do seu cliente.You can use the edge node for accessing the cluster, testing your client applications, and hosting your client applications. Para obter mais informações, consulte Utilize nós de borda vazio em HDInsight.For more information, see Use empty edge nodes in HDInsight.

Ações de scriptScript actions

Pode instalar componentes adicionais ou personalizar a configuração do cluster utilizando scripts durante a criação.You can install additional components or customize cluster configuration by using scripts during creation. Tais scripts são invocados através do Script Action , que é uma opção de configuração que pode ser usada a partir do portal Azure, cmdlets HDInsight Windows PowerShell ou o HDInsight .NET SDK.Such scripts are invoked via Script Action , which is a configuration option that can be used from the Azure portal, HDInsight Windows PowerShell cmdlets, or the HDInsight .NET SDK. Para obter mais informações, consulte o cluster HdInsight personalize usando a Ação script.For more information, see Customize HDInsight cluster using Script Action.

Alguns componentes nativos de Java, como Apache Mahout e Cascading, podem ser executados no cluster como ficheiros Java Archive (JAR).Some native Java components, like Apache Mahout and Cascading, can be run on the cluster as Java Archive (JAR) files. Estes ficheiros JAR podem ser distribuídos para Azure Storage e submetidos a clusters HDInsight com mecanismos de submissão de emprego Hadoop.These JAR files can be distributed to Azure Storage and submitted to HDInsight clusters with Hadoop job submission mechanisms. Para obter mais informações, consulte os trabalhos de Submissão da Apache Hadoop programáticamente.For more information, see Submit Apache Hadoop jobs programmatically.

Nota

Se tiver problemas em implantar ficheiros JAR para clusters HDInsight ou ligar para ficheiros JAR em clusters HDInsight, contacte o Microsoft Support.If you have issues deploying JAR files to HDInsight clusters, or calling JAR files on HDInsight clusters, contact Microsoft Support.

A cascata não é suportada pela HDInsight e não é elegível para o Microsoft Support.Cascading is not supported by HDInsight and is not eligible for Microsoft Support. Para listas de componentes suportados, consulte as novidades nas versões de cluster fornecidas pela HDInsight.For lists of supported components, see What's new in the cluster versions provided by HDInsight.

Por vezes, pretende-se configurar os seguintes ficheiros de configuração durante o processo de criação:Sometimes, you want to configure the following configuration files during the creation process:

  • clusterIdentity.xmlclusterIdentity.xml
  • core-site.xmlcore-site.xml
  • gateway.xmlgateway.xml
  • hbase-env.xmlhbase-env.xml
  • hbase-site.xmlhbase-site.xml
  • hdfs-site.xmlhdfs-site.xml
  • hive-env.xmlhive-env.xml
  • hive-site.xmlhive-site.xml
  • mapred-sitemapred-site
  • oozie-site.xmloozie-site.xml
  • oozie-env.xmloozie-env.xml
  • storm-site.xmlstorm-site.xml
  • tez-site.xmltez-site.xml
  • webhcat-site.xmlwebhcat-site.xml
  • yarn-site.xmlyarn-site.xml

Para obter mais informações, consulte os clusters HDInsight personalizados utilizando o Bootstrap.For more information, see Customize HDInsight clusters using Bootstrap.

Passos seguintesNext steps