Quickstart: Criar o cluster Hadoop Apache no Azure HDInsight usando o modelo de Gestor de RecursosQuickstart: Create Apache Hadoop cluster in Azure HDInsight using Resource Manager template

Neste arranque rápido, você usa um modelo de Gestor de Recursos Azure para criar um cluster Apache Hadoop em Azure HDInsight.In this quickstart, you use an Azure Resource Manager template to create an Apache Hadoop cluster in Azure HDInsight. Hadoop foi o quadro original de código aberto para o processamento e análise distribuídos de grandes conjuntos de dados em clusters.Hadoop was the original open-source framework for distributed processing and analysis of big data sets on clusters. O ecossistema Hadoop inclui software e utilitários relacionados, incluindo Apache Hive, Apache HBase, Spark, Kafka, entre muitos outros.The Hadoop ecosystem includes related software and utilities, including Apache Hive, Apache HBase, Spark, Kafka, and many others.

O modelo do Resource Manager é um ficheiro JavaScript Object Notation (JSON) que define a infraestrutura e a configuração do seu projeto.Resource Manager template is a JavaScript Object Notation (JSON) file that defines the infrastructure and configuration for your project. O modelo utiliza a sintaxe declarativa, que permite afirmar o que quer implementar sem ter de escrever a sequência de comandos de programação para a criar.The template uses declarative syntax, which lets you state what you intend to deploy without having to write the sequence of programming commands to create it. Se quiser saber mais sobre o desenvolvimento de modelos do Resource Manager, veja a documentação do Resource Manager e a referência do modelo.If you want to learn more about developing Resource Manager templates, see Resource Manager documentation and the template reference.

Atualmente, o HDInsight inclui sete tipos diferentes de cluster.Currently HDInsight comes with seven different cluster types. Cada tipo de cluster suporta um conjunto diferente de componentes.Each cluster type supports a different set of components. Todos os tipos de cluster suportam o Hive.All cluster types support Hive. Para obter uma lista dos componentes suportados no HDInsight, consulte Quais são as novidades nas versões de cluster do Hadoop fornecidas pelo HDInsight?For a list of supported components in HDInsight, see What's new in the Hadoop cluster versions provided by HDInsight?

Se não tiver uma subscrição Azure, crie uma conta gratuita antes de começar.If you don't have an Azure subscription, create a free account before you begin.

Criar um aglomerado de Hadoop ApacheCreate an Apache Hadoop cluster

Reveja o modeloReview the template

O modelo utilizado neste quickstart é de modelos Azure Quickstart.The template used in this quickstart is from Azure Quickstart templates.

{
 "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
 "contentVersion": "1.0.0.0",
 "parameters": {
   "clusterName": {
     "type": "string",
     "metadata": {
       "description": "The name of the HDInsight cluster to create."
     }
   },
   "clusterType": {
     "type": "string",
     "allowedValues": [
       "hadoop",
       "intractivehive",
       "hbase",
       "storm",
       "spark"
     ],
     "metadata": {
       "description": "The type of the HDInsight cluster to create."
     }
   },
   "clusterLoginUserName": {
     "type": "string",
     "metadata": {
       "description": "These credentials can be used to submit jobs to the cluster and to log into cluster dashboards."
     }
   },
   "clusterLoginPassword": {
     "type": "securestring",
     "metadata": {
       "description": "The password must be at least 10 characters in length and must contain at least one digit, one non-alphanumeric character, and one upper or lower case letter."
     }
   },
   "sshUserName": {
     "type": "string",
     "metadata": {
       "description": "These credentials can be used to remotely access the cluster."
     }
   },
   "sshPassword": {
     "type": "securestring",
     "metadata": {
       "description": "The password must be at least 10 characters in length and must contain at least one digit, one non-alphanumeric character, and one upper or lower case letter."
     }
   },
   "location": {
     "type": "string",
     "defaultValue": "[resourceGroup().location]",
     "metadata": {
       "description": "Location for all resources."
     }
   }
 },
 "variables": {
   "defaultStorageAccount": {
     "name": "[uniqueString(resourceGroup().id)]",
     "type": "Standard_LRS"
   }
 },
 "resources": [
   {
     "type": "Microsoft.Storage/storageAccounts",
     "name": "[variables('defaultStorageAccount').name]",
     "location": "[parameters('location')]",
     "apiVersion": "2016-01-01",
     "sku": {
       "name": "[variables('defaultStorageAccount').type]"
     },
     "kind": "Storage",
     "properties": {}
   },
   {
     "type": "Microsoft.HDInsight/clusters",
     "name": "[parameters('clusterName')]",
     "location": "[parameters('location')]",
     "apiVersion": "2015-03-01-preview",
     "dependsOn": [
       "[concat('Microsoft.Storage/storageAccounts/',variables('defaultStorageAccount').name)]"
     ],
     "properties": {
       "clusterVersion": "3.6",
       "osType": "Linux",
       "clusterDefinition": {
         "kind": "[parameters('clusterType')]",
         "configurations": {
           "gateway": {
             "restAuthCredential.isEnabled": true,
             "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
             "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
           }
         }
       },
       "storageProfile": {
         "storageaccounts": [
           {
             "name": "[replace(replace(concat(reference(concat('Microsoft.Storage/storageAccounts/', variables('defaultStorageAccount').name), '2016-01-01').primaryEndpoints.blob),'https:',''),'/','')]",
             "isDefault": true,
             "container": "[parameters('clusterName')]",
             "key": "[listKeys(resourceId('Microsoft.Storage/storageAccounts', variables('defaultStorageAccount').name), '2016-01-01').keys[0].value]"
           }
         ]
       },
       "computeProfile": {
         "roles": [
           {
             "name": "headnode",
             "targetInstanceCount": 2,
             "hardwareProfile": {
               "vmSize": "Standard_D3_v2"
             },
             "osProfile": {
               "linuxOperatingSystemProfile": {
                 "username": "[parameters('sshUserName')]",
                 "password": "[parameters('sshPassword')]"
               }
             }
           },
           {
             "name": "workernode",
             "targetInstanceCount": 2,
             "hardwareProfile": {
               "vmSize": "Standard_D3_v2"
             },
             "osProfile": {
               "linuxOperatingSystemProfile": {
                 "username": "[parameters('sshUserName')]",
                 "password": "[parameters('sshPassword')]"
               }
             }
           }
         ]
       }
     }
   }
 ],
 "outputs": {
   "storage": {
     "type": "object",
     "value": "[reference(resourceId('Microsoft.Storage/storageAccounts', variables('defaultStorageAccount').name))]"
   },
   "cluster": {
     "type": "object",
     "value": "[reference(resourceId('Microsoft.HDInsight/clusters',parameters('clusterName')))]"
   }
 }
}

Dois recursos Azure são definidos no modelo:Two Azure resources are defined in the template:

Implementar o modeloDeploy the template

  1. Selecione o botão Deploy para Azure abaixo para iniciar sessão no Azure e abra o modelo de Gestor de Recursos.Select the Deploy to Azure button below to sign in to Azure and open the Resource Manager template.

    Deploy to Azure button for new cluster

  2. Introduza ou selecione os seguintes valores:Enter or select the following values:

    PropriedadeProperty DescriçãoDescription
    SubscriçãoSubscription A partir da lista de lançamentos, selecione a subscrição Azure que é usada para o cluster.From the drop-down list, select the Azure subscription that's used for the cluster.
    Grupo de recursosResource group A partir da lista de drop-down, selecione o seu grupo de recursos existente, ou selecione Criar novo.From the drop-down list, select your existing resource group, or select Create new.
    LocalizaçãoLocation O valor irá autopovoar-se com a localização utilizada para o grupo de recursos.The value will autopopulate with the location used for the resource group.
    Nome do ClusterCluster Name Introduza um nome globalmente exclusivo.Enter a globally unique name. Para este modelo, utilize apenas letras minúsculas e números.For this template, use only lowercase letters, and numbers.
    Tipo de ClusterCluster Type Selecione hadoop.Select hadoop.
    Nome de Utilizador de Início de Sessão do ClusterCluster Login User Name Forneça o nome de utilizador, o predefinido é o administrador.Provide the username, default is admin.
    Palavra-passe de Início de Sessão do ClusterCluster Login Password Forneça uma senha.Provide a password. A palavra-passe deve ter pelo menos 10 caracteres de comprimento e deve conter pelo menos um dígito, uma maiúscula e uma letra minúscula, um caracteres não alfanuméricos (exceto os caracteres ' ' ).The password must be at least 10 characters in length and must contain at least one digit, one uppercase, and one lower case letter, one non-alphanumeric character (except characters ' " ` ).
    Nome do utilizador SSHSsh User Name Forneça o nome de utilizador, o padrão é sshuserProvide the username, default is sshuser
    Palavra-passe sshSsh Password Forneça a senha.Provide the password.

    Algumas propriedades foram codificadas no modelo.Some properties have been hardcoded in the template. Pode configurar estes valores a partir do modelo.You can configure these values from the template. Para obter mais explicações sobre estas propriedades, consulte Create Apache Hadoop clusters in HDInsight.For more explanation of these properties, see Create Apache Hadoop clusters in HDInsight.

    Nota

    Os valores que forem fornecidos têm de ser exclusivos e devem seguir as diretrizes de nomenclatura.The values you provide must be unique and should follow the naming guidelines. O modelo não realiza verificações de validação.The template does not perform validation checks. Caso os valores fornecidos já estejam a ser utilizados ou não sigam as diretrizes, receberá um erro depois de ter submetido o modelo.If the values you provide are already in use, or do not follow the guidelines, you get an error after you have submitted the template.

    HDInsight Linux inicia modelo de Gestor de Recursos no portalHDInsight Linux gets started Resource Manager template on portal

  3. Reveja os TERMOS E CONDIÇÕES.Review the TERMS AND CONDITIONS. Em seguida, selecione Concordo com os termos e condições acima indicados, em seguida, comprar.Then select I agree to the terms and conditions stated above, then Purchase. Receberá uma notificação de que a sua implantação está em andamento.You'll receive a notification that your deployment is in progress. A criação de um cluster demora cerca de 20 minutos.It takes about 20 minutes to create a cluster.

Rever os recursos implantadosReview deployed resources

Assim que o cluster for criado, receberá uma notificação de Implementação bem sucedida com uma ligação de recurso Go.Once the cluster is created, you'll receive a Deployment succeeded notification with a Go to resource link. A página do grupo Recursos listará o seu novo cluster HDInsight e o armazenamento predefinido associado ao cluster.Your Resource group page will list your new HDInsight cluster and the default storage associated with the cluster. Cada cluster tem uma conta de Armazenamento Azure ou uma dependência da conta de armazenamento de lagos de dados Azure.Each cluster has an Azure Storage account or an Azure Data Lake Storage account dependency. É referida como a conta de armazenamento padrão.It's referred as the default storage account. O cluster HDInsight e a sua conta de armazenamento predefinido devem ser colocalizados na mesma região de Azure.The HDInsight cluster and its default storage account must be colocated in the same Azure region. Eliminar aglomerados não apaga a conta de armazenamento.Deleting clusters doesn't delete the storage account.

Nota

Para outros métodos de criação de clusters e compreensão das propriedades utilizadas neste arranque rápido, consulte Create HDInsight clusters.For other cluster creation methods and understanding the properties used in this quickstart, see Create HDInsight clusters.

Limpar recursosClean up resources

Depois de completar o arranque rápido, poderá querer eliminar o cluster.After you complete the quickstart, you may want to delete the cluster. Com o HDInsight, os seus dados são armazenados no Armazenamento Azure, para que possa eliminar com segurança um cluster quando não estiver a ser utilizado.With HDInsight, your data is stored in Azure Storage, so you can safely delete a cluster when it isn't in use. Também é cobrado por um cluster HDInsight, mesmo quando não está a ser utilizado.You're also charged for an HDInsight cluster, even when it isn't in use. Uma vez que as taxas para o cluster são muitas vezes mais do que as taxas de armazenamento, faz sentido económico apagar clusters quando não estão em uso.Since the charges for the cluster are many times more than the charges for storage, it makes economic sense to delete clusters when they aren't in use.

Nota

Se avançar imediatamente para o tutorial seguinte para saber como executar operações de ETL com o Hadoop no HDInsight, é recomendado que mantenha o cluster em execução.If you are immediately proceeding to the next tutorial to learn how to run ETL operations using Hadoop on HDInsight, you may want to keep the cluster running. Isto porque no tutorial tens de criar um aglomerado hadoop outra vez.This is because in the tutorial you have to create a Hadoop cluster again. No entanto, se não avançar já para o tutorial seguinte, tem de eliminar o cluster agora.However, if you are not going through the next tutorial right away, you must delete the cluster now.

A partir do portal Azure, navegue até ao seu cluster e selecione Eliminar.From the Azure portal, navigate to your cluster, and select Delete.

HDInsight elimina cluster do portalHDInsight delete cluster from portal

Também pode selecionar o nome do grupo de recursos para abrir a página do grupo de recursos e, em seguida, selecionar Eliminar grupo de recursos.You can also select the resource group name to open the resource group page, and then select Delete resource group. Ao eliminar o grupo de recursos, elimina tanto o cluster HDInsight como a conta de armazenamento predefinida.By deleting the resource group, you delete both the HDInsight cluster, and the default storage account.

Passos seguintesNext steps

Neste arranque rápido, aprendeu a criar um cluster Apache Hadoop no HDInsight usando um modelo de Gestor de Recursos.In this quickstart, you learned how to create an Apache Hadoop cluster in HDInsight using a Resource Manager template. No artigo seguinte, irá saber como executar uma operação de ETL (extração, transformação e carregamento) com o Hadoop no HDInsight.In the next article, you learn how to perform an extract, transform, and load (ETL) operation using Hadoop on HDInsight.