Use as ferramentas do Spark & Hive para Visual Studio CodeUse Spark & Hive Tools for Visual Studio Code

Saiba como usar as ferramentas do Spark & Hive para Visual Studio Code para criar e enviar trabalhos de Apache Hive lote, consultas interativas de Hive e scripts PySpark para Apache Spark.Learn how to use Spark & Hive Tools for Visual Studio Code to create and submit Apache Hive batch jobs, interactive Hive queries, and PySpark scripts for Apache Spark. Primeiro, descreveremos como instalar as ferramentas do Spark & Hive no Visual Studio Code e, em seguida, veremos como enviar trabalhos para as ferramentas do Spark & Hive.First we'll describe how to install Spark & Hive Tools in Visual Studio Code, and then we'll walk through how to submit jobs to Spark & Hive Tools.

As ferramentas do hive do Spark & podem ser instaladas em plataformas com suporte no Visual Studio Code, que incluem Windows, Linux e macOS.Spark & Hive Tools can be installed on platforms that are supported by Visual Studio Code, which include Windows, Linux, and macOS. Observe os seguintes pré-requisitos para diferentes plataformas.Note the following prerequisites for different platforms.

Pré-requisitosPrerequisites

Os itens a seguir são necessários para concluir as etapas neste artigo:The following items are required for completing the steps in this article:

Instalar as ferramentas do Spark & HiveInstall Spark & Hive Tools

Depois de atender aos pré-requisitos, você pode instalar as ferramentas do Spark & Hive para Visual Studio Code seguindo estas etapas:After you meet the prerequisites, you can install Spark & Hive Tools for Visual Studio Code by following these steps:

  1. Abra o Visual Studio Code.Open Visual Studio Code.

  2. Na barra de menus, navegue para Exibir > Extensões.From the menu bar, navigate to View > Extensions.

  3. Na caixa de pesquisa, insira Spark & Hive.In the search box, enter Spark & Hive.

  4. Selecione Ferramentas do hive do Spark & nos resultados da pesquisa e selecione instalar:Select Spark & Hive Tools from the search results, and then select Install:

    & Hive do Spark para Visual Studio Code instalação do Python

  5. Selecione recarregar quando necessário.Select Reload when necessary.

Abrir uma pasta de trabalhoOpen a work folder

Para abrir uma pasta de trabalho e criar um arquivo em Visual Studio Code, siga estas etapas:To open a work folder and to create a file in Visual Studio Code, follow these steps:

  1. Na barra de menus, navegue até arquivo > abrir pasta... > C:\HD\HDexamplee, em seguida, selecione o botão Selecionar pasta .From the menu bar, navigate to to File > Open Folder... > C:\HD\HDexample, and then select the Select Folder button. A pasta aparece na exibição do Explorador à esquerda.The folder appears in the Explorer view on the left.

  2. Na exibição do Gerenciador , selecione a pasta HDexample e, em seguida, selecione o ícone novo arquivo ao lado da pasta de trabalho:In Explorer view, select the HDexample folder, and then select the New File icon next to the work folder:

    ícone de novo arquivo do Visual Studio Code

  3. Nomeie o novo arquivo usando o .hql (consultas do hive) ou a extensão de arquivo .py (script do Spark).Name the new file by using either the .hql (Hive queries) or the .py (Spark script) file extension. Este exemplo usa HelloWorld.hql.This example uses HelloWorld.hql.

Configurar o ambiente do AzureSet the Azure environment

Para um usuário de nuvem nacional, siga estas etapas para definir o ambiente do Azure primeiro e, em seguida, use o **Azure: Entre no comando @ no__t-0 para entrar no Azure:For a national cloud user, follow these steps to set the Azure environment first, and then use the Azure: Sign In command to sign in to Azure:

  1. Navegue até arquivo > preferências > configurações.Navigate to File > Preferences > Settings.

  2. Pesquise na seguinte cadeia de caracteres: **Azure: Nuvem @ no__t-0.Search on the following string: Azure: Cloud.

  3. Selecione a nuvem nacional na lista:Select the national cloud from the list:

    Definir a configuração de entrada de logon padrão

Conectar-se a uma conta do AzureConnect to an Azure account

Antes de enviar scripts para seus clusters de Visual Studio Code, você deve se conectar à sua conta do Azure ou vincular um cluster (usando as credenciais de nome de usuário e senha do Apache Ambari ou uma conta de domínio associado).Before you can submit scripts to your clusters from Visual Studio Code, you must either connect to your Azure account or link a cluster (using Apache Ambari username and password credentials or a domain-joined account). Siga estas etapas para se conectar ao Azure:Follow these steps to connect to Azure:

  1. Na barra de menus, navegue para exibir > paleta de comandos... e insira **Azure: Entrar em @ no__t-0:From the menu bar, navigate to View > Command Palette..., and enter Azure: Sign In:

    Ferramentas do hive do Spark & para o logon do Visual Studio Code

  2. Siga as instruções de entrada para entrar no Azure.Follow the sign-in instructions to sign in to Azure. Depois que você estiver conectado, o nome da sua conta do Azure será mostrado na barra de status na parte inferior da janela de Visual Studio Code.After you're connected, your Azure account name is shown on the status bar at the bottom of the Visual Studio Code window.

Você pode vincular um cluster normal usando um nome de usuário gerenciado pelo Apache Ambariou pode vincular um cluster Hadoop seguro do pacote de segurança do Enterprise usando um nome de usuário de domínio (como: user1@contoso.com).You can link a normal cluster by using an Apache Ambari-managed username, or you can link an Enterprise Security Pack secure Hadoop cluster by using a domain username (such as: user1@contoso.com).

  1. Na barra de menus, navegue para exibir > paleta de comandos... e insira Spark/Hive: Vincular um Cluster.From the menu bar, navigate to View > Command Palette..., and enter Spark / Hive: Link a Cluster.

    Comando do cluster de link da paleta de comandos

  2. Selecione o tipo de cluster vinculado Azure HDInsight.Select linked cluster type Azure HDInsight.

  3. Insira a URL do cluster HDInsight.Enter the HDInsight cluster URL.

  4. Insira seu nome de usuário do Ambari; o padrão é admin.Enter your Ambari username; the default is admin.

  5. Insira sua senha do Ambari.Enter your Ambari password.

  6. Selecione o tipo de cluster.Select the cluster type.

  7. Defina o nome de exibição do cluster (opcional).Set the display name of the cluster (optional).

  8. Verifique a exibição SAÍDA.Review OUTPUT view for verification.

    Observação

    O nome de usuário e a senha vinculados serão usados se o cluster fizer logon na assinatura do Azure e vinculado a um cluster.The linked username and password are used if the cluster both logged in to the Azure subscription and linked a cluster.

  1. Na barra de menus, navegue para exibir > paleta de comandos... e insira Spark/Hive: Vincular um Cluster.From the menu bar, navigate to View > Command Palette..., and enter Spark / Hive: Link a Cluster.

  2. Selecione o tipo de cluster vinculado Ponto de Extremidade Genérico do Livy.Select linked cluster type Generic Livy Endpoint.

  3. Insira o ponto de extremidade Livy genérico.Enter the generic Livy endpoint. Por exemplo: http @ no__t-0//10.172.41.42:18080.For example: http://10.172.41.42:18080.

  4. Selecione o tipo de autorização, Básico ou Nenhum.Select authorization type Basic or None. Se você selecionar básico:If you select Basic:
     a. a. Insira seu nome de usuário do Ambari; o padrão é admin.Enter your Ambari username; the default is admin.
     b. b. Insira sua senha do Ambari.Enter your Ambari password.

  5. Verifique a exibição SAÍDA.Review OUTPUT view for verification.

Listar clustersList clusters

  1. Na barra de menus, navegue para exibir > paleta de comandos... e insira Spark/Hive: Listar clusters.From the menu bar, navigate to View > Command Palette..., and enter Spark / Hive: List Cluster.

  2. Selecione a assinatura desejada.Select the subscription that you want.

  3. Verifique a exibição SAÍDA.Review the OUTPUT view. Essa exibição mostra o cluster (ou clusters) vinculado e todos os clusters em sua assinatura do Azure:This view shows your linked cluster (or clusters) and all the clusters under your Azure subscription:

    Definir uma configuração do cluster padrão

Definir o cluster padrãoSet the default cluster

  1. Reabra a pasta HDexample que foi discutida anteriormente, se fechada.Reopen the HDexample folder that was discussed earlier, if closed.

  2. Selecione o arquivo HelloWorld. HQL que foi criado anteriormente.Select the HelloWorld.hql file that was created earlier. Ele é aberto no editor de scripts.It opens in the script editor.

  3. Clique com o botão direito do mouse no editor de scripts e selecione Spark/Hive: Definir cluster padrão.Right-click the script editor, and then select Spark / Hive: Set Default Cluster.

  4. Conecte- se à sua conta do Azure ou vincule um cluster, caso ainda não tenha feito isso.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Selecione um cluster como o padrão para o arquivo de script atual.Select a cluster as the default cluster for the current script file. As ferramentas atualizam automaticamente o . Arquivo de configuração do VSCode\settings.JSON:The tools automatically update the .VSCode\settings.json configuration file:

    Definir configuração do cluster padrão

Enviar consultas de Hive interativas e scripts de lote do hiveSubmit interactive Hive queries and Hive batch scripts

Com as ferramentas do Spark & Hive para Visual Studio Code, você pode enviar consultas interativas do hive e scripts de lote do hive para seus clusters.With Spark & Hive Tools for Visual Studio Code, you can submit interactive Hive queries and Hive batch scripts to your clusters.

  1. Reabra a pasta HDexample que foi discutida anteriormente, se fechada.Reopen the HDexample folder that was discussed earlier, if closed.

  2. Selecione o arquivo HelloWorld. HQL que foi criado anteriormente.Select the HelloWorld.hql file that was created earlier. Ele é aberto no editor de scripts.It opens in the script editor.

  3. Copie e cole o código a seguir em seu arquivo de Hive e, em seguida, salve-o:Copy and paste the following code into your Hive file, and then save it:

    SELECT * FROM hivesampletable;
    
  4. Conecte- se à sua conta do Azure ou vincule um cluster, caso ainda não tenha feito isso.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Clique com o botão direito do mouse no editor de scripts e selecione **Hive: Interactive @ no__t-0 para enviar a consulta ou usar o atalho de teclado CTRL + ALT + I.Right-click the script editor and select Hive: Interactive to submit the query, or use the Ctrl+Alt+I keyboard shortcut. Selecione **Hive: Lote @ no__t-0 para enviar o script ou use o atalho de teclado CTRL + ALT + H.Select Hive: Batch to submit the script, or use the Ctrl+Alt+H keyboard shortcut.

  6. Se você não tiver especificado um cluster padrão, selecione um cluster.If you haven't specified a default cluster, select a cluster. As ferramentas também permitem que você envie um bloco de código em vez do arquivo de script inteiro usando o menu de contexto.The tools also let you submit a block of code instead of the whole script file by using the context menu. Após alguns instantes, os resultados da consulta aparecem em uma nova guia:After a few moments, the query results appear in a new tab:

    Resultado da consulta Apache Hive interativa

    • Painel RESULTADOS: Você pode salvar todo o resultado como um arquivo CSV, JSON ou Excel em um caminho local ou apenas selecionar várias linhas.RESULTS panel: You can save the whole result as a CSV, JSON, or Excel file to a local path or just select multiple lines.

    • Painel MENSAGENS: Quando você seleciona um número de linha , ele salta para a primeira linha do script em execução.MESSAGES panel: When you select a Line number, it jumps to the first line of the running script.

Enviar consultas interativas do PySparkSubmit interactive PySpark queries

Para enviar consultas PySpark interativas, siga estas etapas:To submit interactive PySpark queries, follow these steps:

  1. Reabra a pasta HDexample que foi discutida anteriormente, se fechada.Reopen the HDexample folder that was discussed earlier, if closed.

  2. Crie um novo arquivo HelloWorld.py , seguindo as etapas anteriores .Create a new HelloWorld.py file, following the earlier steps.

  3. Copie e cole o seguinte código no arquivo de script:Copy and paste the following code into the script file:

    from operator import add
    lines = spark.read.text("/HdiSamples/HdiSamples/FoodInspectionData/README").rdd.map(lambda r: r[0])
    counters = lines.flatMap(lambda x: x.split(' ')) \
                 .map(lambda x: (x, 1)) \
                 .reduceByKey(add)
    
    coll = counters.collect()
    sortedCollection = sorted(coll, key = lambda r: r[1], reverse = True)
    
    for i in range(0, 5):
         print(sortedCollection[i])
    
  4. Conecte- se à sua conta do Azure ou vincule um cluster, caso ainda não tenha feito isso.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Selecione todo o código, clique com o botão direito do mouse no editor de scripts e selecione **Spark: PySpark Interactive @ no__t-0 para enviar a consulta.Select all the code, right-click the script editor, and select Spark: PySpark Interactive to submit the query. Ou use o atalho CTRL + ALT + I.Or, use the Ctrl+Alt+I shortcut.

    menu de contexto interativo do pyspark

  6. Selecione o cluster, se você não tiver especificado um cluster padrão.Select the cluster, if you haven't specified a default cluster. Após alguns instantes, os resultados interativos do Python aparecem em uma nova guia. As ferramentas também permitem que você envie um bloco de código em vez do arquivo de script inteiro usando o menu de contexto:After a few moments, the Python Interactive results appear in a new tab. The tools also let you submit a block of code instead of the whole script file by using the context menu:

    janela interativa do Python pyspark Interactive

  7. Insira %% infoe pressione Shift + Enter para exibir as informações do trabalho (opcional):Enter %%info, and then press Shift+Enter to view the job information (optional):

    informações do trabalho de exibição interativa do pyspark

  8. A ferramenta também dá suporte à consulta SQL do Spark :The tool also supports the Spark SQL query:

    Resultado da exibição interativa do Pyspark

    O status de envio aparece à esquerda da barra de status inferior quando você está executando consultas.The submission status appears on the left of the lower status bar when you're running queries. Não envie outras consultas quando o status for PySpark Kernel (ocupado) .Don't submit other queries when the status is PySpark Kernel (busy).

    Observação

    Quando a extensão do Python habilitada é desmarcada nas configurações (ela é selecionada por padrão), os resultados da interação pyspark enviada usarão a janela antiga:When Python Extension Enabled is cleared in the settings (it's selected by default), the submitted pyspark interaction results will use the old window:

    extensão do Python interativa do pyspark desabilitada

Enviar o trabalho em lotes de PySparkSubmit PySpark batch job

  1. Reabra a pasta HDexample que você discutiu anteriormente, se fechada.Reopen the HDexample folder that you discussed earlier, if closed.

  2. Crie um novo arquivo BatchFile.py seguindo as etapas anteriores .Create a new BatchFile.py file by following the earlier steps.

  3. Copie e cole o seguinte código no arquivo de script:Copy and paste the following code into the script file:

    from __future__ import print_function
    import sys
    from operator import add
    from pyspark.sql import SparkSession
    if __name__ == "__main__":
        spark = SparkSession\
            .builder\
            .appName("PythonWordCount")\
            .getOrCreate()
    
        lines = spark.read.text('/HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv').rdd.map(lambda r: r[0])
        counts = lines.flatMap(lambda x: x.split(' '))\
                    .map(lambda x: (x, 1))\
                    .reduceByKey(add)
        output = counts.collect()
        for (word, count) in output:
            print("%s: %i" % (word, count))
        spark.stop()
    
  4. Conecte- se à sua conta do Azure ou vincule um cluster, caso ainda não tenha feito isso.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Clique com o botão direito do mouse no editor de scripts e selecione **Spark: PySpark lote @ no__t-0 ou use o atalho de teclado CTRL + ALT + H.Right-click the script editor, and then select Spark: PySpark Batch, or use the Ctrl+Alt+H keyboard shortcut.

  6. Selecione um cluster para o qual enviar seu trabalho do PySpark:Select a cluster to submit your PySpark job to:

    Enviar saída de resultado do trabalho do Python

Depois de enviar um trabalho Python, os logs de envio aparecem na janela SAÍDA no Visual Studio Code.After you submit a Python job, submission logs appear in the OUTPUT window in Visual Studio Code. A URL da interface do usuário do Spark e a URL da interface do usuário yarn também são mostradasThe Spark UI URL and Yarn UI URL are also shown. Você pode abrir a URL em um navegador da Web para acompanhar o status do trabalho.You can open the URL in a web browser to track the job status.

Configuração do Apache LivyApache Livy configuration

Há suporte para a configuração do Apache Livy .Apache Livy configuration is supported. Você pode configurá-lo no . Arquivo VSCode\settings.json na pasta do espaço de trabalho.You can configure it in the .VSCode\settings.json file in the workspace folder. Atualmente, a configuração do Livy dá suporte apenas ao script Python.Currently, Livy configuration only supports Python script. Para obter mais detalhes, consulte LIVY README.For more details, see Livy README.

Como disparar a configuração do LivyHow to trigger Livy configuration

Método 1Method 1

  1. Na barra de menus, navegue para Arquivo > Preferências > Configurações.From the menu bar, navigate to File > Preferences > Settings.
  2. Na caixa configurações de pesquisa , insira o envio de trabalho HDInsight: Conf Livy.In the Search settings box, enter HDInsight Job Submission: Livy Conf.
  3. Selecione Editar no settings.json para o resultado da pesquisa relevante.Select Edit in settings.json for the relevant search result.

O método 2 envia um arquivo e observa que a pasta. vscode é adicionada automaticamente à pasta de trabalho.Method 2 Submit a file, and notice that the .vscode folder is automatically added to the work folder. Você pode ver a configuração Livy selecionando . vscode\settings.JSON.You can see the Livy configuration by selecting .vscode\settings.json.

  • As configurações do projeto:The project settings:

    Configuração do Apache Livy do HDInsight

    Observação

    Para as configurações de driverMemory e executorMemory , defina o valor e a unidade.For the driverMemory and executorMemory settings, set the value and unit. Por exemplo: 1G ou 1024M.For example: 1g or 1024m.

  • Configurações de Livy com suporte:Supported Livy configurations:

    Postar/batches Corpo da solicitaçãoPOST /batches Request body

    namename descriptiondescription typetype
    filefile Arquivo que contém o aplicativo a ser executadoFile containing the application to execute Caminho (obrigatório)Path (required)
    proxyUserproxyUser Usuário a ser representado ao executar o trabalhoUser to impersonate when running the job Cadeia de caracteresString
    classNameclassName Classe principal Java/Spark do aplicativoApplication Java/Spark main class Cadeia de caracteresString
    argsargs Argumentos de linha de comando para o aplicativoCommand-line arguments for the application Lista de cadeias de caracteresList of strings
    jarsjars Jars a serem usados nesta sessãoJars to be used in this session Lista de cadeias de caracteresList of strings
    pyFilespyFiles Arquivos Python a serem usados nesta sessãoPython files to be used in this session Lista de cadeias de caracteresList of strings
    filesfiles Arquivos a serem usados nesta sessãoFiles to be used in this session Lista de cadeias de caracteresList of strings
    driverMemorydriverMemory Quantidade de memória a ser usada para o processo de driverAmount of memory to use for the driver process Cadeia de caracteresString
    driverCoresdriverCores Quantidade de núcleos a ser usado para o processo de driverNumber of cores to use for the driver process intInt
    executorMemoryexecutorMemory Quantidade de memória a ser usada por processo de executorAmount of memory to use per executor process Cadeia de caracteresString
    executorCoresexecutorCores Número de núcleos a serem usados para cada executorNumber of cores to use for each executor intInt
    numExecutorsnumExecutors Número de executores a serem iniciados para esta sessãoNumber of executors to launch for this session intInt
    archivesarchives Arquivos a serem usados nesta sessãoArchives to be used in this session Lista de cadeias de caracteresList of strings
    queuequeue Nome da fila de YARN a ser enviadaName of the YARN queue to be submitted to Cadeia de caracteresString
    namename Nome desta sessãoName of this session Cadeia de caracteresString
    confconf Propriedades de configuração do SparkSpark configuration properties Mapa de key=valMap of key=val

    Corpo da resposta o objeto do lote criado.Response body The created Batch object.

    namename descriptiondescription typetype
    idid Id da sessãoSession id intInt
    appIdappId ID do aplicativo desta sessãoApplication id of this session Cadeia de caracteresString
    appInfoappInfo Informações detalhadas do aplicativoDetailed application info Mapa de key=valMap of key=val
    loglog Linhas de logLog lines Lista de cadeias de caracteresList of strings
    statestate Estado do loteBatch state Cadeia de caracteresString

    Observação

    A configuração Livy atribuída é exibida no painel de saída quando você envia o script.The assigned Livy config is displayed in the output pane when you submit the script.

Integrar ao Azure HDInsight pelo ExplorerIntegrate with Azure HDInsight from Explorer

Você pode visualizar a tabela do hive em seus clusters diretamente por meio do Azure HDInsight Explorer:You can preview Hive Table in your clusters directly through the Azure HDInsight explorer:

  1. Conecte-se à sua conta do Azure se ainda não tiver feito isso.Connect to your Azure account if you haven't yet done so.

  2. Selecione o ícone do Azure na coluna mais à esquerda.Select the Azure icon from leftmost column.

  3. No painel esquerdo, expanda **AZURE: HDINSIGHT @ NO__T-0.From the left pane, expand AZURE: HDINSIGHT. As assinaturas e os clusters disponíveis são listados.The available subscriptions and clusters are listed.

  4. Expanda o cluster para exibir o banco de dados de metadados do hive e o esquema de tabela.Expand the cluster to view the Hive metadata database and table schema.

  5. Clique com o botão direito do mouse na tabela Hive.Right-click the Hive table. Por exemplo: hivesampletable.For example: hivesampletable. Selecione Visualização.Select Preview.

    Hive do Spark & para a tabela do hive do Visual Studio Code Preview

  6. A janela Visualizar resultados é aberta:The Preview Results window opens:

    & Hive do Spark para Visual Studio Code janela de resultados da visualização

  • Painel de resultadosRESULTS panel

    Você pode salvar todo o resultado como um arquivo CSV, JSON ou Excel em um caminho local ou apenas selecionar várias linhas.You can save the whole result as a CSV, JSON, or Excel file to a local path, or just select multiple lines.

  • Painel de mensagensMESSAGES panel

    1. Quando o número de linhas na tabela for maior que 100, você verá a seguinte mensagem: "As primeiras 100 linhas são exibidas para a tabela Hive."When the number of rows in the table is greater than 100, you see the following message: "The first 100 rows are displayed for Hive table."

    2. Quando o número de linhas na tabela for menor ou igual a 100, você verá uma mensagem semelhante à seguinte: "60 linhas são exibidas para a tabela do hive."When the number of rows in the table is less than or equal to 100, you see a message like the following: "60 rows are displayed for Hive table."

    3. Quando não houver conteúdo na tabela, você verá a seguinte mensagem: "0 linhas são exibidas para a tabela do hive."When there's no content in the table, you see the following message: "0 rows are displayed for Hive table."

      Observação

      No Linux, instale o XCLIP para habilitar os dados da tabela de cópia.In Linux, install xclip to enable copy-table data.

      Spark & Hive para Visual Studio Code no Linux

Recursos adicionaisAdditional features

O Spark & Hive para Visual Studio Code também dá suporte aos seguintes recursos:Spark & Hive for Visual Studio Code also supports the following features:

  • Preenchimento automático do IntelliSense.IntelliSense autocomplete. Sugestões pop up para palavras-chave, métodos, variáveis e outros elementos de programação.Suggestions pop up for keywords, methods, variables, and other programming elements. Os diferentes ícones representam diferentes tipos de objetos:Different icons represent different types of objects:

    Ferramentas do hive do Spark & para objetos Visual Studio Code IntelliSense

  • Marcador de erro do IntelliSense.IntelliSense error marker. O serviço de linguagem sublinha erros de edição no script do hive.The language service underlines editing errors in the Hive script.

  • Destaques da sintaxe.Syntax highlights. O serviço de idioma usa cores diferentes para diferenciar variáveis, palavras-chave, tipo de dados, funções e outros elementos de programação:The language service uses different colors to differentiate variables, keywords, data type, functions, and other programming elements:

    Ferramentas do Spark & Hive para Visual Studio Code destaques da sintaxe

Função somente leituraReader-only role

Os usuários que recebem a função somente de leitor para o cluster não podem mais enviar trabalhos para o cluster HDInsight nem podem exibir o banco de dados do hive.Users who are assigned the reader-only role for the cluster can no longer submit jobs to the HDInsight cluster, nor can they view the Hive database. Contate o administrador de cluster para atualizar sua função para o operador de cluster HDInsight no portal do Azure.Contact the cluster administrator to upgrade your role to HDInsight Cluster Operator in the Azure portal. Se você tiver credenciais Ambari válidas, poderá vincular manualmente o cluster usando as diretrizes a seguir.If you have valid Ambari credentials, you can manually link the cluster by using the following guidance.

Procurar o cluster HDInsightBrowse the HDInsight cluster

Ao selecionar o Azure HDInsight Explorer para expandir um cluster HDInsight, você será solicitado a vincular o cluster se tiver a função somente de leitor para o cluster.When you select the Azure HDInsight explorer to expand an HDInsight cluster, you're prompted to link the cluster if you have the reader-only role for the cluster. Use o método a seguir para vincular ao cluster usando suas credenciais do Ambari.Use the following method to link to the cluster by using your Ambari credentials.

Enviar o trabalho para o cluster HDInsightSubmit the job to the HDInsight cluster

Ao enviar o trabalho para um cluster HDInsight, você será solicitado a vincular o cluster se estiver na função somente de leitor para o cluster.When submitting job to an HDInsight cluster, you're prompted to link the cluster if you're in the reader-only role for the cluster. Use as etapas a seguir para vincular ao cluster usando as credenciais do Ambari.Use the following steps to link to the cluster by using Ambari credentials.

  1. Insira um nome de usuário Ambari válido.Enter a valid Ambari username.

  2. Insira uma senha válida.Enter a valid password.

    Ferramentas do hive do Spark & para Visual Studio Code nome de usuário

    Ferramentas do hive do Spark & para Visual Studio Code senha

Observação

Você pode usar Spark / Hive: List Cluster para verificar o cluster vinculado:You can use Spark / Hive: List Cluster to check the linked cluster:

Ferramentas do hive do Spark & para Visual Studio Code Reader vinculado

Azure Data Lake Storage Gen2Azure Data Lake Storage Gen2

Procurar uma conta de Data Lake Storage Gen2Browse a Data Lake Storage Gen2 account

Ao selecionar o Azure HDInsight Explorer para expandir uma conta de Data Lake Storage Gen2, você será solicitado a inserir a chave de acesso de armazenamento se sua conta do Azure não tiver acesso ao armazenamento Gen2.When you select the Azure HDInsight explorer to expand a Data Lake Storage Gen2 account, you're prompted to enter the storage access key if your Azure account has no access to Gen2 storage. Depois que a chave de acesso for validada, a conta de Data Lake Storage Gen2 será expandida automaticamente.After the access key is validated, the Data Lake Storage Gen2 account is auto-expanded.

Enviar trabalhos para um cluster HDInsight com Data Lake Storage Gen2Submit jobs to an HDInsight cluster with Data Lake Storage Gen2

Ao enviar um trabalho para um cluster HDInsight usando Data Lake Storage Gen2, você será solicitado a inserir a chave de acesso de armazenamento se sua conta do Azure não tiver acesso de gravação ao armazenamento Gen2.When you submit a job to an HDInsight cluster by using Data Lake Storage Gen2, you're prompted to enter the storage access key if your Azure account has no write access to Gen2 storage. Depois que a chave de acesso for validada, o trabalho será enviado com êxito.After the access key is validated, the job will be successfully submitted.

Ferramentas do hive & Spark para Visual Studio Code AccessKey

Observação

Você pode obter a chave de acesso para a conta de armazenamento do portal do Azure.You can get the access key for the storage account from the Azure portal. Para obter mais informações, consulte Exibir e copiar chaves de acesso.For more information, see View and copy access keys.

  1. Na barra de menus, acesse exibir > paleta de comandose, em seguida, insira Spark/Hive: Desvincular um Cluster.From the menu bar, go to View > Command Palette, and then enter Spark / Hive: Unlink a Cluster.

  2. Selecione um cluster para desvincular.Select a cluster to unlink.

  3. Consulte a exibição de saída para verificação.See the OUTPUT view for verification.

SairSign out

Na barra de menus, acesse exibir > paleta de comandose, em seguida, insira **Azure: Saia do @ no__t-0.From the menu bar, go to View > Command Palette, and then enter Azure: Sign Out.

Próximas etapasNext steps

Para ver um vídeo que demonstra o uso do Spark & Hive para Visual Studio Code, consulte spark & Hive para Visual Studio Code.For a video that demonstrates using Spark & Hive for Visual Studio Code, see Spark & Hive for Visual Studio Code.