Použití nástrojů pro podregistr Spark & pro Visual Studio CodeUse Spark & Hive Tools for Visual Studio Code

Naučte se používat nástroje Spark & podregistr pro Visual Studio Code k vytváření a odesílání Apache Hive dávkových úloh, interaktivních dotazů na podregistru a skriptů PySpark pro Apache Spark.Learn how to use Spark & Hive Tools for Visual Studio Code to create and submit Apache Hive batch jobs, interactive Hive queries, and PySpark scripts for Apache Spark. Nejprve popíšeme, jak nainstalovat nástroje Spark & v Visual Studio Code a pak si projdeme, jak odesílat úlohy do nástrojů pro podregistr Spark &.First we'll describe how to install Spark & Hive Tools in Visual Studio Code, and then we'll walk through how to submit jobs to Spark & Hive Tools.

Nástroje Spark & podregistr lze nainstalovat na platformy podporované Visual Studio Code, které zahrnují systémy Windows, Linux a macOS.Spark & Hive Tools can be installed on platforms that are supported by Visual Studio Code, which include Windows, Linux, and macOS. Všimněte si následujících požadavků pro různé platformy.Note the following prerequisites for different platforms.

PředpokladyPrerequisites

K dokončení kroků v tomto článku jsou vyžadovány následující položky:The following items are required for completing the steps in this article:

Instalace nástrojů pro podregistr Spark &Install Spark & Hive Tools

Po splnění požadavků můžete nainstalovat nástroje Spark & pro Visual Studio Code pomocí následujících kroků:After you meet the prerequisites, you can install Spark & Hive Tools for Visual Studio Code by following these steps:

  1. Otevřete Visual Studio Code.Open Visual Studio Code.

  2. V řádku nabídek přejděte k zobrazení rozšíření > .From the menu bar, navigate to View > Extensions.

  3. Do vyhledávacího pole zadejte Spark & podregistr.In the search box, enter Spark & Hive.

  4. Z výsledků hledání vyberte Spark & nástroje pro podregistr a pak vyberte instalovat:Select Spark & Hive Tools from the search results, and then select Install:

    Podregistr Spark & pro instalaci Visual Studio Code Pythonu

  5. V případě potřeby vyberte znovu načíst .Select Reload when necessary.

Otevření pracovní složkyOpen a work folder

Chcete-li otevřít pracovní složku a vytvořit soubor v Visual Studio Code, postupujte podle následujících kroků:To open a work folder and to create a file in Visual Studio Code, follow these steps:

  1. V řádku nabídek přejděte na do souboru@no__t otevřít složku-1 ... > C:\HD\HDexamplea pak vyberte tlačítko Vybrat složku .From the menu bar, navigate to to File > Open Folder... > C:\HD\HDexample, and then select the Select Folder button. Složka se zobrazí v zobrazení Průzkumník na levé straně.The folder appears in the Explorer view on the left.

  2. V zobrazení Průzkumník vyberte složku HDexample a pak vyberte ikonu nového souboru vedle pracovní složky:In Explorer view, select the HDexample folder, and then select the New File icon next to the work folder:

    Ikona nového souboru pro Visual Studio Code

  3. Pojmenujte nový soubor pomocí .hql (dotazy na podregistr) nebo přípony souboru .py (Spark Script).Name the new file by using either the .hql (Hive queries) or the .py (Spark script) file extension. V tomto příkladu se používá HelloWorld. HQL.This example uses HelloWorld.hql.

Nastavení prostředí AzureSet the Azure environment

V případě národního cloudového uživatele proveďte následující kroky a nastavte prostředí Azure jako první a pak se pomocí příkazu Azure: Sign in přihlaste k Azure:For a national cloud user, follow these steps to set the Azure environment first, and then use the Azure: Sign In command to sign in to Azure:

  1. Přejděte na soubor > Předvolby > Nastavení.Navigate to File > Preferences > Settings.

  2. Vyhledejte následující řetězec: Azure: Cloud.Search on the following string: Azure: Cloud.

  3. Ze seznamu vyberte národní Cloud:Select the national cloud from the list:

    Nastavit výchozí konfiguraci zadání přihlašovacích údajů

Připojení k účtu AzureConnect to an Azure account

Než budete moct odesílat skripty do svých clusterů z Visual Studio Code, musíte se připojit ke svému účtu Azure nebo propojit cluster (s použitím přihlašovacích údajů k uživatelskému jménu Apache Ambari a hesla nebo účtu připojeného k doméně).Before you can submit scripts to your clusters from Visual Studio Code, you must either connect to your Azure account or link a cluster (using Apache Ambari username and password credentials or a domain-joined account). Pomocí těchto kroků se připojte k Azure:Follow these steps to connect to Azure:

  1. V řádku nabídek přejděte k zobrazení palety příkazů > ... a zadejte Azure: přihlásitse:From the menu bar, navigate to View > Command Palette..., and enter Azure: Sign In:

    Nástroje pro podregistr Spark & pro přihlášení Visual Studio Code

  2. Podle pokynů pro přihlášení Přihlaste se k Azure.Follow the sign-in instructions to sign in to Azure. Po připojení se váš název účtu Azure zobrazí na stavovém řádku v dolní části okna Visual Studio Code.After you're connected, your Azure account name is shown on the status bar at the bottom of the Visual Studio Code window.

Běžný cluster můžete propojit pomocí uživatelského jména spravovaného Apache Ambarinebo můžete propojit zabezpečený cluster sady Hadoop s podnikovým zabezpečením pomocí uživatelského jména domény (například: user1@contoso.com).You can link a normal cluster by using an Apache Ambari-managed username, or you can link an Enterprise Security Pack secure Hadoop cluster by using a domain username (such as: user1@contoso.com).

  1. V řádku nabídek přejděte k zobrazení palety příkazů > ... a zadejte Spark/podregistr: propojení clusteru.From the menu bar, navigate to View > Command Palette..., and enter Spark / Hive: Link a Cluster.

    Příkaz pro propojení palety příkazů cluster

  2. Vyberte typ propojeného clusteru Azure HDInsight.Select linked cluster type Azure HDInsight.

  3. Zadejte adresu URL clusteru HDInsight.Enter the HDInsight cluster URL.

  4. Zadejte své uživatelské jméno Ambari; Výchozí hodnota je admin (správce).Enter your Ambari username; the default is admin.

  5. Zadejte své heslo Ambari.Enter your Ambari password.

  6. Vyberte typ clusteru.Select the cluster type.

  7. Nastavte zobrazovaný název clusteru (volitelné).Set the display name of the cluster (optional).

  8. Zkontrolujte zobrazení výstupu pro ověření.Review OUTPUT view for verification.

    Poznámka

    Propojené uživatelské jméno a heslo se použijí, pokud je cluster přihlášený k předplatnému Azure i propojený cluster.The linked username and password are used if the cluster both logged in to the Azure subscription and linked a cluster.

  1. V řádku nabídek přejděte k zobrazení palety příkazů > ... a zadejte Spark/podregistr: propojení clusteru.From the menu bar, navigate to View > Command Palette..., and enter Spark / Hive: Link a Cluster.

  2. Vyberte typ propojeného clusteru obecný koncový bod Livy.Select linked cluster type Generic Livy Endpoint.

  3. Zadejte obecný koncový bod Livy.Enter the generic Livy endpoint. Například: http @ no__t-0//10.172.41.42:18080.For example: http://10.172.41.42:18080.

  4. Vyberte typ autorizace Basic nebo žádný.Select authorization type Basic or None. Pokud vyberete základní:If you select Basic:
    @no__t – 0a. a. Zadejte své uživatelské jméno Ambari; Výchozí hodnota je admin (správce).Enter your Ambari username; the default is admin.
    @no__t – 0b. b. Zadejte své heslo Ambari.Enter your Ambari password.

  5. Zkontrolujte zobrazení výstupu pro ověření.Review OUTPUT view for verification.

Výpis clusterůList clusters

  1. V řádku nabídek přejděte k zobrazení palety příkazů > ... a zadejte Spark/podregistr: list cluster.From the menu bar, navigate to View > Command Palette..., and enter Spark / Hive: List Cluster.

  2. Vyberte předplatné, které chcete.Select the subscription that you want.

  3. Zkontrolujte zobrazení výstup .Review the OUTPUT view. Toto zobrazení ukazuje váš propojený cluster (nebo clustery) a všechny clustery v rámci vašeho předplatného Azure:This view shows your linked cluster (or clusters) and all the clusters under your Azure subscription:

    Nastavení výchozí konfigurace clusteru

Nastavení výchozího clusteruSet the default cluster

  1. Otevřete složku HDexample , která byla popsána dříve, pokud je uzavřená.Reopen the HDexample folder that was discussed earlier, if closed.

  2. Vyberte soubor HelloWorld. HQL , který byl vytvořen dříve.Select the HelloWorld.hql file that was created earlier. Otevře se v editoru skriptů.It opens in the script editor.

  3. Klikněte pravým tlačítkem na editor skriptů a pak vyberte Spark/podregistr: nastavit výchozí cluster.Right-click the script editor, and then select Spark / Hive: Set Default Cluster.

  4. Připojte se k účtu Azure nebo propojte cluster, pokud jste to ještě neudělali.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Vyberte cluster jako výchozí cluster pro aktuální soubor skriptu.Select a cluster as the default cluster for the current script file. Nástroje automaticky aktualizují . Konfigurační soubor VSCode\settings.JSON:The tools automatically update the .VSCode\settings.json configuration file:

    Nastavit výchozí konfiguraci clusteru

Odeslání interaktivních dotazů na podregistr a dávkových skriptů podregistruSubmit interactive Hive queries and Hive batch scripts

Pomocí nástrojů pro podregistr Spark & pro Visual Studio Code můžete do svých clusterů odesílat interaktivní dotazy na podregistry a skripty Batch v podregistru.With Spark & Hive Tools for Visual Studio Code, you can submit interactive Hive queries and Hive batch scripts to your clusters.

  1. Otevřete složku HDexample , která byla popsána dříve, pokud je uzavřená.Reopen the HDexample folder that was discussed earlier, if closed.

  2. Vyberte soubor HelloWorld. HQL , který byl vytvořen dříve.Select the HelloWorld.hql file that was created earlier. Otevře se v editoru skriptů.It opens in the script editor.

  3. Zkopírujte a vložte následující kód do souboru podregistru a pak ho uložte:Copy and paste the following code into your Hive file, and then save it:

    SELECT * FROM hivesampletable;
    
  4. Připojte se k účtu Azure nebo propojte cluster, pokud jste to ještě neudělali.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Kliknutím pravým tlačítkem myši na editor skriptů a vybráním podregistru: Interactive odešlete dotaz nebo použijte klávesovou zkratku CTRL + ALT + I.Right-click the script editor and select Hive: Interactive to submit the query, or use the Ctrl+Alt+I keyboard shortcut. Vyberte podregistr: Batch pro odeslání skriptu nebo použijte klávesovou zkratku CTRL + ALT + H.Select Hive: Batch to submit the script, or use the Ctrl+Alt+H keyboard shortcut.

  6. Pokud jste nezadali výchozí cluster, vyberte cluster.If you haven't specified a default cluster, select a cluster. Nástroje také umožňují odeslat blok kódu namísto celého souboru skriptu pomocí místní nabídky.The tools also let you submit a block of code instead of the whole script file by using the context menu. Po chvíli se výsledky dotazu zobrazí na nové kartě:After a few moments, the query results appear in a new tab:

    Výsledek interaktivního dotazu Apache Hive

    • Panel výsledků : celý výsledek můžete uložit jako soubor CSV, JSON nebo Excel do místní cesty nebo stačí vybrat více řádků.RESULTS panel: You can save the whole result as a CSV, JSON, or Excel file to a local path or just select multiple lines.

    • Panel zprávy : Když vyberete číslo řádku , přejde na první řádek běžícího skriptu.MESSAGES panel: When you select a Line number, it jumps to the first line of the running script.

Odeslání interaktivních dotazů PySparkSubmit interactive PySpark queries

K odeslání interaktivních dotazů PySpark použijte následující postup:To submit interactive PySpark queries, follow these steps:

  1. Otevřete složku HDexample , která byla popsána dříve, pokud je uzavřená.Reopen the HDexample folder that was discussed earlier, if closed.

  2. Podle předchozích kroků vytvořte nový soubor HelloWorld.py .Create a new HelloWorld.py file, following the earlier steps.

  3. Zkopírujte a vložte následující kód do souboru skriptu:Copy and paste the following code into the script file:

    from operator import add
    lines = spark.read.text("/HdiSamples/HdiSamples/FoodInspectionData/README").rdd.map(lambda r: r[0])
    counters = lines.flatMap(lambda x: x.split(' ')) \
                 .map(lambda x: (x, 1)) \
                 .reduceByKey(add)
    
    coll = counters.collect()
    sortedCollection = sorted(coll, key = lambda r: r[1], reverse = True)
    
    for i in range(0, 5):
         print(sortedCollection[i])
    
  4. Připojte se k účtu Azure nebo propojte cluster, pokud jste to ještě neudělali.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Vyberte veškerý kód, klikněte pravým tlačítkem myši na editor skriptů a vyberte Spark: PySpark Interactive k odeslání dotazu.Select all the code, right-click the script editor, and select Spark: PySpark Interactive to submit the query. Nebo použijte zkratku CTRL + ALT + I.Or, use the Ctrl+Alt+I shortcut.

    interaktivní kontextová nabídka pyspark

  6. Pokud jste nezadali výchozí cluster, vyberte cluster.Select the cluster, if you haven't specified a default cluster. Po chvíli se interaktivní výsledky Pythonu zobrazí na nové kartě. Nástroje také umožňují odeslat blok kódu namísto celého souboru skriptu pomocí místní nabídky:After a few moments, the Python Interactive results appear in a new tab. The tools also let you submit a block of code instead of the whole script file by using the context menu:

    interaktivní okno pyspark interaktivního Pythonu

  7. Zadejte %% infoa potom stiskněte SHIFT + ENTER, abyste zobrazili informace o úloze (volitelné):Enter %%info, and then press Shift+Enter to view the job information (optional):

    informace o úloze interaktivního zobrazení pyspark

  8. Nástroj také podporuje dotaz Spark SQL :The tool also supports the Spark SQL query:

    Výsledek interaktivního zobrazení Pyspark

    Stav odeslání se zobrazí vlevo od dolního stavového řádku při spouštění dotazů.The submission status appears on the left of the lower status bar when you're running queries. Neodesílat další dotazy, pokud je stav PySpark jádro (zaneprázdněno) .Don't submit other queries when the status is PySpark Kernel (busy).

    Poznámka

    Pokud je v nastavení povolené rozšíření Pythonu (ve výchozím nastavení je vybrané), budou výsledky odeslaných interakcí pyspark používat staré okno:When Python Extension Enabled is cleared in the settings (it's selected by default), the submitted pyspark interaction results will use the old window:

    pyspark interaktivní rozšíření Pythonu je zakázané.

Odeslat dávkovou úlohu PySparkSubmit PySpark batch job

  1. Otevřete složku HDexample , kterou jste si poznamenali dříve, pokud je uzavřená.Reopen the HDexample folder that you discussed earlier, if closed.

  2. Pomocí předchozích kroků vytvořte nový soubor BatchFile.py .Create a new BatchFile.py file by following the earlier steps.

  3. Zkopírujte a vložte následující kód do souboru skriptu:Copy and paste the following code into the script file:

    from __future__ import print_function
    import sys
    from operator import add
    from pyspark.sql import SparkSession
    if __name__ == "__main__":
        spark = SparkSession\
            .builder\
            .appName("PythonWordCount")\
            .getOrCreate()
    
        lines = spark.read.text('/HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv').rdd.map(lambda r: r[0])
        counts = lines.flatMap(lambda x: x.split(' '))\
                    .map(lambda x: (x, 1))\
                    .reduceByKey(add)
        output = counts.collect()
        for (word, count) in output:
            print("%s: %i" % (word, count))
        spark.stop()
    
  4. Připojte se k účtu Azure nebo propojte cluster, pokud jste to ještě neudělali.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Klikněte pravým tlačítkem myši na editor skriptů a pak vyberte Spark: PySpark Batchnebo použijte klávesovou zkratku CTRL + ALT + H.Right-click the script editor, and then select Spark: PySpark Batch, or use the Ctrl+Alt+H keyboard shortcut.

  6. Vyberte cluster, do kterého chcete odeslat úlohu PySpark:Select a cluster to submit your PySpark job to:

    Odeslat výstup výsledku úlohy Pythonu

Po odeslání úlohy Pythonu se protokoly odeslání zobrazí v okně výstup v Visual Studio Code.After you submit a Python job, submission logs appear in the OUTPUT window in Visual Studio Code. Zobrazí se také adresa URL uživatelského rozhraní Spark a adresa URL uživatelského rozhraní příze.The Spark UI URL and Yarn UI URL are also shown. Pro sledování stavu úlohy můžete otevřít adresu URL ve webovém prohlížeči.You can open the URL in a web browser to track the job status.

Konfigurace Apache LivyApache Livy configuration

Konfigurace Apache Livy je podporovaná.Apache Livy configuration is supported. Můžete ji nakonfigurovat v . Soubor VSCode\settings.json ve složce pracovního prostoru.You can configure it in the .VSCode\settings.json file in the workspace folder. V současné době konfigurace Livy podporuje pouze skript Pythonu.Currently, Livy configuration only supports Python script. Další podrobnosti najdete v tématu LIVY Readme.For more details, see Livy README.

Jak aktivovat konfiguraci LivyHow to trigger Livy configuration

Metoda 1Method 1

  1. V řádku nabídek přejděte na soubor > Předvolby > Nastavení.From the menu bar, navigate to File > Preferences > Settings.
  2. Do pole Nastavení hledání zadejte odeslání úlohy HDInsight: Livy conf.In the Search settings box, enter HDInsight Job Submission: Livy Conf.
  3. Pro příslušný výsledek hledání vyberte Upravit v nastavení. JSON .Select Edit in settings.json for the relevant search result.

Metoda 2 odešle soubor a Všimněte si, že složka. VSCode je automaticky přidána do pracovní složky.Method 2 Submit a file, and notice that the .vscode folder is automatically added to the work folder. Konfiguraci Livy můžete zobrazit tak, že vyberete . vscode\settings.JSON.You can see the Livy configuration by selecting .vscode\settings.json.

  • Nastavení projektu:The project settings:

    Konfigurace HDInsight Apache Livy

    Poznámka

    Pro nastavení driverMemory a executorMemory nastavte hodnotu a jednotku.For the driverMemory and executorMemory settings, set the value and unit. Například: 1G nebo 1024m.For example: 1g or 1024m.

  • Podporované konfigurace Livy:Supported Livy configurations:

    Příspěvek/Batches Text žádostiPOST /batches Request body

    jménoname descriptiondescription typetype
    Souborůfile Soubor obsahující aplikaci, která se má provéstFile containing the application to execute Cesta (povinné)Path (required)
    proxyUserproxyUser Uživatel, který se má zosobnit při spuštění úlohyUser to impersonate when running the job ŘetězecString
    NázevTřídyclassName Application – hlavní třída Java/SparkApplication Java/Spark main class ŘetězecString
    argsargs Argumenty příkazového řádku pro aplikaciCommand-line arguments for the application Seznam řetězcůList of strings
    JARjars JAR, která se má použít v této relaciJars to be used in this session Seznam řetězcůList of strings
    pyFilespyFiles Soubory Pythonu, které se mají použít v této relaciPython files to be used in this session Seznam řetězcůList of strings
    spisfiles Soubory, které se mají použít v této relaciFiles to be used in this session Seznam řetězcůList of strings
    driverMemorydriverMemory Velikost paměti, která se má použít pro proces ovladačeAmount of memory to use for the driver process ŘetězecString
    driverCoresdriverCores Počet jader, které se mají použít pro proces ovladačeNumber of cores to use for the driver process HmotInt
    executorMemoryexecutorMemory Velikost paměti, která se má použít pro proces prováděcího moduluAmount of memory to use per executor process ŘetězecString
    executorCoresexecutorCores Počet jader, které se mají použít pro každý prováděcí modulNumber of cores to use for each executor HmotInt
    numExecutorsnumExecutors Počet prováděcích modulů, které se mají spustit pro tuto relaciNumber of executors to launch for this session HmotInt
    archivarchives Archivy, které se mají použít v této relaciArchives to be used in this session Seznam řetězcůList of strings
    frontaqueue Název fronty PŘÍZe, která se má odeslatName of the YARN queue to be submitted to ŘetězecString
    jménoname Název této relaceName of this session ŘetězecString
    výrobkuconf Vlastnosti konfigurace SparkuSpark configuration properties Mapa klíče = ValMap of key=val

    Tělo odpovědi vytvořeného objektu BatchResponse body The created Batch object.

    jménoname descriptiondescription typetype
    idid ID relaceSession id HmotInt
    appIdappId ID aplikace této relaceApplication id of this session ŘetězecString
    appInfoappInfo Podrobné informace o aplikaciDetailed application info Mapa klíče = ValMap of key=val
    protokolulog Řádky protokoluLog lines Seznam řetězcůList of strings
    statestate Stav dávkyBatch state ŘetězecString

    Poznámka

    Přiřazená konfigurace Livy se zobrazí v podokně výstup při odeslání skriptu.The assigned Livy config is displayed in the output pane when you submit the script.

Integrace s Azure HDInsight z PrůzkumníkaIntegrate with Azure HDInsight from Explorer

Náhled tabulky v clusterech můžete zobrazit přímo v Průzkumníkovi služby Azure HDInsight :You can preview Hive Table in your clusters directly through the Azure HDInsight explorer:

  1. Pokud jste to ještě neudělali, Připojte se k účtu Azure.Connect to your Azure account if you haven't yet done so.

  2. Vyberte ikonu Azure ze sloupce úplně vlevo.Select the Azure icon from leftmost column.

  3. V levém podokně rozbalte položku Azure: HDInsight.From the left pane, expand AZURE: HDINSIGHT. Jsou uvedeny dostupné odběry a clustery.The available subscriptions and clusters are listed.

  4. Rozbalte cluster pro zobrazení databáze metadat podregistru a schématu tabulky.Expand the cluster to view the Hive metadata database and table schema.

  5. Klikněte pravým tlačítkem na tabulku podregistr.Right-click the Hive table. Například: hivesampletable.For example: hivesampletable. Vyberte Náhled.Select Preview.

    Podregistr Spark & pro tabulku podregistru Visual Studio Code Preview

  6. Otevře se okno výsledky náhledu :The Preview Results window opens:

    Podregistr Spark & pro Visual Studio Code náhledu okna výsledků

  • Panel výsledkůRESULTS panel

    Celý výsledek můžete uložit jako soubor CSV, JSON nebo Excel do místní cesty nebo stačí vybrat více řádků.You can save the whole result as a CSV, JSON, or Excel file to a local path, or just select multiple lines.

  • Panel zprávMESSAGES panel

    1. Pokud je počet řádků v tabulce větší než 100, zobrazí se následující zpráva: "prvních 100 řádků se zobrazí pro tabulku podregistru."When the number of rows in the table is greater than 100, you see the following message: "The first 100 rows are displayed for Hive table."

    2. Pokud je počet řádků v tabulce menší nebo roven 100, zobrazí se zpráva podobná následující: "60 řádky jsou zobrazeny pro tabulku podregistru".When the number of rows in the table is less than or equal to 100, you see a message like the following: "60 rows are displayed for Hive table."

    3. Pokud tabulka neobsahuje žádný obsah, zobrazí se následující zpráva: "0 řádků pro tabulku podregistru".When there's no content in the table, you see the following message: "0 rows are displayed for Hive table."

      Poznámka

      V systému Linux nainstalujte xclip a povolte tak data kopírování z tabulky.In Linux, install xclip to enable copy-table data.

      Podregistr Spark & pro Visual Studio Code v systému Linux

Další funkceAdditional features

Podregistr Spark & pro Visual Studio Code také podporuje následující funkce:Spark & Hive for Visual Studio Code also supports the following features:

  • Automatické dokončování IntelliSense.IntelliSense autocomplete. Návrhy se zobrazují pro klíčová slova, metody, proměnné a další programovací prvky.Suggestions pop up for keywords, methods, variables, and other programming elements. Různé ikony reprezentují různé typy objektů:Different icons represent different types of objects:

    Nástroje pro Visual Studio Code IntelliSense pro Spark & pro objekty

  • Značka chyby technologie IntelliSense.IntelliSense error marker. Podtržení chyb v rámci skriptu služby jazyka.The language service underlines editing errors in the Hive script.

  • Zvýrazňují syntaxe.Syntax highlights. Služba jazyka používá různé barvy k odlišení proměnných, klíčových slov, datových typů, funkcí a dalších prvků programování:The language service uses different colors to differentiate variables, keywords, data type, functions, and other programming elements:

    & Nástroje pro podregistr pro Spark pro Visual Studio Code zvýraznění syntaxe

Role jen pro čteníReader-only role

Uživatelé, kteří mají přiřazenou roli jen pro čtení pro cluster, již nemohou odesílat úlohy do clusteru HDInsight ani nemohou zobrazit databázi podregistru.Users who are assigned the reader-only role for the cluster can no longer submit jobs to the HDInsight cluster, nor can they view the Hive database. Obraťte se na správce clusteru a upgradujte svoji roli na operátor clusteru HDInsight v Azure Portal.Contact the cluster administrator to upgrade your role to HDInsight Cluster Operator in the Azure portal. Pokud máte platné přihlašovací údaje Ambari, můžete cluster ručně propojit pomocí následujících pokynů.If you have valid Ambari credentials, you can manually link the cluster by using the following guidance.

Procházet cluster HDInsightBrowse the HDInsight cluster

Když vyberete Azure HDInsight Explorer pro rozšíření clusteru HDInsight, budete vyzváni k propojení clusteru, pokud máte pro cluster roli jen pro čtení.When you select the Azure HDInsight explorer to expand an HDInsight cluster, you're prompted to link the cluster if you have the reader-only role for the cluster. Pomocí následujícího postupu můžete propojit s clusterem pomocí přihlašovacích údajů Ambari.Use the following method to link to the cluster by using your Ambari credentials.

Odešlete úlohu do clusteru HDInsight.Submit the job to the HDInsight cluster

Při odesílání úlohy do clusteru HDInsight budete vyzváni k propojení clusteru, pokud jste v roli jenom pro čtení clusteru.When submitting job to an HDInsight cluster, you're prompted to link the cluster if you're in the reader-only role for the cluster. Pomocí následujících kroků se připojte ke clusteru pomocí přihlašovacích údajů Ambari.Use the following steps to link to the cluster by using Ambari credentials.

  1. Zadejte platné uživatelské jméno Ambari.Enter a valid Ambari username.

  2. Zadejte platné heslo.Enter a valid password.

    Nástroje pro podregistr Spark & pro Visual Studio Code uživatelské jméno

    Nástroje Spark & pro Visual Studio Code hesla

Poznámka

K zkontrolování propojeného clusteru můžete použít Spark / Hive: List Cluster:You can use Spark / Hive: List Cluster to check the linked cluster:

Připojené nástroje pro Visual Studio Code Reader pro Spark &

Azure Data Lake Storage Gen2Azure Data Lake Storage Gen2

Procházet účet Data Lake Storage Gen2Browse a Data Lake Storage Gen2 account

Když vyberete Azure HDInsight Explorer a rozbalíte účet Data Lake Storage Gen2, zobrazí se výzva k zadání přístupového klíče k úložišti, pokud váš účet Azure nemá přístup k Gen2 úložišti.When you select the Azure HDInsight explorer to expand a Data Lake Storage Gen2 account, you're prompted to enter the storage access key if your Azure account has no access to Gen2 storage. Po ověření přístupového klíče se účet Data Lake Storage Gen2 automaticky rozšíří.After the access key is validated, the Data Lake Storage Gen2 account is auto-expanded.

Odeslání úloh do clusteru HDInsight pomocí Data Lake Storage Gen2Submit jobs to an HDInsight cluster with Data Lake Storage Gen2

Když odešlete úlohu do clusteru HDInsight pomocí Data Lake Storage Gen2, zobrazí se výzva k zadání přístupového klíče k úložišti, pokud váš účet Azure nemá přístup pro zápis k Gen2 úložišti.When you submit a job to an HDInsight cluster by using Data Lake Storage Gen2, you're prompted to enter the storage access key if your Azure account has no write access to Gen2 storage. Po ověření přístupového klíče se úloha úspěšně odešle.After the access key is validated, the job will be successfully submitted.

Nástroje pro podregistr Spark & pro Visual Studio Code AccessKey

Poznámka

Přístupový klíč pro účet úložiště můžete získat z Azure Portal.You can get the access key for the storage account from the Azure portal. Další informace najdete v tématu zobrazení a zkopírování přístupových klíčů.For more information, see View and copy access keys.

  1. V řádku nabídek přejděte na zobrazení paleta příkazů > a pak zadejte Spark/podregistr: odpojte cluster.From the menu bar, go to View > Command Palette, and then enter Spark / Hive: Unlink a Cluster.

  2. Vyberte cluster, který chcete odpojit.Select a cluster to unlink.

  3. Prohlédněte si zobrazení výstupu pro ověřování.See the OUTPUT view for verification.

Odhlásit seSign out

V řádku nabídek přejděte na zobrazení paleta příkazů > a pak zadejte Azure: odhlásitse.From the menu bar, go to View > Command Palette, and then enter Azure: Sign Out.

Další krokyNext steps

Video, které ukazuje použití podregistru Spark & pro Visual Studio Code, najdete v tématu věnovaném registru spark & pro Visual Studio Code.For a video that demonstrates using Spark & Hive for Visual Studio Code, see Spark & Hive for Visual Studio Code.