Gebruik de Spark-& Hive-Hulpprogram Ma's voor Visual Studio codeUse Spark & Hive Tools for Visual Studio Code

Meer informatie over het gebruik van Spark-& Hive-Hulpprogram Ma's voor Visual Studio code voor het maken en verzenden van Apache Hive batch-taken, interactieve Hive-query's en PySpark-scripts voor Apache Spark.Learn how to use Spark & Hive Tools for Visual Studio Code to create and submit Apache Hive batch jobs, interactive Hive queries, and PySpark scripts for Apache Spark. Eerst wordt beschreven hoe u Spark-& Hive-Hulpprogram Ma's installeert in Visual Studio code. vervolgens wordt uitgelegd hoe u taken kunt verzenden naar Spark-& Hive-Hulpprogram Ma's.First we'll describe how to install Spark & Hive Tools in Visual Studio Code, and then we'll walk through how to submit jobs to Spark & Hive Tools.

Spark & Hive-Hulpprogram Ma's kunnen worden geïnstalleerd op platforms die worden ondersteund door Visual Studio code, waaronder Windows, Linux en macOS.Spark & Hive Tools can be installed on platforms that are supported by Visual Studio Code, which include Windows, Linux, and macOS. Houd rekening met de volgende vereisten voor verschillende platforms.Note the following prerequisites for different platforms.

VereistenPrerequisites

De volgende items zijn vereist voor het volt ooien van de stappen in dit artikel:The following items are required for completing the steps in this article:

& Hive-Hulpprogram Ma's voor Spark installerenInstall Spark & Hive Tools

Nadat u aan de vereisten hebt voldaan, kunt u Spark-& Hive-Hulpprogram Ma's voor Visual Studio code installeren door de volgende stappen uit te voeren:After you meet the prerequisites, you can install Spark & Hive Tools for Visual Studio Code by following these steps:

  1. Open Visual Studio Code.Open Visual Studio Code.

  2. Ga in de menu balk naaruitbrei dingen weer geven > .From the menu bar, go to View > Extensions.

  3. Voer in het zoekvak Spark &-Hivein.In the search box, enter Spark & Hive.

  4. Selecteer Spark & Hive-Hulpprogram ma's uit de zoek resultaten en selecteer vervolgens installeren:Select Spark & Hive Tools from the search results, and then select Install:

    De Spark-& Hive voor Visual Studio code python installeren

  5. Selecteer opnieuw laden wanneer dit nodig is.Select Reload when necessary.

Een werkmap openenOpen a work folder

Voer de volgende stappen uit om een werkmap te openen en een bestand te maken in Visual Studio code:To open a work folder and to create a file in Visual Studio Code, follow these steps:

  1. Ga in de menu balk naar bestand > openen map > C:\HD\HDexampleen selecteer vervolgens de knop map selecteren .From the menu bar, go to File > Open Folder > C:\HD\HDexample, and then select the Select Folder button. De map wordt aan de linkerkant weer gegeven in de weer gave van de Verkenner .The folder appears in the Explorer view on the left.

  2. Selecteer in de Verkenner -weer gave de map HDexample en selecteer vervolgens het pictogram nieuw bestand naast de werkmap:In Explorer view, select the HDexample folder, and then select the New File icon next to the work folder:

    pictogram Visual Studio code nieuw bestand

  3. Geef het nieuwe bestand een naam met behulp van de .hql (Hive-query's) of de .py bestands extensie (Spark-script).Name the new file by using either the .hql (Hive queries) or the .py (Spark script) file extension. In dit voor beeld wordt HelloWorld. HQLgebruikt.This example uses HelloWorld.hql.

De Azure-omgeving instellenSet the Azure environment

Voer voor een nationale Cloud gebruiker de volgende stappen uit om eerst de Azure-omgeving in te stellen en gebruik vervolgens de Azure: Aanmeld opdracht om u aan te melden bij Azure:For a national cloud user, follow these steps to set the Azure environment first, and then use the Azure: Sign In command to sign in to Azure:

  1. Selecteer File\Preferences\Settings.Select File\Preferences\Settings.

  2. Zoek naar de volgende teken reeks: Azure: CloudSearch on the following string: Azure: Cloud

  3. Selecteer de nationale Cloud in de lijst:Select the national cloud from the list:

    Configuratie van standaard aanmeldings vermelding instellen

Verbinding maken met een Azure-accountConnect to an Azure account

Voordat u scripts kunt verzenden naar uw clusters vanuit Visual Studio code, moet u verbinding maken met uw Azure-account of een cluster koppelen (met Apache Ambari-gebruikers naam en wachtwoord referenties of een domein account).Before you can submit scripts to your clusters from Visual Studio Code, you must either connect to your Azure account or link a cluster (using Apache Ambari username and password credentials or a domain-joined account). Volg deze stappen om verbinding te maken met Azure:Follow these steps to connect to Azure:

  1. Ga in de menu balk naar hetopdracht palet weer geven > en voer Azure in: Aanmelden:From the menu bar, go to View > Command Palette, and enter Azure: Sign In:

    Component Hulpprogramma's van Spark & voor Visual Studio code login

  2. Volg de aanmeldings instructies om u aan te melden bij Azure.Follow the sign-in instructions to sign in to Azure. Nadat u verbinding hebt gemaakt, wordt de naam van uw Azure-account weer gegeven op de status balk onder aan het venster Visual Studio code.After you're connected, your Azure account name is shown on the status bar at the bottom of the Visual Studio Code window.

U kunt een normaal cluster koppelen met behulp van een door Apache Ambaribeheerde gebruikers naam, of u kunt een beveiligd Hadoop-cluster van het ondernemings beveiligings pakket koppelen met behulp user1@contoso.comvan een domein gebruikers naam (zoals:).You can link a normal cluster by using an Apache Ambari-managed username, or you can link an Enterprise Security Pack secure Hadoop cluster by using a domain username (such as: user1@contoso.com).

  1. Ga in de menu balk naar hetopdracht palet weer geven > en voer Spark/Hive in: Koppel een cluster.From the menu bar, go to View > Command Palette, and enter Spark / Hive: Link a Cluster.

    Opdracht palet koppeling cluster opdracht

  2. Selecteer het gekoppelde cluster type Azure HDInsight.Select linked cluster type Azure HDInsight.

  3. Voer de URL van het HDInsight-cluster in.Enter the HDInsight cluster URL.

  4. Voer uw Ambari-gebruikers naam in; de standaard instelling is admin.Enter your Ambari username; the default is admin.

  5. Voer uw Ambari-wacht woord in.Enter your Ambari password.

  6. Selecteer het cluster type.Select the cluster type.

  7. Stel de weergave naam van het cluster in (optioneel).Set the display name of the cluster (optional).

  8. Bekijk de uitvoer weergave voor verificatie.Review OUTPUT view for verification.

    Notitie

    De gekoppelde gebruikers naam en het bijbehorende wacht woord worden gebruikt als het cluster beide zijn aangemeld bij het Azure-abonnement en een cluster heeft gekoppeld.The linked username and password are used if the cluster both logged in to the Azure subscription and linked a cluster.

  1. Ga in de menu balk naar hetopdracht palet weer geven > en voer Spark/Hive in: Koppel een cluster.From the menu bar, go to View > Command Palette, and enter Spark / Hive: Link a Cluster.

  2. Selecteer het type van het algemene livy-eind puntvoor het gekoppelde cluster.Select linked cluster type Generic Livy Endpoint.

  3. Voer het algemene livy-eind punt in.Enter the generic Livy endpoint. Bijvoorbeeld: http://10.172.41.42:18080.For example: http://10.172.41.42:18080.

  4. Selecteer autorisatie type Basic of none.Select authorization type Basic or None. Als u Basicselecteert:If you select Basic:
     één. a. Voer uw Ambari-gebruikers naam in; de standaard instelling is admin.Enter your Ambari username; the default is admin.
     b. b. Voer uw Ambari-wacht woord in.Enter your Ambari password.

  5. Bekijk de uitvoer weergave voor verificatie.Review OUTPUT view for verification.

Clusters weer gevenList clusters

  1. Ga in de menu balk naar hetopdracht palet weer geven > en voer Spark/Hive in: Lijst cluster.From the menu bar, go to View > Command Palette, and enter Spark / Hive: List Cluster.

  2. Selecteer het gewenste abonnement.Select the subscription that you want.

  3. Bekijk de uitvoer weergave.Review the OUTPUT view. In deze weer gave worden uw gekoppelde cluster (of clusters) en alle clusters onder uw Azure-abonnement weer gegeven:This view shows your linked cluster (or clusters) and all the clusters under your Azure subscription:

    Een standaard cluster configuratie instellen

Het standaard cluster instellenSet the default cluster

  1. Open de HDexample -map die eerderwerd beschreven, indien deze is gesloten.Reopen the HDexample folder that was discussed earlier, if closed.

  2. Selecteer het bestand HelloWorld. HQL dat u eerderhebt gemaakt.Select the HelloWorld.hql file that was created earlier. Deze wordt geopend in de Script Editor.It opens in the script editor.

  3. Klik met de rechter muisknop op de script editor en Selecteer Spark/Hive: Het standaard clusterinstellen.Right-click the script editor, and then select Spark / Hive: Set Default Cluster.

  4. Maak verbinding met uw Azure-account of koppel een cluster als u dit nog niet hebt gedaan.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Selecteer een cluster als het standaard cluster voor het huidige script bestand.Select a cluster as the default cluster for the current script file. De hulpprogram ma's worden automatisch bijgewerkt . VSCode\settings.json -configuratie bestand:The tools automatically update the .VSCode\settings.json configuration file:

    Standaard cluster configuratie instellen

Interactieve Hive-query's en Hive batch scripts verzendenSubmit interactive Hive queries and Hive batch scripts

Met Spark & Hive-Hulpprogram Ma's voor Visual Studio code kunt u interactieve Hive-query's en Hive-batch scripts verzenden naar uw clusters.With Spark & Hive Tools for Visual Studio Code, you can submit interactive Hive queries and Hive batch scripts to your clusters.

  1. Open de HDexample -map die eerderwerd beschreven, indien deze is gesloten.Reopen the HDexample folder that was discussed earlier, if closed.

  2. Selecteer het bestand HelloWorld. HQL dat u eerderhebt gemaakt.Select the HelloWorld.hql file that was created earlier. Deze wordt geopend in de Script Editor.It opens in the script editor.

  3. Kopieer en plak de volgende code in het Hive-bestand en sla het op:Copy and paste the following code into your Hive file, and then save it:

    SELECT * FROM hivesampletable;
    
  4. Maak verbinding met uw Azure-account of koppel een cluster als u dit nog niet hebt gedaan.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Klik met de rechter muisknop op de script editor en selecteer Hive: Interactief om de query te verzenden, of gebruik de sneltoets CTRL + ALT + I.Right-click the script editor and select Hive: Interactive to submit the query, or use the Ctrl+Alt+I keyboard shortcut. Component selecteren: Batch om het script te verzenden of gebruik de sneltoets CTRL + ALT + H.Select Hive: Batch to submit the script, or use the Ctrl+Alt+H keyboard shortcut.

  6. Als u geen standaard cluster hebt opgegeven, selecteert u een cluster.If you haven't specified a default cluster, select a cluster. Met de hulpprogram ma's kunt u ook een blok code verzenden in plaats van het hele script bestand met behulp van het context menu.The tools also let you submit a block of code instead of the whole script file by using the context menu. Na enkele ogen blikken worden de query resultaten weer gegeven op een nieuw tabblad:After a few moments, the query results appear in a new tab:

    Resultaat van interactieve Apache Hive query

    • Deelvenster RESULTATEN: U kunt het hele resultaat opslaan als een CSV-, JSON-of Excel-bestand naar een lokaal pad of u hoeft alleen maar meerdere regels te selecteren.RESULTS panel: You can save the whole result as a CSV, JSON, or Excel file to a local path or just select multiple lines.

    • Deelvenster BERICHTEN: Wanneer u een regel nummer selecteert, springt dit naar de eerste regel van het script dat wordt uitgevoerd.MESSAGES panel: When you select a Line number, it jumps to the first line of the running script.

Interactieve PySpark-query's verzendenSubmit interactive PySpark queries

Voer de volgende stappen uit om interactieve PySpark-query's te verzenden:To submit interactive PySpark queries, follow these steps:

  1. Open de HDexample -map die eerderwerd beschreven, indien deze is gesloten.Reopen the HDexample folder that was discussed earlier, if closed.

  2. Maak een nieuw HelloWorld.py -bestand door de eerdere stappen te volgen.Create a new HelloWorld.py file, following the earlier steps.

  3. Kopieer en plak de volgende code in het script bestand:Copy and paste the following code into the script file:

    from operator import add
    lines = spark.read.text("/HdiSamples/HdiSamples/FoodInspectionData/README").rdd.map(lambda r: r[0])
    counters = lines.flatMap(lambda x: x.split(' ')) \
                 .map(lambda x: (x, 1)) \
                 .reduceByKey(add)
    
    coll = counters.collect()
    sortedCollection = sorted(coll, key = lambda r: r[1], reverse = True)
    
    for i in range(0, 5):
         print(sortedCollection[i])
    
  4. Maak verbinding met uw Azure-account of koppel een cluster als u dit nog niet hebt gedaan.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Selecteer alle code, klik met de rechter muisknop op de script editor en Selecteer Spark: PySpark Interactive om de query te verzenden.Select all the code, right-click the script editor, and select Spark: PySpark Interactive to submit the query. Of gebruik de sneltoets CTRL + ALT + I.Or, use the Ctrl+Alt+I shortcut.

    context menu van pyspark Interactive

  6. Selecteer het cluster als u geen standaard cluster hebt opgegeven.Select the cluster, if you haven't specified a default cluster. Na enkele ogen blikken worden de python-interactieve resultaten weer gegeven op een nieuw tabblad. Met de hulpprogram ma's kunt u ook een blok code verzenden in plaats van het hele script bestand met behulp van het snelmenu:After a few moments, the Python Interactive results appear in a new tab. The tools also let you submit a block of code instead of the whole script file by using the context menu:

    interactief pyspark Interactive python-venster

  7. Voer %% infoin en druk op SHIFT + ENTER om de taak gegevens weer te geven (optioneel):Enter %%info, and then press Shift+Enter to view the job information (optional):

    pyspark interactieve weergave taak gegevens

  8. Het hulp programma biedt ook ondersteuning voor de Spark SQL -query:The tool also supports the Spark SQL query:

    Resultaat van interactieve weer gave Pyspark

    De status van de verzen ding wordt weer gegeven aan de linkerkant van de onderste status balk wanneer query's worden uitgevoerd.The submission status appears on the left of the lower status bar when you're running queries. Verzend geen andere query's wanneer de status PySpark kernel (bezet) is.Don't submit other queries when the status is PySpark Kernel (busy).

    Notitie

    Als de uitbrei ding python is ingeschakeld in de instellingen (standaard geselecteerd), wordt het oude venster gebruikt door de pyspark-interactie resultaten:When Python Extension Enabled is cleared in the settings (it's selected by default), the submitted pyspark interaction results will use the old window:

    pyspark Interactive python-uitbrei ding uitgeschakeld

Batch taak PySpark verzendenSubmit PySpark batch job

  1. Open de HDexample -map die u eerderhebt besproken als deze is gesloten.Reopen the HDexample folder that you discussed earlier, if closed.

  2. Maak een nieuw BatchFile.py -bestand door de eerdere stappen te volgen.Create a new BatchFile.py file by following the earlier steps.

  3. Kopieer en plak de volgende code in het script bestand:Copy and paste the following code into the script file:

    from __future__ import print_function
    import sys
    from operator import add
    from pyspark.sql import SparkSession
    if __name__ == "__main__":
        spark = SparkSession\
            .builder\
            .appName("PythonWordCount")\
            .getOrCreate()
    
        lines = spark.read.text('/HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv').rdd.map(lambda r: r[0])
        counts = lines.flatMap(lambda x: x.split(' '))\
                    .map(lambda x: (x, 1))\
                    .reduceByKey(add)
        output = counts.collect()
        for (word, count) in output:
            print("%s: %i" % (word, count))
        spark.stop()
    
  4. Maak verbinding met uw Azure-account of koppel een cluster als u dit nog niet hebt gedaan.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Klik met de rechter muisknop op de script editor en Selecteer Spark: PySpark- batch, of gebruik de sneltoets CTRL + ALT + H.Right-click the script editor, and then select Spark: PySpark Batch, or use the Ctrl+Alt+H keyboard shortcut.

  6. Selecteer een cluster waar u uw PySpark-taak naar wilt verzenden:Select a cluster to submit your PySpark job to:

    Python-taak resultaat uitvoer verzenden

Nadat u een python-taak hebt verzonden, worden de inzendings logboeken weer gegeven in het uitvoer venster van Visual Studio code.After you submit a Python job, submission logs appear in the OUTPUT window in Visual Studio Code. De url's van de Spark-gebruikers interface en de URL van de garen-interface worden ook weer gegeven.The Spark UI URL and Yarn UI URL are also shown. U kunt de URL in een webbrowser openen om de taak status bij te houden.You can open the URL in a web browser to track the job status.

Apache livy-configuratieApache Livy configuration

De Apache livy -configuratie wordt ondersteund.Apache Livy configuration is supported. U kunt deze configureren in de . VSCode\settings.json -bestand in de map van de werk ruimte.You can configure it in the .VSCode\settings.json file in the workspace folder. Momenteel biedt livy-configuratie alleen ondersteuning voor python-script.Currently, Livy configuration only supports Python script. Zie LIVY README(Engelstalig) voor meer informatie.For more details, see Livy README.

Livy-configuratie activerenHow to trigger Livy configuration

Methode 1Method 1

  1. Ga in de menu balk naarinstellingenvoor bestand > voor keuren > .From the menu bar, go to File > Preferences > Settings.
  2. Voerin het vak Zoek instellingen HDInsight-taak verzenden in: Livy conf.In the Search settings box, enter HDInsight Job Submission: Livy Conf.
  3. Selecteer bewerken in instellingen. json voor het relevante Zoek resultaat.Select Edit in settings.json for the relevant search result.

Methode 2 een bestand verzenden en u ziet dat de map. vscode automatisch wordt toegevoegd aan de werkmap.Method 2 Submit a file, and notice that the .vscode folder is automatically added to the work folder. U kunt de livy-configuratie bekijken door . vscode\settings.jsonte selecteren.You can see the Livy configuration by selecting .vscode\settings.json.

  • De project instellingen:The project settings:

    Configuratie van HDInsight Apache livy

    Notitie

    Stel de waarde en eenheid in voor de instellingen driverMemory en executorMemory .For the driverMemory and executorMemory settings, set the value and unit. Bijvoorbeeld: 1g of 1024m.For example: 1g or 1024m.

  • Ondersteunde livy-configuraties:Supported Livy configurations:

    /Batches plaatsen Aanvraag tekstPOST /batches Request body

    namename descriptiondescription typetype
    filefile Bestand met de toepassing die moet worden uitgevoerdFile containing the application to execute pad (vereist)Path (required)
    proxyUserproxyUser Gebruiker die moet worden geïmiteerd bij het uitvoeren van de taakUser to impersonate when running the job TekenreeksString
    classNameclassName Hoofd klasse java/Spark-toepassingApplication Java/Spark main class TekenreeksString
    argsargs Opdracht regel argumenten voor de toepassingCommand-line arguments for the application lijst met teken reeksenList of strings
    jarsjars potten die in deze sessie moeten worden gebruiktJars to be used in this session lijst met teken reeksenList of strings
    pyFilespyFiles Python-bestanden die moeten worden gebruikt in deze sessiePython files to be used in this session lijst met teken reeksenList of strings
    filesfiles bestanden die moeten worden gebruikt in deze sessieFiles to be used in this session lijst met teken reeksenList of strings
    driverMemorydriverMemory Hoeveelheid geheugen die moet worden gebruikt voor het stuur programmaAmount of memory to use for the driver process TekenreeksString
    driverCoresdriverCores Het aantal kernen dat moet worden gebruikt voor het stuur programmaNumber of cores to use for the driver process IntInt
    executorMemoryexecutorMemory Hoeveelheid geheugen die per bewerkings proces moet worden gebruiktAmount of memory to use per executor process TekenreeksString
    executorCoresexecutorCores Aantal kernen dat voor elke uitvoerder moet worden gebruiktNumber of cores to use for each executor IntInt
    numExecutorsnumExecutors Aantal actieve uitvoerendeers dat voor deze sessie wordt gestartNumber of executors to launch for this session IntInt
    archivesarchives Archief archieven die moeten worden gebruikt in deze sessieArchives to be used in this session lijst met teken reeksenList of strings
    queuequeue De naam van de wachtrij met GARENs die moet worden ingediendName of the YARN queue to be submitted to TekenreeksString
    namename De naam van deze sessieName of this session TekenreeksString
    confconf Eigenschappen van Spark-configuratieSpark configuration properties Toewijzing van sleutel = valMap of key=val

    Antwoord tekstResponse body
    Het gemaakte batch-object.The created Batch object.

    namename descriptiondescription typetype
    idid Sessie-idSession id IntInt
    appIdappId Toepassings-id van deze sessieApplication id of this session TekenreeksString
    appInfoappInfo Gedetailleerde toepassings informatieDetailed application info Toewijzing van sleutel = valMap of key=val
    logboeklog Logboek regelsLog lines lijst met teken reeksenList of strings
    toestandstate Batch statusBatch state TekenreeksString

    Notitie

    De toegewezen livy-configuratie wordt weer gegeven in het deel venster uitvoer wanneer u het script verzendt.The assigned Livy config is displayed in the output pane when you submit the script.

Integreren met Azure HDInsight vanuit ExplorerIntegrate with Azure HDInsight from Explorer

Azure HDInsight is toegevoegd aan de Verkenner-weer gave.Azure HDInsight has been added to Explorer view. U kunt uw clusters rechtstreeks in Azure HDInsightdoorzoeken en beheren.You can browse and manage your clusters directly through Azure HDInsight.

  1. Maak verbinding met uw Azure-account of koppel een cluster als u dit nog niet hebt gedaan.Connect to your Azure account, or link a cluster if you haven't yet done so.

  2. Ga in de menu balk naar weer gave > Verkenner.From the menu bar, go to View > Explorer.

  3. Vouw in het linkerdeel venster Azure HDINSIGHTuit.From the left pane, expand AZURE HDINSIGHT. De beschik bare abonnementen en clusters (Spark, Hadoop en HBase worden ondersteund) worden weer gegeven:The available subscriptions and clusters (Spark, Hadoop, and HBase are supported) are listed:

    Weer gave van Azure HDInsight-abonnement

  4. Vouw het cluster uit om de meta gegevens database en het tabel schema van de Hive weer te geven:Expand the cluster to view hive metadata database and table schema:

    Azure HDInsight-cluster verwijderen

Voor beeld Hive-tabelPreview Hive Table

U kunt de Hive-tabel in uw clusters rechtstreeks bekijken via de Azure HDInsight Explorer:You can preview Hive Table in your clusters directly through the Azure HDInsight explorer:

  1. Maak verbinding met uw Azure-account als u dit nog niet hebt gedaan.Connect to your Azure account if you haven't yet done so.

  2. Selecteer het pictogram van Azure in de kolom uiterst links.Select the Azure icon from leftmost column.

  3. Vouw in het linkerdeel venster Azure HDINSIGHTuit.From the left pane, expand AZURE HDINSIGHT. De beschik bare abonnementen en clusters worden weer gegeven.The available subscriptions and clusters are listed.

  4. Vouw het cluster uit om de meta gegevens database en het tabel schema van de Hive weer te geven.Expand the cluster to view the Hive metadata database and table schema.

  5. Klik met de rechter muisknop op de Hive-tabel.Right-click the Hive table. Bijvoorbeeld: hivesampletable.For example: hivesampletable. Selecteer voor beeld.Select Preview.

    Component tabel van Spark & voor Visual Studio code-Preview

  6. Het venster preview-resultaten wordt geopend:The Preview Results window opens:

    Het &-onderdeel Spark voor Visual Studio code-voorbeeld resultaten

  • Paneel resultatenRESULTS panel

    U kunt het hele resultaat opslaan als een CSV-, JSON-of Excel-bestand naar een lokaal pad, of u hoeft alleen maar meerdere regels te selecteren.You can save the whole result as a CSV, JSON, or Excel file to a local path, or just select multiple lines.

  • BERICHTEN paneelMESSAGES panel

    1. Wanneer het aantal rijen in de tabel groter is dan 100, wordt het volgende bericht weer gegeven: "De eerste 100 rijen worden weer gegeven voor de Hive-tabel."When the number of rows in the table is greater than 100, you see the following message: "The first 100 rows are displayed for Hive table."

    2. Wanneer het aantal rijen in de tabel kleiner is dan of gelijk is aan 100, ziet u een bericht zoals het volgende: "60 rijen worden weer gegeven voor Hive-tabel."When the number of rows in the table is less than or equal to 100, you see a message like the following: "60 rows are displayed for Hive table."

    3. Wanneer er geen inhoud in de tabel is, wordt het volgende bericht weer gegeven: "0 rijen worden weer gegeven voor Hive-tabel."When there's no content in the table, you see the following message: "0 rows are displayed for Hive table."

      Notitie

      Installeer xclip in Linux om Kopieer tabel gegevens in te scha kelen.In Linux, install xclip to enable copy-table data.

      Spark-& Hive voor Visual Studio code in Linux

    Aanvullende functiesAdditional features

De Spark-& Hive voor Visual Studio code biedt ook ondersteuning voor de volgende functies:Spark & Hive for Visual Studio Code also supports the following features:

  • Automatisch aanvullen IntelliSense.IntelliSense autocomplete. Suggesties worden pop-ups gemaakt voor tref woorden, methoden, variabelen en andere programmeer elementen.Suggestions pop up for keywords, methods, variables, and other programming elements. Verschillende pictogrammen vertegenwoordigen verschillende typen objecten:Different icons represent different types of objects:

    Hulp middelen voor Spark &-Hive voor Visual Studio code IntelliSense-objecten

  • Fout markering voor IntelliSense.IntelliSense error marker. De taal service onderstreept het bewerken van fouten in het Hive-script.The language service underlines editing errors in the Hive script.

  • Syntaxis punten.Syntax highlights. De taal service gebruikt verschillende kleuren om variabelen, tref woorden, gegevens typen, functies en andere programmeer elementen te onderscheiden:The language service uses different colors to differentiate variables, keywords, data type, functions, and other programming elements:

    De belangrijkste aandachtspunten voor de Visual Studio-code voor het onderdeel Spark &

Alleen-lezen rolReader-only role

Gebruikers aan wie de rol alleen lezer voor het cluster is toegewezen, kunnen geen taken meer verzenden naar het HDInsight-cluster, en kunnen de Hive-data base niet weer geven.Users who are assigned the reader-only role for the cluster can no longer submit jobs to the HDInsight cluster, nor can they view the Hive database. Neem contact op met de Cluster beheerder om uw rol bij te werken naar de HDInsight-cluster operator in de Azure Portal.Contact the cluster administrator to upgrade your role to HDInsight Cluster Operator in the Azure portal. Als u geldige Ambari-referenties hebt, kunt u het cluster hand matig koppelen met behulp van de volgende richt lijnen.If you have valid Ambari credentials, you can manually link the cluster by using the following guidance.

Bladeren in het HDInsight-clusterBrowse the HDInsight cluster

Wanneer u de Azure HDInsight Explorer selecteert om een HDInsight-cluster uit te breiden, wordt u gevraagd het cluster te koppelen als u de rol alleen-lezen hebt voor het cluster.When you select the Azure HDInsight explorer to expand an HDInsight cluster, you're prompted to link the cluster if you have the reader-only role for the cluster. Gebruik de volgende methode om een koppeling naar het cluster te maken met behulp van uw Ambari-referenties.Use the following method to link to the cluster by using your Ambari credentials.

De taak verzenden naar het HDInsight-clusterSubmit the job to the HDInsight cluster

Bij het verzenden van een taak naar een HDInsight-cluster wordt u gevraagd het cluster te koppelen als u de rol alleen-lezen voor het cluster gebruikt.When submitting job to an HDInsight cluster, you're prompted to link the cluster if you're in the reader-only role for the cluster. Gebruik de volgende stappen om een koppeling naar het cluster te maken met behulp van Ambari-referenties.Use the following steps to link to the cluster by using Ambari credentials.

  1. Geef een geldige Ambari-gebruikers naam op.Enter a valid Ambari username.

  2. Voer een geldig wacht woord in.Enter a valid password.

    De gebruikers naam van de & voor de Visual Studio-code van Spark-Hulpprogram Ma's

    Onderdeel Hulpprogramma's van Spark & voor Visual Studio code-wacht woord

Notitie

U kunt gebruiken Spark / Hive: List Cluster om het gekoppelde cluster te controleren:You can use Spark / Hive: List Cluster to check the linked cluster:

Koppeling naar het onderdeel Hulpprogramma's van Spark & voor Visual Studio code Reader

Azure Data Lake Storage Gen2Azure Data Lake Storage Gen2

Bladeren in een Data Lake Storage Gen2-accountBrowse a Data Lake Storage Gen2 account

Wanneer u de Azure HDInsight Explorer selecteert om een Data Lake Storage Gen2 account uit te vouwen, wordt u gevraagd om de toegangs sleutel voor opslag in te voeren als uw Azure-account geen toegang heeft tot Gen2-opslag.When you select the Azure HDInsight explorer to expand a Data Lake Storage Gen2 account, you're prompted to enter the storage access key if your Azure account has no access to Gen2 storage. Nadat de toegangs sleutel is gevalideerd, wordt het Data Lake Storage Gen2-account automatisch uitgevouwen.After the access key is validated, the Data Lake Storage Gen2 account is auto-expanded.

Taken verzenden naar een HDInsight-cluster met Data Lake Storage Gen2Submit jobs to an HDInsight cluster with Data Lake Storage Gen2

Wanneer u een taak verzendt naar een HDInsight-cluster met behulp van Data Lake Storage Gen2, wordt u gevraagd om de toegangs sleutel voor opslag in te voeren als uw Azure-account geen schrijf toegang heeft tot Gen2-opslag.When you submit a job to an HDInsight cluster by using Data Lake Storage Gen2, you're prompted to enter the storage access key if your Azure account has no write access to Gen2 storage. Nadat de toegangs sleutel is gevalideerd, wordt de taak verzonden.After the access key is validated, the job will be successfully submitted.

Spark-& Hive-Hulpprogram Ma's voor Visual Studio code AccessKey

Notitie

U kunt de toegangs sleutel voor het opslag account ophalen van de Azure Portal.You can get the access key for the storage account from the Azure portal. Zie toegangs sleutels weer geven en kopiërenvoor meer informatie.For more information, see View and copy access keys.

  1. Ga in de menu balk naar hetopdracht palet ****weer geven** > en voer Spark/component in: Een cluster**ontkoppelen.From the menu bar, go to View > Command Palette, and then enter Spark / Hive: Unlink a Cluster.

  2. Selecteer een cluster om te ontkoppelen.Select a cluster to unlink.

  3. Raadpleeg de uitvoer weergave voor verificatie.See the OUTPUT view for verification.

AfmeldenSign out

Ga in de menu balk naar hetopdracht palet ****weer geven** > en voer Azure in: Meld u af.**From the menu bar, go to View > Command Palette, and then enter Azure: Sign Out.

Volgende stappenNext steps

Zie voor een video die demonstreert met behulp van Spark-& Hive voor Visual Studio code spark & Hive voor Visual Studio code.For a video that demonstrates using Spark & Hive for Visual Studio Code, see Spark & Hive for Visual Studio Code.