Verwenden von Spark- und Hive-Tools für Visual Studio CodeUse Spark & Hive Tools for Visual Studio Code

Erfahren Sie, wie Sie Apache Spark- und Hive-Tools für Visual Studio Code verwenden.Learn how to use Apache Spark & Hive Tools for Visual Studio Code. Verwenden Sie die Tools zum Erstellen und Übermitteln von Batchaufträgen für Apache Hive, interaktiven Hive-Abfragen und PySpark-Skripts für Apache Spark.Use the tools to create and submit Apache Hive batch jobs, interactive Hive queries, and PySpark scripts for Apache Spark. Zunächst wird beschrieben, wie Sie Spark- und Hive-Tools in Visual Studio Code installieren.First we'll describe how to install Spark & Hive Tools in Visual Studio Code. Anschließend werden die Schritte zum Übermitteln von Aufträgen an Spark- und Hive-Tools erläutert.Then we'll walk through how to submit jobs to Spark & Hive Tools.

Spark- und Hive-Tools können auf allen von Visual Studio Code unterstützten Plattformen installiert werden.Spark & Hive Tools can be installed on platforms that are supported by Visual Studio Code. Die folgenden Voraussetzungen gelten für die verschiedenen Plattformen.Note the following prerequisites for different platforms.

VoraussetzungenPrerequisites

Die folgenden Elemente sind zum Ausführen der Schritte in diesem Artikel erforderlich:The following items are required for completing the steps in this article:

Installieren von Spark & Hive ToolsInstall Spark & Hive Tools

Wenn die Voraussetzungen erfüllt sind, können Sie Spark- und Hive-Tools für Visual Studio Code installieren, indem Sie die folgenden Schritte ausführen:After you meet the prerequisites, you can install Spark & Hive Tools for Visual Studio Code by following these steps:

  1. Öffnen Sie Visual Studio Code.Open Visual Studio Code.

  2. Navigieren Sie über die Menüleiste zu Ansicht > Erweiterungen.From the menu bar, navigate to View > Extensions.

  3. Geben Sie Spark & Hive in das Suchfeld ein.In the search box, enter Spark & Hive.

  4. Wählen Sie in den Suchergebnissen Spark & Hive Tools aus, und wählen Sie dann Installieren aus:Select Spark & Hive Tools from the search results, and then select Install:

    Installation der Python-Erweiterung für Spark- und Hive-Tools für Visual Studio Code

  5. Wählen Sie bei Bedarf Erneut laden aus.Select Reload when necessary.

Öffnen eines ArbeitsordnersOpen a work folder

Um einen Arbeitsordner zu öffnen und eine Datei in Visual Studio Code zu erstellen, führen Sie die folgenden Schritte aus:To open a work folder and to create a file in Visual Studio Code, follow these steps:

  1. Navigieren Sie auf der Menüleiste zu Datei > Ordner öffnen... > C:\HD\HDexample, und klicken Sie dann auf die Schaltfläche Ordner auswählen.From the menu bar, navigate to File > Open Folder... > C:\HD\HDexample, and then select the Select Folder button. Daraufhin wird der Ordner links in der Ansicht Explorer angezeigt.The folder appears in the Explorer view on the left.

  2. Wählen Sie in der Explorer-Ansicht den Ordner HDexample aus, und wählen Sie dann neben dem Arbeitsordner das Symbol Neue Datei aus:In Explorer view, select the HDexample folder, and then select the New File icon next to the work folder:

    Visual Studio Code: Symbol „Neue Datei“

  3. Benennen Sie die neue Datei mit der Dateierweiterung .hql (Hive-Abfragen) oder .py (Spark-Skript).Name the new file by using either the .hql (Hive queries) or the .py (Spark script) file extension. In diesem Beispiel wird HelloWorld.hql verwendet.This example uses HelloWorld.hql.

Einrichten der Azure-UmgebungSet the Azure environment

Führen Sie für Benutzer der nationalen Cloud diese Schritte aus, um zunächst die Azure-Umgebung festzulegen, und verwenden Sie anschließend den Befehl Azure: Anmelden, um sich bei Azure anzumelden:For a national cloud user, follow these steps to set the Azure environment first, and then use the Azure: Sign In command to sign in to Azure:

  1. Navigieren Sie zu Datei > Einstellungen > Einstellungen.Navigate to File > Preferences > Settings.

  2. Suchen Sie nach folgender Zeichenfolge: Azure: Cloud.Search on the following string: Azure: Cloud.

  3. Wählen Sie in der Liste die nationale Cloud aus:Select the national cloud from the list:

    Festlegen der Konfiguration des Standardanmeldeeintrags

Verbinden mit einem Azure-KontoConnect to an Azure account

Bevor Sie Skripts aus Visual Studio Code an Ihre Cluster senden können, müssen Sie entweder eine Verbindung zu Ihrem Azure-Konto herstellen oder einen Cluster verknüpfen.Before you can submit scripts to your clusters from Visual Studio Code, you must either connect to your Azure account or link a cluster. Verwenden Sie die Anmeldeinformationen mit Apache Ambari-Benutzername und -Kennwort oder ein in eine Domäne eingebundenes Konto.Use Apache Ambari username and password credentials or a domain-joined account. Führen Sie diese Schritte aus, um eine Verbindung mit Azure herzustellen:Follow these steps to connect to Azure:

  1. Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette... , und geben Sie Azure: Anmelden ein:From the menu bar, navigate to View > Command Palette..., and enter Azure: Sign In:

    Spark- und Hive-Tools für Visual Studio Code: Anmeldung

  2. Befolgen Sie die Anleitung für die Anmeldung, um sich bei Azure anzumelden.Follow the sign-in instructions to sign in to Azure. Nach dem Herstellen der Verbindung wird Ihr Azure-Kontoname unten im Visual Studio Code-Fenster in der Statusleiste angezeigt.After you're connected, your Azure account name shows on the status bar at the bottom of the Visual Studio Code window.

Sie können einen normalen Cluster verknüpfen, indem Sie einen von Apache Ambari verwalteten Benutzernamen verwenden, oder Sie können einen per Enterprise Security Pack geschützten Hadoop-Cluster verknüpfen, indem Sie einen Domänenbenutzernamen (z.B. user1@contoso.com) verwenden.You can link a normal cluster by using an Apache Ambari-managed username, or you can link an Enterprise Security Pack secure Hadoop cluster by using a domain username (such as: user1@contoso.com).

  1. Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette... , und geben Sie Spark/Hive: Link a Cluster (Spark / Hive: Cluster verknüpfen) ein.From the menu bar, navigate to View > Command Palette..., and enter Spark / Hive: Link a Cluster.

    Befehlspalette: Befehl für die Clusterverknüpfung

  2. Wählen Sie als Typ des verknüpften Clusters Azure HDInsight aus.Select linked cluster type Azure HDInsight.

  3. Geben Sie die HDInsight-Cluster-URL ein.Enter the HDInsight cluster URL.

  4. Geben Sie Ihren Ambari-Benutzernamen ein. Der Standardname ist admin.Enter your Ambari username; the default is admin.

  5. Geben Sie Ihr Ambari-Kennwort ein.Enter your Ambari password.

  6. Wählen Sie den Clustertyp aus.Select the cluster type.

  7. Legen Sie den Anzeigenamen des Clusters fest (optional).Set the display name of the cluster (optional).

  8. Überprüfen Sie die Ausgabe.Review OUTPUT view for verification.

    Hinweis

    Der verknüpfte Benutzername und das verknüpfte Kennwort werden verwendet, wenn der Cluster beim Azure-Abonnement angemeldet ist und einen Cluster verknüpft hat.The linked username and password are used if the cluster both logged in to the Azure subscription and linked a cluster.

  1. Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette... , und geben Sie Spark/Hive: Link a Cluster (Spark / Hive: Cluster verknüpfen) ein.From the menu bar, navigate to View > Command Palette..., and enter Spark / Hive: Link a Cluster.

  2. Wählen Sie als Typ des verknüpften Clusters Generic Livy Endpoint (Generischer Livy-Endpunkt) aus.Select linked cluster type Generic Livy Endpoint.

  3. Geben Sie den generischen Livy-Endpunkt ein.Enter the generic Livy endpoint. Beispiel: http://10.172.41.42:18080.For example: http://10.172.41.42:18080.

  4. Wählen Sie als Autorisierungstyp Standard oder Keine aus.Select authorization type Basic or None. Wenn Sie Standard auswählen:If you select Basic:
     a. a. Geben Sie Ihren Ambari-Benutzernamen ein. Der Standardname ist admin.Enter your Ambari username; the default is admin.
     b. b. Geben Sie Ihr Ambari-Kennwort ein.Enter your Ambari password.

  5. Überprüfen Sie die Ausgabe.Review OUTPUT view for verification.

Auflisten der ClusterList clusters

  1. Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette... , und geben Sie Spark/Hive: List Cluster (Spark / Hive: Cluster auflisten).From the menu bar, navigate to View > Command Palette..., and enter Spark / Hive: List Cluster.

  2. Wählen Sie das gewünschte Abonnement aus.Select the subscription that you want.

  3. Überprüfen Sie die Ansicht Ausgabe.Review the OUTPUT view. Diese Ansicht zeigt Ihre verknüpften Cluster und alle Cluster in Ihrem Azure-Abonnement:This view shows your linked cluster (or clusters) and all the clusters under your Azure subscription:

    Legen Sie eine Standardkonfiguration für die Cluster fest.

Festlegen des StandardclustersSet the default cluster

  1. Öffnen Sie den Ordner HDexample, der weiter oben erläutert ist, erneut (sofern er geschlossen ist).Reopen the HDexample folder that was discussed earlier, if closed.

  2. Wählen Sie die Datei HelloWorld.hql aus, die zuvor erstellt wurde.Select the HelloWorld.hql file that was created earlier. Sie wird im Skript-Editor geöffnet.It opens in the script editor.

  3. Klicken Sie mit der rechten Maustaste auf den Skript-Editor, und wählen Sie dann Spark / Hive: Set Default Cluster (Spark / Hive: Standardcluster festlegen) aus.Right-click the script editor, and then select Spark / Hive: Set Default Cluster.

  4. Stellen Sie eine Verbindung mit Ihrem Azure-Konto her, oder verknüpfen Sie einen Cluster, sofern dies noch nicht erfolgt ist.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Legen Sie einen Cluster als Standardcluster für die aktuelle Skriptdatei fest.Select a cluster as the default cluster for the current script file. Die Tools aktualisieren die Konfigurationsdatei .VSCode\settings.json automatisch:The tools automatically update the .VSCode\settings.json configuration file:

    Standardclusterkonfiguration festlegen

Übermitteln von interaktiven Hive-Abfragen und von Hive-BatchskriptsSubmit interactive Hive queries and Hive batch scripts

Mit Spark- und Hive-Tools für Visual Studio Code können Sie interaktive Hive-Abfragen und Hive-Batchskripts an Ihre Cluster übermitteln.With Spark & Hive Tools for Visual Studio Code, you can submit interactive Hive queries and Hive batch scripts to your clusters.

  1. Öffnen Sie den Ordner HDexample, der weiter oben erläutert ist, erneut (sofern er geschlossen ist).Reopen the HDexample folder that was discussed earlier, if closed.

  2. Wählen Sie die Datei HelloWorld.hql aus, die zuvor erstellt wurde.Select the HelloWorld.hql file that was created earlier. Sie wird im Skript-Editor geöffnet.It opens in the script editor.

  3. Kopieren Sie den folgenden Code, fügen Sie ihn in Ihre Hive-Datei ein, und speichern Sie diese dann:Copy and paste the following code into your Hive file, and then save it:

    SELECT * FROM hivesampletable;
    
  4. Stellen Sie eine Verbindung mit Ihrem Azure-Konto her, oder verknüpfen Sie einen Cluster, sofern dies noch nicht erfolgt ist.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Klicken Sie mit der rechten Maustaste auf den Skript-Editor, und wählen Sie Hive: Interactive aus, um die Abfrage zu übermitteln, oder verwenden Sie die Tastenkombination STRG+ALT+I.Right-click the script editor and select Hive: Interactive to submit the query, or use the Ctrl+Alt+I keyboard shortcut. Wählen Sie Hive: Batch aus, um das Skript zu übermitteln, oder verwenden Sie die Tastenkombination STRG+ALT+H.Select Hive: Batch to submit the script, or use the Ctrl+Alt+H keyboard shortcut.

  6. Wenn Sie keinen Standardcluster angegeben haben, wählen Sie einen Cluster aus.If you haven't specified a default cluster, select a cluster. Die Tools unterstützen es auch, dass Sie über das Kontextmenü einen Codeblock anstelle der gesamten Skriptdatei übermitteln.The tools also let you submit a block of code instead of the whole script file by using the context menu. Nach kurzer Zeit werden die Abfrageergebnisse auf einer neuen Registerkarte angezeigt:After a few moments, the query results appear in a new tab:

    Ergebnis der interaktiven Apache Hive-Abfrage

    • Bereich ERGEBNISSE: Sie können das gesamte Ergebnis als CSV-, JSON- oder Excel-Datei in einem lokalen Pfad speichern oder einfach mehrere Zeilen auswählen.RESULTS panel: You can save the whole result as a CSV, JSON, or Excel file to a local path or just select multiple lines.

    • Bereich MELDUNGEN: Wenn Sie eine Zeilennummer auswählen, gelangen Sie zur ersten Zeile des Skripts, das derzeit ausgeführt wird.MESSAGES panel: When you select a Line number, it jumps to the first line of the running script.

Übermitteln interaktiver PySpark-AbfragenSubmit interactive PySpark queries

Wenn Sie interaktive PySpark-Abfragen übermitteln möchten, führen Sie die folgenden Schritte aus:To submit interactive PySpark queries, follow these steps:

  1. Öffnen Sie den Ordner HDexample, der weiter oben erläutert ist, erneut (sofern er geschlossen ist).Reopen the HDexample folder that was discussed earlier, if closed.

  2. Erstellen Sie mit den zuvor erläuterten Schritten eine neue HelloWorld.py-Datei.Create a new HelloWorld.py file, following the earlier steps.

  3. Kopieren Sie den folgenden Code, und fügen Sie ihn in die Skriptdatei ein:Copy and paste the following code into the script file:

    from operator import add
    lines = spark.read.text("/HdiSamples/HdiSamples/FoodInspectionData/README").rdd.map(lambda r: r[0])
    counters = lines.flatMap(lambda x: x.split(' ')) \
                 .map(lambda x: (x, 1)) \
                 .reduceByKey(add)
    
    coll = counters.collect()
    sortedCollection = sorted(coll, key = lambda r: r[1], reverse = True)
    
    for i in range(0, 5):
         print(sortedCollection[i])
    
  4. Stellen Sie eine Verbindung mit Ihrem Azure-Konto her, oder verknüpfen Sie einen Cluster, sofern dies noch nicht erfolgt ist.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Wählen Sie den gesamten Code aus, klicken Sie mit der rechten Maustaste auf den Skript-Editor, und wählen Sie Spark: PySpark Interactive aus, um die Abfrage zu übermitteln.Select all the code, right-click the script editor, and select Spark: PySpark Interactive to submit the query. Oder verwenden Sie die Tastenkombination STRG+ALT+I.Or, use the Ctrl+Alt+I shortcut.

    PySpark Interactive-Kontextmenü

  6. Wählen Sie den Cluster aus, wenn Sie keinen Standardcluster angegeben haben.Select the cluster, if you haven't specified a default cluster. Nach kurzer Zeit werden die Python Interactive-Ergebnisse in einer neuen Registerkarte angezeigt. Die Tools unterstützen es auch, dass Sie über das Kontextmenü einen Codeblock anstelle der gesamten Skriptdatei übermitteln:After a few moments, the Python Interactive results appear in a new tab. The tools also let you submit a block of code instead of the whole script file by using the context menu:

    PySpark Interactive: Python Interactive-Fenster

  7. Geben Sie %%info ein, und drücken Sie dann UMSCHALT+EINGABETASTE, um die Auftragsinformationen anzuzeigen (optional):Enter %%info, and then press Shift+Enter to view the job information (optional):

    PySpark: Auftragsinformationen in der interaktiven Ansicht

  8. Das Tool unterstützt auch die Spark SQL-Abfrage:The tool also supports the Spark SQL query:

    PySpark Interactive Ergebnis anzeigen

    Der Übertragungsstatus wird beim Ausführen von Abfragen links neben der unteren Statusleiste angezeigt.The submission status appears on the left of the lower status bar when you're running queries. Übermitteln Sie keine weiteren Abfragen, wenn der Status PySpark Kernel (busy) (PySpark-Kernel (ausgelastet)) lautet.Don't submit other queries when the status is PySpark Kernel (busy).

    Hinweis

    Wenn Python Extension Enabled in den Einstellungen deaktiviert ist (die Option ist standardmäßig aktiviert), werden die übermittelten Ergebnisse für die PySpark-Interaktion im alten Fenster angezeigt:When Python Extension Enabled is cleared in the settings (it's selected by default), the submitted pyspark interaction results will use the old window:

    PySpark Interactive: Python-Erweiterung deaktiviert

Übermitteln von PySpark-BatchaufträgenSubmit PySpark batch job

  1. Öffnen Sie den Ordner HDexample, der weiter oben erläutert ist, erneut (sofern er geschlossen ist).Reopen the HDexample folder that you discussed earlier, if closed.

  2. Erstellen Sie mit den zuvor erläuterten Schritten eine neue BatchFile.py-Datei.Create a new BatchFile.py file by following the earlier steps.

  3. Kopieren Sie den folgenden Code, und fügen Sie ihn in die Skriptdatei ein:Copy and paste the following code into the script file:

    from __future__ import print_function
    import sys
    from operator import add
    from pyspark.sql import SparkSession
    if __name__ == "__main__":
        spark = SparkSession\
            .builder\
            .appName("PythonWordCount")\
            .getOrCreate()
    
        lines = spark.read.text('/HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv').rdd.map(lambda r: r[0])
        counts = lines.flatMap(lambda x: x.split(' '))\
                    .map(lambda x: (x, 1))\
                    .reduceByKey(add)
        output = counts.collect()
        for (word, count) in output:
            print("%s: %i" % (word, count))
        spark.stop()
    
  4. Stellen Sie eine Verbindung mit Ihrem Azure-Konto her, oder verknüpfen Sie einen Cluster, sofern dies noch nicht erfolgt ist.Connect to your Azure account, or link a cluster if you haven't yet done so.

  5. Klicken Sie mit der rechten Maustaste in den Skript-Editor, und wählen Sie dann Spark: PySpark Batch aus, oder verwenden Sie die Tastenkombination STRG+ALT+H.Right-click the script editor, and then select Spark: PySpark Batch, or use the Ctrl+Alt+H keyboard shortcut.

  6. Wählen Sie einen Cluster aus, an den Ihr PySpark-Auftrag übermittelt werden soll:Select a cluster to submit your PySpark job to:

    Ergebnisausgabe für die Übermittlung des Python-Auftrags

Nachdem Sie einen Python-Auftrag übermittelt haben, werden Übermittlungsprotokolle im Ausgabefenster in Visual Studio Code angezeigt.After you submit a Python job, submission logs appear in the OUTPUT window in Visual Studio Code. Die URL der Spark-Benutzeroberfläche und die URL der Yarn-Benutzeroberfläche werden ebenfalls angezeigt.The Spark UI URL and Yarn UI URL are also shown. Sie können die URL in einem Webbrowser öffnen, um den Status des Auftrags zu verfolgen.You can open the URL in a web browser to track the job status.

Apache Livy-KonfigurationApache Livy configuration

Die Apache Livy-Konfiguration wird unterstützt.Apache Livy configuration is supported. Sie können Sie in der Datei .VSCode\settings.json im Arbeitsbereichsordner konfigurieren.You can configure it in the .VSCode\settings.json file in the workspace folder. Derzeit wird in der Livy-Konfiguration nur das Python-Skript unterstützt.Currently, Livy configuration only supports Python script. Weitere Informationen finden Sie in der Livy-Infodatei.For more information, see Livy README.

Auslösen der Livy-KonfigurationHow to trigger Livy configuration

Methode 1Method 1

  1. Navigieren Sie in der Menüleiste zu Datei > Einstellungen > Einstellungen.From the menu bar, navigate to File > Preferences > Settings.
  2. Geben Sie in das Feld Sucheinstellungen die Zeichenfolge HDInsight Job Submission: Livy Conf (HDInsight-Auftragsübermittlung: Livy-Konfiguration) ein.In the Search settings box, enter HDInsight Job Submission: Livy Conf.
  3. Klicken Sie beim relevanten Suchergebnis auf In „settings.json“ bearbeiten.Select Edit in settings.json for the relevant search result.

Methode 2: Übermitteln Sie eine Datei. Daraufhin wird der Ordner .vscode automatisch dem Arbeitsordner hinzugefügt.Method 2 Submit a file, and notice that the .vscode folder is automatically added to the work folder. Sie können die Livy-Konfiguration anzeigen, indem Sie .vscode\settings.json auswählen.You can see the Livy configuration by selecting .vscode\settings.json.

  • Die Projekteinstellungen:The project settings:

    HDInsight Apache: Livy-Konfiguration

    Hinweis

    Legen Sie für die Einstellungen driverMemory und executorMemory den Wert und die Einheit fest.For the driverMemory and executorMemory settings, set the value and unit. Beispiel: 1g oder 1024m.For example: 1g or 1024m.

  • Unterstützte Livy-Konfigurationen:Supported Livy configurations:

    POST /batches AnforderungstextPOST /batches Request body

    namename descriptiondescription typetype
    filefile Die Datei, die die auszuführende Anwendung enthältFile containing the application to execute Pfad (erforderlich)Path (required)
    proxyUserproxyUser Der Benutzer, dessen Identität beim Ausführen des Auftrags angenommen werden sollUser to impersonate when running the job StringString
    classNameclassName Die Java-/Spark-Hauptklasse der AnwendungApplication Java/Spark main class StringString
    argsargs Die Befehlszeilenargumente für die AnwendungCommand-line arguments for the application Liste von ZeichenfolgenList of strings
    jarsjars JAR-Dateien, die in dieser Sitzung verwendet werdenJars to be used in this session Liste von ZeichenfolgenList of strings
    pyFilespyFiles Die Python-Dateien, die in dieser Sitzung verwendet werden sollenPython files to be used in this session Liste von ZeichenfolgenList of strings
    filesfiles Dateien, die in dieser Sitzung verwendet werdenFiles to be used in this session Liste von ZeichenfolgenList of strings
    driverMemorydriverMemory Die Menge an Arbeitsspeicher, die für den Treiberprozess verwendet werden sollAmount of memory to use for the driver process StringString
    driverCoresdriverCores Die Anzahl der Kerne, die für den Treiberprozess verwendet werden sollNumber of cores to use for the driver process IntInt
    executorMemoryexecutorMemory Die Menge an Arbeitsspeicher, die pro Executorprozess verwendet werden sollAmount of memory to use per executor process StringString
    executorCoresexecutorCores Die Anzahl von Kernen, die für jeden Executor verwendet werden sollenNumber of cores to use for each executor IntInt
    numExecutorsnumExecutors Die Anzahl der Executors, die für diese Sitzung gestartet werden sollenNumber of executors to launch for this session IntInt
    archivesarchives Die Archive, die in dieser Sitzung verwendet werden sollenArchives to be used in this session Liste von ZeichenfolgenList of strings
    queuequeue Der Name der YARN-Warteschlange, an die gesendet wirdName of the YARN queue to be submitted to StringString
    namename Der Name dieser SitzungName of this session StringString
    confconf Spark-KonfigurationseigenschaftenSpark configuration properties Zuordnung von Schlüsseln zu WertenMap of key=val

    Antworttext: Das erstellte Batchobjekt.Response body The created Batch object.

    namename descriptiondescription typetype
    idID Sitzungs-IDSession ID IntInt
    appIdappId Die Anwendungs-ID dieser SitzungApplication ID of this session StringString
    appInfoappInfo Detaillierte AnwendungsinformationenDetailed application info Zuordnung von Schlüsseln zu WertenMap of key=val
    loglog ProtokollzeilenLog lines Liste von ZeichenfolgenList of strings
    statestate BatchstatusBatch state StringString

    Hinweis

    Die zugewiesene Livy-Konfiguration wird im Ausgabebereich angezeigt, wenn Sie das Skript übermitteln.The assigned Livy config is displayed in the output pane when you submit the script.

Integration mit Azure HDInsight per ExplorerIntegrate with Azure HDInsight from Explorer

Sie können eine Vorschau der Hive-Tabelle in Ihren Clustern direkt über den Azure HDInsight-Explorer anzeigen:You can preview Hive Table in your clusters directly through the Azure HDInsight explorer:

  1. Stellen Sie eine Verbindung mit Ihrem Azure-Konto her, sofern noch keine Verbindung besteht.Connect to your Azure account if you haven't yet done so.

  2. Wählen Sie das Azure-Symbol in der äußerst linken Spalte aus.Select the Azure icon from leftmost column.

  3. Erweitern Sie im linken Bereich AZURE: HDINSIGHT.From the left pane, expand AZURE: HDINSIGHT. Die verfügbaren Abonnements und Cluster werden aufgelistet.The available subscriptions and clusters are listed.

  4. Erweitern Sie den Cluster, um die Hive-Metadatendatenbank und das Hive-Tabellenschema anzuzeigen.Expand the cluster to view the Hive metadata database and table schema.

  5. Klicken Sie mit der rechten Maustaste auf die Hive-Tabelle.Right-click the Hive table. Zum Beispiel: hivesampletable.For example: hivesampletable. Wählen Sie Vorschau aus.Select Preview.

    Spark und Hive für Visual Studio Code: Vorschau für Hive-Tabelle

  6. Das Fenster Ergebnisvorschau wird geöffnet:The Preview Results window opens:

    Spark und Hive für Visual Studio Code: Fenster „Ergebnisvorschau“

  • Bereich ERGEBNISSERESULTS panel

    Sie können das gesamte Ergebnis als CSV-, JSON- oder Excel-Datei in einem lokalen Pfad speichern, oder wählen Sie einfach mehrere Zeilen aus.You can save the whole result as a CSV, JSON, or Excel file to a local path, or just select multiple lines.

  • Bereich MELDUNGENMESSAGES panel

    1. Wenn die Tabelle mehr als 100 Zeilen enthält, sehen Sie die folgende Meldung: „Die ersten 100 Zeilen werden für die Hive-Tabelle angezeigt.“When the number of rows in the table is greater than 100, you see the following message: "The first 100 rows are displayed for Hive table."

    2. Wenn die Tabelle bis zu 100 Zeilen enthält, sehen Sie die folgende Meldung: „60 Zeilen werden für die Hive-Tabelle angezeigt.“When the number of rows in the table is less than or equal to 100, you see the following message: "60 rows are displayed for Hive table."

    3. Wenn die Tabelle keine Zeilen enthält, sehen Sie die folgende Meldung: „0 rows are displayed for Hive table.When there's no content in the table, you see the following message: "0 rows are displayed for Hive table."

      Hinweis

      Installieren Sie unter Linux xclip, um das Kopieren von Tabellendaten zu ermöglichen.In Linux, install xclip to enable copy-table data.

      Spark und Hive für Visual Studio Code unter Linux

Zusätzliche FeaturesAdditional features

Spark und Hive für Visual Studio Code unterstützt auch die folgenden Features:Spark & Hive for Visual Studio Code also supports the following features:

  • Die automatische Vervollständigung von IntelliSense:IntelliSense autocomplete. Es werden Vorschläge für Schlüsselwörter, Methoden, Variablen und weitere Programmierelemente aufgelistet.Suggestions pop up for keywords, methods, variables, and other programming elements. Die unterschiedlichen Objekttypen werden durch entsprechende Symbole dargestellt:Different icons represent different types of objects:

    Spark- und Hive-Tools für Visual Studio Code: IntelliSense-Objekte

  • IntelliSense-Fehlermarkierung:IntelliSense error marker. Der Sprachdienst unterstreicht Bearbeitungsfehler im Hive-Skript.The language service underlines editing errors in the Hive script.

  • Syntaxhervorhebungen:Syntax highlights. Der Sprachdienst verwendet verschiedene Farben, um Variablen, Schlüsselwörter, Datentypen, Funktionen und weitere Programmierelemente zu unterscheiden:The language service uses different colors to differentiate variables, keywords, data type, functions, and other programming elements:

    Syntaxhervorhebungen in Spark & Hive Tools für Visual Studio Code

Rolle nur mit LeseberechtigungReader-only role

Benutzer, denen für den Cluster die Rolle „Nur Leser“ (reader-only) zugewiesen ist, können keine Aufträge an den HDInsight-Cluster übermitteln und die Hive-Datenbank nicht anzeigen.Users who are assigned the reader-only role for the cluster can't submit jobs to the HDInsight cluster, nor view the Hive database. Wenden Sie sich an den Clusteradministrator, damit Ihre Rolle im Azure-Portal auf HDInsight-Clusteroperator aktualisiert wird.Contact the cluster administrator to upgrade your role to HDInsight Cluster Operator in the Azure portal. Wenn Sie gültige Ambari-Anmeldeinformationen haben, können Sie manuell mit dem Cluster verknüpfen, indem Sie die weiter unten aufgeführten Anweisungen ausführen.If you have valid Ambari credentials, you can manually link the cluster by using the following guidance.

Durchsuchen des HDInsight-ClustersBrowse the HDInsight cluster

Wenn Sie im Azure HDInsight-Explorer einen HDInsight-Cluster auswählen, um diesen zu erweitern, werden Sie zum Verknüpfen mit dem Cluster aufgefordert, wenn Sie für den Cluster die Rolle „Nur Leser“ haben.When you select the Azure HDInsight explorer to expand an HDInsight cluster, you're prompted to link the cluster if you have the reader-only role for the cluster. Verwenden Sie die folgende Methode, um über Ihre Ambari-Anmeldeinformationen die Verknüpfung mit dem Cluster herzustellen.Use the following method to link to the cluster by using your Ambari credentials.

Übermitteln des Auftrags an den HDInsight-ClusterSubmit the job to the HDInsight cluster

Wenn Sie für den Cluster die Rolle „Nur Leser“ haben und einen Auftrag an den HDInsight-Cluster übermitteln, werden Sie aufgefordert, mit dem Cluster zu verknüpfen.When submitting job to an HDInsight cluster, you're prompted to link the cluster if you're in the reader-only role for the cluster. Führen Sie die folgenden Schritte aus, um über die Ambari-Anmeldeinformationen die Verknüpfung mit dem Cluster herzustellen.Use the following steps to link to the cluster by using Ambari credentials.

  1. Geben Sie einen gültigen Ambari-Benutzernamen ein.Enter a valid Ambari username.

  2. Geben Sie ein gültiges Kennwort ein.Enter a valid password.

    Spark- und Hive-Tools für Visual Studio Code: Benutzername

    Spark- und Hive-Tools für Visual Studio Code: Kennwort

Hinweis

Sie können Spark / Hive: List Cluster verwenden, um den verknüpften Cluster zu überprüfen:You can use Spark / Hive: List Cluster to check the linked cluster:

Spark- und Hive-Tools für Visual Studio Code: Leser verknüpft

Azure Data Lake Storage Gen2Azure Data Lake Storage Gen2

Durchsuchen eines Data Lake Storage Gen2-KontosBrowse a Data Lake Storage Gen2 account

Wählen Sie Azure HDInsight-Explorer aus, um ein Data Lake Storage Gen2-Konto zu erweitern.Select the Azure HDInsight explorer to expand a Data Lake Storage Gen2 account. Sie werden aufgefordert, den Speicherzugriffsschlüssel einzugeben, wenn Ihr Azure-Konto keinen Zugriff auf den Gen2-Speicher hat.You're prompted to enter the storage access key if your Azure account has no access to Gen2 storage. Sobald der Zugriffsschlüssel validiert ist, wird das Data Lake Storage Gen2-Konto automatisch erweitert.After the access key is validated, the Data Lake Storage Gen2 account is auto-expanded.

Übermitteln von Aufträgen an einen HDInsight-Cluster mit Data Lake Storage Gen2Submit jobs to an HDInsight cluster with Data Lake Storage Gen2

Übermitteln Sie einen Auftrag an einen HDInsight-Cluster mit Data Lake Storage Gen2.Submit a job to an HDInsight cluster using Data Lake Storage Gen2. Sie werden aufgefordert, den Speicherzugriffsschlüssel einzugeben, wenn Ihr Azure-Konto keinen Schreibzugriff auf den Gen2-Speicher hat.You're prompted to enter the storage access key if your Azure account has no write access to Gen2 storage. Sobald der Zugriffsschlüssel validiert ist, wird der Auftrag erfolgreich übermittelt.After the access key is validated, the job will be successfully submitted.

Spark- und Hive-Tools für Visual Studio Code: Zugriffsschlüssel

Hinweis

Den Zugriffsschlüssel für das Speicherkonto erhalten Sie über das Azure-Portal.You can get the access key for the storage account from the Azure portal. Weitere Informationen finden Sie unter Verwalten von Speicherkonto-Zugriffsschlüsseln.For more information, see Manage storage account access keys.

  1. Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette, und geben Sie dann Spark / Hive: Unlink a Cluster (Spark / Hive: Clusterverknüpfung aufheben) ein.From the menu bar, go to View > Command Palette, and then enter Spark / Hive: Unlink a Cluster.

  2. Wählen Sie den Cluster aus, dessen Verknüpfung aufgehoben werden soll.Select a cluster to unlink.

  3. Sehen Sie sich die Ansicht AUSGABE zur Überprüfung an.See the OUTPUT view for verification.

AbmeldenSign out

Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette, und geben Sie dann Azure: Abmelden ein.From the menu bar, go to View > Command Palette, and then enter Azure: Sign Out.

Nächste SchritteNext steps

Ein Video, in dem die Verwendung von Spark und Hive für Visual Studio Code gezeigt wird, finden Sie unter Spark und Hive für Visual Studio Code.For a video that demonstrates using Spark & Hive for Visual Studio Code, see Spark & Hive for Visual Studio Code.