Verwenden von Azure HDInsight Tools for Visual Studio CodeUse Azure HDInsight Tools for Visual Studio Code

Hier erfahren Sie, wie Sie Azure HDInsight Tools for Visual Studio Code verwenden, um Apache Hive-Batchaufträge, interaktive Hive-Abfragen und PySpark-Skripts für Apache Spark zu erstellen und zu übermitteln.Learn how to use Azure HDInsight Tools for Visual Studio Code to create and submit Apache Hive batch jobs, interactive Hive queries, and PySpark scripts for Apache Spark. Zunächst wird die Installation von HDInsight Tools in Visual Studio Code beschrieben, und dann werden die Schritte zum Übermitteln von Aufträgen an Hive und Spark erläutert.First we'll describe how to install the HDInsight tools in Visual Studio Code and then we'll walk through how to submit jobs to Hive and Spark.

Azure HDInsight Tools kann auf den von Visual Studio Code unterstützten Plattformen installiert werden, darunter Windows, Linux und macOS.Azure HDInsight Tools can be installed on platforms that are supported by Visual Studio Code, which include Windows, Linux, and macOS. Nachstehend finden Sie die Voraussetzungen für die unterschiedlichen Plattformen.Below you'll find the prerequisites for different platforms.

VoraussetzungenPrerequisites

Für die Schritte in diesem Artikel ist Folgendes erforderlich:The following items are required for completing the steps in this article:

Installieren von Azure HDInsight ToolsInstall Azure HDInsight Tools

Wenn die Voraussetzungen erfüllt sind, können Sie Azure HDInsight Tools for Visual Studio Code installieren.After you have completed the prerequisites, you can install Azure HDInsight Tools for Visual Studio Code. Führen Sie die folgenden Schritte aus, um Azure HDInsight Tools zu installieren:Complete the following steps to install Azure HDInsight Tools:

  1. Öffnen Sie Visual Studio Code.Open Visual Studio Code.

  2. Navigieren Sie auf der Menüleiste zu Ansicht > Erweiterungen.From the menu bar, navigate to View > Extensions.

  3. Geben Sie HDInsight in das Suchfeld ein.In the search box, enter HDInsight.

  4. Wählen Sie in den Suchergebnissen Azure HDInsight Tools aus, und wählen Sie dann Installieren.Select Azure HDInsight Tools from the search results, and then select Install.

    HDInsight für Visual Studio Code Python-Installation

  5. Wählen Sie Erneut laden aus, um die Erweiterung Azure HDInsight Tools nach der Installation zu aktivieren.Select Reload to activate the Azure HDInsight Tools extension after it installs.

Öffnen des HDInsight-ArbeitsordnersOpen HDInsight work folder

Führen Sie die folgenden Schritte aus, um einen Arbeitsordner zu öffnen und eine Datei in Visual Studio Code zu erstellen:Complete the following steps to open a work folder, and create a file in Visual Studio Code:

  1. Navigieren Sie auf der Menüleiste zu Datei > Ordner öffnen... > C:\HD\HDexample, und wählen Sie die Schaltfläche Ordner auswählen.From the menu bar, navigate to File > Open Folder... > C:\HD\HDexample, then select the Select Folder button. Der Ordner wird in der Explorer-Ansicht auf der linken Seite angezeigt.The folder appears in the Explorer view on the left.

  2. Wählen Sie in der Explorer-Ansicht den Ordner HDexample aus, und wählen Sie dann neben dem Arbeitsordner das Symbol Neue Datei.From the Explorer view, select the folder, HDexample, and then the New File icon next to the work folder.

    Neue Datei

  3. Benennen Sie die neue Datei mit der Dateierweiterung „.hql“ (Hive-Abfragen) oder „.py“ (Spark-Skript).Name the new file with either the .hql (Hive queries) or the .py (Spark script) file extension. In diesem Beispiel wird HelloWorld.hql verwendet.This example uses HelloWorld.hql.

Herstellen einer Verbindung mit dem HDInsight-ClusterConnect to HDInsight Cluster

Bevor Sie Skripts aus Visual Studio Code an HDInsight-Cluster übermitteln können, müssen Sie entweder eine Verbindung mit Ihrem Azure-Konto herstellen oder einen Cluster verknüpfen (unter Verwendung des Ambari-Benutzernamens/-Kennworts oder eines in die Domäne eingebunden Kontos).Before you can submit scripts to HDInsight clusters from Visual Studio Code, you need to either connect to your Azure account, or link a cluster (using Ambari username/password or domain joined account). Führen Sie die folgenden Schritte aus, um eine Verbindung mit Azure herzustellen:Complete the following steps to connect to Azure:

  1. Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette..., und geben Sie HDInsight: Login (HDInsight: Anmeldung) eingeben.From the menu bar navigate to View > Command Palette..., and enter HDInsight: Login.

    HDInsight Tools for Visual Studio Code-Anmeldung

  2. Befolgen Sie Anmeldeanweisungen im Bereich AUSGABE.Follow the sign-in instructions in the OUTPUT pane.

    • Für die globale Azure-Umgebung löst der Befehl HDInsight: Anmeldung die Aktion Anmelden bei Azure im HDInsight-Explorer aus und umgekehrt.For Azure global environment, HDInsight: Login command will trigger Sign in to Azure action in the HDInsight explorer and vice versa.

      Anmeldeanweisungen für Azure

    • Befolgen Sie für andere Umgebungen die Anmeldeanweisungen.For Other environments, follow the sign-in instructions.

      Anmeldeanweisungen für andere Umgebung

    Nach dem Herstellen der Verbindung wird Ihr Azure-Kontoname unten links im Visual Studio Code-Fenster auf der Statusleiste angezeigt.After you're connected, your Azure account name is shown on the status bar at the bottom left of the Visual Studio Code window.

Erstellen eines Links Azure HDInsightCreate link: Azure HDInsight

Sie können einen normalen Cluster verknüpfen, indem Sie einen per Apache Ambari verwalteten Benutzernamen verwenden, oder einen per Enterprise Security Pack geschützten Hadoop-Cluster, indem Sie einen Domänenbenutzernamen (z.B. user1@contoso.com) verwenden.You can link a normal cluster by using an Apache Ambari managed username or link an Enterprise Security Pack secure Hadoop cluster by using a domain username (such as: user1@contoso.com).

  1. Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette..., und geben Sie HDInsight: Link a Cluster (HDInsight: Cluster verknüpfen) ein.From the menu bar navigate to View > Command Palette..., and enter HDInsight: Link a Cluster.

    Befehl „Cluster verknüpfen“

  2. Wählen Sie als Typ des verknüpften Clusters Azure HDInsight aus.Select linked cluster type Azure HDInsight.

  3. Geben Sie die HDInsight-Cluster-URL ein.Enter HDInsight cluster URL.

  4. Geben Sie den Ambari-Benutzernamen ein. Der Standardwert lautet Administrator.Enter Ambari user name, default is admin.

  5. Geben Sie das Ambari-Kennwort ein.Enter Ambari password.

  6. Wählen Sie den Clustertyp aus.Select cluster type.

  7. Überprüfen Sie die Ansicht AUSGABE auf eine Bestätigung.Review OUTPUT view for verification.

    Hinweis

    Der verknüpfte Benutzername und das Kennwort werden verwendet, wenn der Cluster im Azure-Abonnement angemeldet ist und einen Cluster verknüpft hat.The linked username and password are used if the cluster both logged in Azure subscription and Linked a cluster.

  1. Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette..., und geben Sie HDInsight: Link a Cluster (HDInsight: Cluster verknüpfen) ein.From the menu bar navigate to View > Command Palette..., and enter HDInsight: Link a Cluster.

  2. Wählen Sie als Typ des verknüpften Clusters Generic Livy Endpoint (Generischer Livy-Endpunkt) aus.Select linked cluster type Generic Livy Endpoint.

  3. Geben Sie den generischen Livy-Endpunkt ein, z.B. http://10.172.41.42:18080.Enter the generic Livy endpoint, for example: http://10.172.41.42:18080.

  4. Wählen Sie als Autorisierungstyp Standard oder Keine aus.Select authorization type Basic or None. Bei Auswahl von Standard gehen Sie wie folgt vor:If Basic, then:
     a. a. Geben Sie den Ambari-Benutzernamen ein. Der Standardwert lautet Administrator.Enter Ambari user name, default is admin.
     b. b. Geben Sie das Ambari-Kennwort ein.Enter Ambari password.

  5. Überprüfen Sie die Ansicht AUSGABE auf eine Bestätigung.Review OUTPUT view for verification.

Auflisten von HDInsight-ClusternList HDInsight clusters

  1. Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette..., und geben Sie HDInsight: List Cluster (HDInsight: Cluster auflisten) ein.From the menu bar navigate to View > Command Palette..., and enter HDInsight: List Cluster.

  2. Wählen Sie das gewünschte Abonnement aus.Select the desired subscription.

  3. Überprüfen Sie die Ansicht AUSGABE.Review the OUTPUT view. In der Ansicht werden Ihr verknüpfter Cluster und alle Cluster in Ihrem Azure-Abonnement angezeigt.The view will show your linked cluster(s) and all cluster(s) under your Azure subscription.

    Festlegen einer Standardclusterkonfiguration

Festlegen des StandardclustersSet default cluster

  1. Öffnen Sie erneut den zuvor erstellten Ordner HDexample, falls er geschlossen wurde.Re-Open the folder HDexample created earlier if closed.

  2. Wählen Sie die zuvor erstellte Datei HelloWorld.hql aus. Sie wird im Skript-Editor geöffnet.Select the file HelloWorld.hql created earlier and it will open in the script editor.

  3. Stellen Sie eine Verbindung mit Ihrem Azure-Konto her, sofern noch keine Verbindung besteht.Connect to your Azure account if you haven't yet done so.

  4. Klicken Sie dann mit der rechten Maustaste auf den Skript-Editor, und wählen Sie HDInsight: Set Default Cluster (HDInsight: Standardcluster festlegen) aus.Right-click the script editor, and select HDInsight: Set Default Cluster.

  5. Wählen Sie einen Cluster als Standardcluster für die aktuelle Skriptdatei aus.Select a cluster as the default cluster for the current script file. Die Konfigurationsdatei VSCode\settings.json wird automatisch aktualisiert.The tools automatically update the configuration file .VSCode\settings.json.

    Festlegen der Standardclusterkonfiguration

Einrichten der Azure-UmgebungSet the Azure environment

  1. Stellen Sie eine Verbindung mit Ihrem Azure-Konto her, sofern noch keine Verbindung besteht.Connect to your Azure account if you haven't yet done so.

  2. Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette..., und geben Sie HDInsight: Set Azure Environment (Azure-Umgebung festlegen) ein.From the menu bar navigate to View > Command Palette..., and enter HDInsight: Set Azure Environment.

  3. Wählen Sie eine Umgebung als Standardanmeldeeintrag aus.Select an environment as your default login entry.

  4. Inzwischen hat das Tool Ihren Standardanmeldeeintrag bereits unter VSCode\settings.json gespeichert.Meanwhile, the tool has already saved your default login entry in .VSCode\settings.json. Sie können ihn auch direkt in dieser Konfigurationsdatei aktualisieren.You can also directly update it in this configuration file.

    Festlegen der Konfiguration des Standardanmeldeeintrags

Übermitteln von interaktiven Hive-Abfragen und Hive-BatchskriptsSubmit interactive Hive queries, Hive batch scripts

Mit HDInsight Tools for Visual Studio Code können Sie interaktive Hive-Abfragen und Hive-Batchskripts an HDInsight-Cluster übermitteln.With HDInsight Tools for Visual Studio Code, you can submit interactive Hive queries, and Hive batch scripts to HDInsight clusters.

  1. Öffnen Sie erneut den zuvor erstellten Ordner HDexample, falls er geschlossen wurde.Reopen the folder HDexample created earlier if closed.

  2. Wählen Sie die zuvor erstellte Datei HelloWorld.hql aus. Sie wird im Skript-Editor geöffnet.Select the file HelloWorld.hql created earlier and it will open in the script editor.

  3. Stellen Sie eine Verbindung mit Ihrem Azure-Konto her, sofern noch keine Verbindung besteht.Connect to your Azure account if you haven't yet done so.

  4. Kopieren Sie den folgenden Code, fügen Sie ihn in Ihre Hive-Datei ein, und speichern Sie sie.Copy and paste the following code into your Hive file, and then save it.

    SELECT * FROM hivesampletable;
    
  5. Klicken Sie mit der rechten Maustaste auf den Skript-Editor, und wählen Sie HDInsight: Hive Interactive aus, um die Abfrage zu übermitteln, oder verwenden Sie die Tastenkombination STRG+ALT+I. Wählen Sie HDInsight Hive Batch aus, um das Skript zu übermitteln, oder verwenden Sie die Tastenkombination STRG+ALT+H.Right-click the script editor, select HDInsight: Hive Interactive to submit the query, or use shortcut Ctrl + Alt + I. Select HDInsight: Hive Batch to submit the script, or use shortcut Ctrl + Alt + H.

  6. Wählen Sie den Cluster aus, wenn Sie keinen Standardcluster angegeben haben.Select the cluster if you haven't specified a default cluster. Über das Kontextmenü können Sie anstelle der gesamten Skriptdatei auch einen Codeblock übermitteln.The tools also allow you to submit a block of code instead of the whole script file using the context menu. Nach kurzer Zeit werden die Abfrageergebnisse auf einer neuen Registerkarte angezeigt.After a few moments, the query results appear in a new tab.

    Interactive Hive-Ergebnis

    • Bereich ERGEBNISSE: Sie können das gesamte Ergebnis als CSV-, JSON- oder Excel-Datei in einem lokalen Pfad speichern oder einfach mehrere Zeilen auswählen.RESULTS panel: You can save the whole result as CSV, JSON, or Excel file to local path, or just select multiple lines.

    • Bereich MELDUNGEN: Wenn Sie die Zeilennummer auswählen, gelangen Sie zur ersten Zeile des derzeit ausgeführten Skripts.MESSAGES panel: When you select Line number, it jumps to the first line of the running script.

Übermitteln interaktiver PySpark-AbfragenSubmit interactive PySpark queries

  1. Öffnen Sie erneut den zuvor erstellten Ordner HDexample, falls er geschlossen wurde.Reopen the folder HDexample created earlier if closed.

  2. Erstellen Sie anhand der zuvor erläuterten Schritte eine neue Datei vom Typ HelloWorld.py.Create a new file HelloWorld.py following the earlier steps.

  3. Ihnen wird ein Dialogfeld mit einer Python-Erweiterungsempfehlung angezeigt, falls Sie Python im Abschnitt „Voraussetzungen“ nicht installiert haben.You will receive a Python extension recommendation dialog if you did not install Python for the prerequisite. Installieren Sie Visual Studio Code, und laden Sie das Tool erneut, um die Installation abzuschließen.Install and reload Visual Studio Code to complete the installation.

    HDInsight für Visual Studio Code Python-Installation

  4. Stellen Sie eine Verbindung mit Ihrem Azure-Konto her, sofern noch keine Verbindung besteht.Connect to your Azure account if you haven't yet done so.

  5. Kopieren Sie den folgenden Code, und fügen Sie ihn in die Skriptdatei ein:Copy and paste the following code into the script file:

    from operator import add
    lines = spark.read.text("/HdiSamples/HdiSamples/FoodInspectionData/README").rdd.map(lambda r: r[0])
    counters = lines.flatMap(lambda x: x.split(' ')) \
                 .map(lambda x: (x, 1)) \
                 .reduceByKey(add)
    
    coll = counters.collect()
    sortedCollection = sorted(coll, key = lambda r: r[1], reverse = True)
    
    for i in range(0, 5):
         print(sortedCollection[i])
    
  6. Klicken Sie mit der rechten Maustaste auf den Skript-Editor, und wählen Sie HDInsight: PySpark Interactive (HDInsight: PySpark (interaktiv)) aus, um die Abfrage zu übermitteln, oder verwenden Sie die Tastenkombination STRG+ALT+I.Right-click the script editor, select HDInsight: PySpark Interactive to submit the query, or use shortcut Ctrl + Alt + I.

  7. Wählen Sie den Cluster aus, wenn Sie keinen Standardcluster angegeben haben.Select the cluster if you haven't specified a default cluster. Über das Kontextmenü können Sie anstelle der gesamten Skriptdatei auch einen Codeblock übermitteln.The tools also allow you to submit a block of code instead of the whole script file using the context menu. Nach kurzer Zeit werden die Abfrageergebnisse auf einer neuen Registerkarte angezeigt.After a few moments, the query results appear in a new tab.

    Übermitteln des Ergebnisses des Python-Auftrags

  8. Das Tool unterstützt auch die Abfrage der SQL-Klausel.The tool also supports the SQL Clause query.

    Übermitteln des Ergebnisses des Python-Auftrags Der Übertragungsstatus wird beim Ausführen von Abfragen links neben der unteren Statusleiste angezeigt.Submit Python job result The submission status appears on the left of the bottom status bar when you're running queries. Übermitteln Sie keine weiteren Abfragen, wenn der Status PySpark Kernel (busy) (PySpark-Kernel (ausgelastet)) lautet.Don't submit other queries when the status is PySpark Kernel (busy).

Hinweis

Die Cluster können Sitzungsinformationen speichern.The clusters can maintain session information. Die definierte Variable, die Funktion und die entsprechenden Werte werden in der Sitzung gespeichert, sodass auf sie in mehreren Dienstaufrufen für den gleichen Cluster verwiesen werden kann.The defined variable, function and corresponding values are kept in the session, so they can be referenced across multiple service calls for the same cluster.

PySpark3 wird mit Spark 2.2/2.3 nicht unterstütztPySpark3 is not supported with Spark2.2/2.3

PySpark3 wird mit Spark 2.2- und Spark 2.3-Clustern nicht mehr unterstützt. Für Python wird nur PySpark unterstützt.PySpark3 is not supported anymore with Spark 2.2 cluster and Spark2.3 cluster, only "PySpark" is supported for Python. Es ist ein bekanntes Problem, dass ein Fehler beim Senden an Spark 2.2/2.3 mit Python3 auftritt.It is known issue that submits to spark 2.2/2.3 fail with Python3.

Fehler beim Übermitteln an Python3

Führen Sie folgende Schritte aus, um Python2.x zu verwenden:Follow the steps to use Python2.x:

  1. Installieren Sie Python 2.7 auf dem lokalen Computer, und fügen Sie es dem Systempfad hinzu.Install Python 2.7 to local computer and add it to system path.

  2. Starten Sie Visual Studio Code neu.Restart Visual Studio Code.

  3. Wechseln Sie zu Python 2, indem Sie auf der Statusleiste auf Python XXX klicken und dann als Ziel Python auswählen.Switch to Python 2 by clicking the Python XXX at the status bar then choose the target Python.

    Auswählen der Python-Version

Übermitteln eines PySpark-BatchauftragsSubmit PySpark batch job

  1. Öffnen Sie erneut den zuvor erstellten Ordner HDexample, falls er geschlossen wurde.Reopen the folder HDexample created earlier if closed.

  2. Erstellen Sie anhand der zuvor erläuterten Schritte eine neue Datei vom Typ BatchFile.py.Create a new file BatchFile.py following the earlier steps.

  3. Stellen Sie eine Verbindung mit Ihrem Azure-Konto her, sofern noch keine Verbindung besteht.Connect to your Azure account if you haven't yet done so.

  4. Kopieren Sie den folgenden Code, und fügen Sie ihn in die Skriptdatei ein:Copy and paste the following code into the script file:

    from __future__ import print_function
    import sys
    from operator import add
    from pyspark.sql import SparkSession
    if __name__ == "__main__":
        spark = SparkSession\
            .builder\
            .appName("PythonWordCount")\
            .getOrCreate()
    
        lines = spark.read.text('/HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv').rdd.map(lambda r: r[0])
        counts = lines.flatMap(lambda x: x.split(' '))\
                    .map(lambda x: (x, 1))\
                    .reduceByKey(add)
        output = counts.collect()
        for (word, count) in output:
            print("%s: %i" % (word, count))
        spark.stop()
    
  5. Klicken Sie mit der rechten Maustaste auf den Skript-Editor, und wählen Sie anschließend HDInsight: PySpark Batch aus, oder verwenden Sie die Tastenkombination STRG+ALT+H.Right-click the script editor, and then select HDInsight: PySpark Batch, or use shortcut Ctrl + Alt + H.

  6. Wählen Sie einen Cluster aus, an den Sie Ihren PySpark-Auftrag übermitteln möchten.Select a cluster to which to submit your PySpark job.

    Übermitteln des Ergebnisses des Python-Auftrags

Nach dem Übermitteln eines Python-Auftrags werden die Übermittlungsprotokolle in Visual Studio Code im Fenster AUSGABE angezeigt.After you submit a Python job, submission logs appear in the OUTPUT window in Visual Studio Code. Die URL der Spark-Benutzeroberfläche und die URL der Yarn-Benutzeroberfläche werden ebenfalls angezeigt.The Spark UI URL and Yarn UI URL are shown as well. Sie können die URL in einem Webbrowser öffnen, um den Auftragsstatus nachzuverfolgen.You can open the URL in a web browser to track the job status.

Apache Livy-KonfigurationApache Livy configuration

Die Apache Livy-Konfiguration wird unterstützt. Entsprechende Einstellungen können Sie unter .VSCode\settings.json im Arbeitsbereichsordner vornehmen.Apache Livy configuration is supported, it can be set at the .VSCode\settings.json in the work space folder. Derzeit wird in der Livy-Konfiguration nur das Python-Skript unterstützt.Currently, livy configuration only supports Python script. Weitere Details finden Sie in der Livy-INFODATEI.More details, see Livy README.

Auslösen der Livy-KonfigurationHow to trigger livy configuration

Methode 1Method 1

  1. Navigieren Sie auf der Menüleiste zu Datei > Einstellungen > Einstellungen.From the menu bar, navigate to File > Preferences > Settings.
  2. Geben Sie in das Suchfeld Sucheinstellungen die Zeichenfolge HDInsight Job Submission: Livy Conf (HDInsight-Auftragsübermittlung: Livy-Konfiguration) ein.In the Search settings text box enter HDInsight Job Sumission: Livy Conf.
  3. Wählen Sie für das relevante Suchergebnis Edit in settings.json (In „settings.json“ bearbeiten) aus.Select Edit in settings.json for the relevant search result.

Methode 2Method 2
Übermitteln Sie eine Datei. Beachten Sie dabei, dass der Ordner „.vscode“ automatisch dem Arbeitsordner hinzugefügt wird.Submit a file, notice the .vscode folder is added automatically to the work folder. Die Livy-Konfiguration finden Sie, indem Sie auf .vscode\settings.json klicken.You can find the livy configuration by clicking .vscode\settings.json.

  • Die Projekteinstellungen:The project settings:

    Livy-Konfiguration

Hinweis

Legen Sie für die Einstellungen driverMomory und executorMomry den Wert mit Einheit fest, z.B. „1g“ oder „1024m“.For settings driverMomory and executorMomry, set the value with unit, for example 1g or 1024m.

  • Die unterstützten Livy-Konfigurationen:The supported Livy configurations:

    POST /batches POST /batches
    AnforderungstextRequest Body

    namename descriptiondescription typetype
    filefile Die Datei, die die auszuführende Anwendung enthält.File containing the application to execute Pfad (erforderlich)path (required)
    proxyUserproxyUser Der Benutzer, dessen Identität bei Auftragsausführung gewechselt wird.User to impersonate when running the job Zeichenfolgestring
    classNameclassName Die Java-/Spark-Hauptklasse der Anwendung.Application Java/Spark main class Zeichenfolgestring
    argsargs Die Befehlszeilenargumente, die an die Anwendung übergeben werden sollen.Command line arguments for the application Liste von Zeichenfolgenlist of strings
    jarsjars JAR-Dateien, die in dieser Sitzung verwendet werden.jars to be used in this session Liste von ZeichenfolgenList of string
    pyFilespyFiles Python-Dateien, die in dieser Sitzung verwendet werden.Python files to be used in this session Liste von ZeichenfolgenList of string
    filesfiles Dateien, die in dieser Sitzung verwendet werden.files to be used in this session Liste von ZeichenfolgenList of string
    driverMemorydriverMemory Die Menge an Arbeitsspeicher, der für den Treiberprozess verwendet wird.Amount of memory to use for the driver process Zeichenfolgestring
    driverCoresdriverCores Die Anzahl von Kernen, die für den Treiberprozess verwendet wird.Number of cores to use for the driver process intint
    executorMemoryexecutorMemory Die Menge an Arbeitsspeicher, die pro Executorprozess verwendet wird.Amount of memory to use per executor process Zeichenfolgestring
    executorCoresexecutorCores Die Anzahl von Kernen, die für jeden Executor verwendet wird.Number of cores to use for each executor intint
    numExecutorsnumExecutors Die Anzahl von Executors, die für diese Sitzung gestartet werden.Number of executors to launch for this session intint
    archivesarchives Die Archive, die in dieser Sitzung verwendet werden.Archives to be used in this session Liste von ZeichenfolgenList of string
    queuequeue Der Name der YARN-Warteschlange, an den gesendet wird.The name of the YARN queue to which submitted Zeichenfolgestring
    namename Der Name dieser Sitzung.The name of this session Zeichenfolgestring
    confconf Eigenschaften der Spark-Konfiguration.Spark configuration properties Zuordnung von Schlüssel=WertMap of key=val

    AntworttextResponse Body
    Das erstellte BatchobjektThe created Batch object.

    namename descriptiondescription typetype
    idid Die Sitzungs-IDThe session id intint
    appIdappId Die Anwendungs-ID dieser SitzungThe application id of this session ZeichenfolgeString
    appInfoappInfo Die detaillierten AnwendungsinformationenThe detailed application info Zuordnung von Schlüssel=WertMap of key=val
    loglog Die ProtokollzeilenThe log lines Liste von Zeichenfolgenlist of strings
    statestate Der BatchstatusThe batch state Zeichenfolgestring

Hinweis

Die zugewiesene Livy-Konfiguration wird beim Übermitteln des Skripts im Ausgabebereich angezeigt.The assigned livy config will display in output pane when submit script.

Integration mit Azure HDInsight per ExplorerIntegrate with Azure HDInsight from Explorer

Azure HDInsight wurde der Explorer-Ansicht hinzugefügt.Azure HDInsight has been added to the Explorer view. Sie können Ihre Cluster direkt über Azure HDInsight durchsuchen und verwalten.You can browse and manage you cluster(s) directly through Azure HDInsight.

  1. Stellen Sie eine Verbindung mit Ihrem Azure-Konto her, sofern noch keine Verbindung besteht.Connect to your Azure account if you haven't yet done so.

  2. Navigieren Sie auf der Menüleiste zu Ansicht > Explorer.From the menu bar, navigate to View > Explorer.

  3. Erweitern Sie im linken Bereich AZURE HDINSIGHT.From the left pane, expand AZURE HDINSIGHT. Die verfügbaren Abonnements und Cluster (Spark, Hadoop und HBase werden unterstützt) werden aufgeführt.The available subscriptions and clusters (Spark, Hadoop, and HBase are supported) will be listed.

    Azure HDInsight-Abonnement

  4. Erweitern Sie den Cluster, um die Hive-Metadatendatenbank und das Hive-Tabellenschema anzuzeigen.Expand the cluster to view hive metadata database and table schema.

    Azure HDInsight-Cluster

Zusätzliche FunktionenAdditional features

HDInsight für Visual Studio Code unterstützt folgende Features:HDInsight for Visual Studio Code supports the following features:

  • IntelliSense-AutoVervollständigen.IntelliSense auto-complete. Zeigt Vorschläge für Schlüsselwörter, Methoden, Variablen und Ähnliches an.Suggestions pop up for keyword, methods, variables, and so on. Die unterschiedlichen Objekttypen werden durch entsprechende Symbole dargestellt.Different icons represent different types of objects.

    IntelliSense-Objekttypen der HDInsight Tools für Visual Studio Code

  • IntelliSense-Fehlermarker.IntelliSense error marker. Der Sprachdienst unterstreicht die Bearbeitungsfehler für das Hive-Skript.The language service underlines the editing errors for the Hive script.

  • Syntaxmarkierungen.Syntax highlights. Der Sprachdienst verwendet verschiedene Farben, um Variablen, Schlüsselwörter, Datentypen, Funktionen und Ähnliches zu unterscheiden.The language service uses different colors to differentiate variables, keywords, data type, functions, and so on.

    Syntaxmarkierungen der HDInsight Tools für Visual Studio Code

  1. Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette..., und geben Sie dann HDInsight: Unlink a Cluster (HDInsight: Verknüpfung eines Clusters aufheben) ein.From the menu bar navigate to View > Command Palette..., and then enter HDInsight: Unlink a Cluster.

  2. Wählen Sie den Cluster aus, dessen Verknüpfung aufgehoben werden soll.Select cluster to unlink.

  3. Überprüfen Sie die Ansicht AUSGABE auf eine Bestätigung.Review OUTPUT view for verification.

LogoutLogout

Navigieren Sie auf der Menüleiste zu Ansicht > Befehlspalette..., und geben Sie dann HDInsight: Logout (HDInsight: Abmelden) ein.From the menu bar navigate to View > Command Palette..., and then enter HDInsight: Logout. In der Ecke unten rechts wird ein Popupelement mit dem Hinweis Logout successfully! (Abmeldung erfolgreich!) angezeigt.There will be a pop-up in the bottom right-hand corner stating Logout successfully!.

Nächste SchritteNext steps

Ein Demovideo zur Verwendung von HDInsight für Visual Studio Code finden Sie unter HDInsight Tools for VSCode (HDInsight Tools for Visual Studio Code).For a demonstration video of using HDInsight for Visual Studio Code, see HDInsight for Visual Studio Code