Erstellen von Apache Spark-Anwendungen für HDInsight-Cluster mit dem Azure-Toolkit für EclipseUse Azure Toolkit for Eclipse to create Apache Spark applications for an HDInsight cluster

Verwenden Sie die HDInsight-Tools im Azure-Toolkit für Eclipse, um in Scala geschriebene Apache Spark-Anwendungen zu entwickeln und diese direkt aus der Eclipse-IDE an einen Azure HDInsight Spark-Cluster zu senden.Use HDInsight Tools in Azure Toolkit for Eclipse to develop Apache Spark applications written in Scala and submit them to an Azure HDInsight Spark cluster, directly from the Eclipse IDE. Sie können das HDInsight-Tools-Plug-In auf verschiedene Weise verwenden:You can use the HDInsight Tools plug-in in a few different ways:

  • Zum Entwickeln und Übermitteln einer Scala Spark-Anwendung an einen HDInsight Spark-ClusterTo develop and submit a Scala Spark application on an HDInsight Spark cluster.
  • Zum Zugreifen auf Ihre Azure HDInsight Spark-ClusterressourcenTo access your Azure HDInsight Spark cluster resources.
  • Zum Entwickeln und lokalen Ausführen einer Scala Spark-AnwendungTo develop and run a Scala Spark application locally.

VoraussetzungenPrerequisites

Installieren der erforderlichen Plug-InsInstall required plug-ins

Installieren des Azure-Toolkits für EclipseInstall Azure Toolkit for Eclipse

Installationsanweisungen finden Sie unter Installieren des Azure-Toolkits für Eclipse.For installation instructions, see Installing Azure Toolkit for Eclipse.

Installieren des Scala-Plug-InsInstall the Scala plug-in

Wenn Sie Eclipse öffnen, erkennen die HDInsight Tools automatisch, ob das Scala-Plug-In installiert ist.When you open Eclipse, HDInsight Tools automatically detects whether you installed the Scala plug-in. Klicken Sie auf OK um fortzufahren, und folgen Sie dann den Anweisungen zum Installieren des Plug-Ins vom Eclipse-Marketplace.Select OK to continue, and then follow the instructions to install the plug-in from the Eclipse Marketplace. Führen Sie nach dem Abschluss der Installation einen Neustart des Computers durch.Restart the IDE after installation completes.

Automatische Installation des Scala-Plug-Ins

Plug-Ins bestätigenConfirm plug-ins

  1. Navigieren Sie zu Hilfe > Eclipse Marketplace... .Navigate to Help > Eclipse Marketplace....

  2. Wählen Sie die Registerkarte Installiert aus.Select the Installed tab.

  3. Es sollte mindestens Folgendes angezeigt werden:You should see at least:

    • Azure-Toolkit für Eclipse <version>Azure Toolkit for Eclipse <version>.
    • Scala-IDE <version>Scala IDE <version>.

Melden Sie sich bei Ihrem Azure-Abonnement an.Sign in to your Azure subscription

  1. Starten Sie die Eclipse-IDE.Start Eclipse IDE.

  2. Navigieren Sie zu Fenster > Ansicht anzeigen > Sonstige... > Anmelden.. .Navigate to Window > Show View > Other... > Sign In...

  3. Navigieren Sie im Dialogfeld Ansicht anzeigen zu Azure > Azure Explorer, und wählen Sie dann Öffnen aus.From the Show View dialog, navigate to Azure > Azure Explorer, and then select Open.

    Apache Spark Eclipse – Ansicht anzeigen

  4. Klicken Sie im Azure Explorer mit der rechten Maustaste auf den Knoten Azure, und wählen Sie dann Anmelden aus.From Azure Explorer, right-click the Azure node, and then select Sign in.

  5. Wählen Sie im Dialogfeld Azure-Anmeldung die Authentifizierungsmethode aus, klicken Sie auf Anmelden, und schließen Sie den Anmeldevorgang ab.In the Azure Sign In dialog box, choose the authentication method, select Sign in, and complete the sign-in process.

    Apache Spark Eclipse – Azure-Anmeldung

  6. Nachdem Sie sich angemeldet haben, werden im Dialogfeld Ihre Abonnements alle Azure-Abonnements aufgelistet, die den Anmeldeinformationen zugeordnet sind.After you're signed in, the Your Subscriptions dialog box lists all the Azure subscriptions associated with the credentials. Wählen Sie im Dialogfeld Auswählen aus, um es zu schließen.Press Select to close the dialog box.

    Dialogfeld zum Auswählen von Abonnements

  7. Navigieren Sie im Azure Explorer zu Azure > HDInsight, um die HDInsight Spark-Cluster in Ihrem Abonnement anzuzeigen.From Azure Explorer, navigate to Azure > HDInsight to see the HDInsight Spark clusters under your subscription.

    HDInsight Spark-Cluster im Azure Explorer – 3

  8. Sie können einen Clusternamenknoten noch einmal erweitern, um die dem Cluster zugeordneten Ressourcen (z.B. Speicherkonten) anzuzeigen.You can further expand a cluster name node to see the resources (for example, storage accounts) associated with the cluster.

    Erweitern eines Clusternamens zum Anzeigen der Ressourcen

Sie können einen normalen Cluster mithilfe des verwalteten Ambari-Benutzernamens verknüpfen.You can link a normal cluster by using the Ambari managed username. In ähnlicher Weise können Sie einen in eine Domäne eingebundenen HDInsight-Cluster unter Verwendung von Domäne und Benutzername verknüpfen, wie etwa user1@contoso.com.Similarly, for a domain-joined HDInsight cluster, you can link by using the domain and username, such as user1@contoso.com.

  1. Klicken Sie im Azure Explorer mit der rechten Maustaste auf HDInsight, und wählen Sie Cluster verknüpfen aus.From Azure Explorer, right-click HDInsight, and select Link A Cluster.

    Azure-Explorer – Menü „Cluster verknüpfen“

  2. Geben Sie Clustername, Benutzername und Kennwort ein, und wählen Sie dann OK aus.Enter Cluster Name, User Name, and Password, then select OK. Geben Sie optional das Speicherkonto und den Speicherschlüssel ein, und wählen Sie anschließend den Speichercontainer aus, damit der Speicher-Explorer in der linken Strukturansicht funktioniert.Optionally, enter Storage Account, Storage Key and then select Storage Container for storage explorer to work in the left tree view

    Dialogfeld zum Verknüpfen eines neuen HDInsight-Clusters

    Hinweis

    Wir verwenden den verknüpften Speicherschlüssel, den Benutzernamen und das Kennwort, wenn der Cluster im Azure-Abonnement angemeldet ist und einen Cluster verknüpft hat.We use the linked storage key, username and password if the cluster both logged in Azure subscription and Linked a cluster. Azure-Explorer – SpeicherkontenAzure Explorer storage accounts

    Wenn Speicherschlüssel den aktuellen Fokus besitzt, müssen Benutzer, die nur die Tastatur verwenden, STRG+TAB verwenden, um den Fokus in das nächste Feld im Dialogfeld zu verschieben.For the keyboard only user, when the current focus is at Storage Key, you need to use Ctrl+TAB to focus on the next field in the dialog.

  3. Der verknüpfte Cluster wird unter HDInsight angezeigt.You can see the linked cluster under HDInsight. Jetzt können Sie eine Anwendung an diesen verknüpften Cluster übermitteln.Now you can submit an application to this linked cluster.

    Azure-Explorer – verknüpfter HDI-Cluster

  4. Sie können die Verknüpfung eines Clusters im Azure-Explorer auch aufheben.You also can unlink a cluster from Azure Explorer.

    Azure-Explorer: nicht verknüpfter Cluster

Einrichten eines Spark Scala-Projekts für einen HDInsight Spark-ClusterSet up a Spark Scala project for an HDInsight Spark cluster

  1. Wählen Sie im Arbeitsbereich der Eclipse-IDE Datei > Neu > Projekt... aus.From the Eclipse IDE workspace, select File > New > Project....

  2. Wählen Sie im Assistenten Neues Projekt HDInsight-Projekt > Spark auf HDInsight (Scala) aus.In the New Project wizard, select HDInsight Project > Spark on HDInsight (Scala). Wählen Sie Weiteraus.Then select Next.

    Auswählen des Projekts „Spark für HDInsight (Scala)“

  3. Geben Sie im Dialogfeld New HDInsight Scala Project (Neues HDInsight Scala-Projekt) die folgenden Werte an, und klicken Sie dann auf Next (Weiter):In the New HDInsight Scala Project dialog box, provide the following values, and then select Next:

    • Geben Sie einen Namen für das Projekt ein.Enter a name for the project.
    • Achten Sie darauf, dass im Bereich JRE für Ausführungsumgebungs-JRE verwenden die Option JavaSE-1.7 oder höher festgelegt ist.In the JRE area, make sure that Use an execution environment JRE is set to JavaSE-1.7 or later.
    • Im Bereich Spark-Bibliothek können Sie die Option Spark-SDK mit Maven konfigurieren auswählen.In the Spark Library area, you can choose Use Maven to configure Spark SDK option. Unser Tool integriert die richtige Version für das Spark-SDK und das Scala-SDK.Our tool integrates the proper version for Spark SDK and Scala SDK. Sie können auch die Option Spark-SDK manuell hinzufügen auswählen, um das Spark-SDK manuell herunterzuladen und hinzuzufügen.You can also choose Add Spark SDK manually option, download, and add Spark SDK by manually.

    Dialogfeld für ein neues HDInsight Scala-Projekt

  4. Überprüfen Sie im nächsten Dialogfeld die Details, und wählen Sie dann Fertigstellen aus.In the next dialog box, review the details, and then select Finish.

Erstellen einer Scala-Anwendung für einen HDInsight Spark-ClusterCreate a Scala application for an HDInsight Spark cluster

  1. Erweitern Sie im Paket-Explorer das zuvor erstellte Projekt.From Package Explorer, expand the project that you created earlier. Klicken Sie mit der rechten Maustaste auf src, und wählen Sie Neu > Sonstiges... aus.Right-click src, select New > Other....

  2. Wählen Sie im Dialogfeld Auswählen eines Assistenten Scala-Assistenten > Scala-Objekt aus.In the Select a wizard dialog box, select Scala Wizards > Scala Object. Wählen Sie Weiteraus.Then select Next.

    Auswahl eines Assistenten zum Erstellen eines Scala-Objekts

  3. Geben Sie im Dialogfeld Create New File (Neue Datei erstellen) einen Namen für das Objekt ein, und klicken Sie dann auf Finish (Fertig stellen).In the Create New File dialog box, enter a name for the object, and then select Finish. Ein Text-Editor wird geöffnet.A text editor will open.

    Assistent für neue Dateien – „Neue Datei erstellen“

  4. Ersetzen Sie den aktuellen Inhalt im Text-Editor durch den Code unten:In the text editor, replace the current contents with the code below:

    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    
    object MyClusterApp{
        def main (arg: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("MyClusterApp")
        val sc = new SparkContext(conf)
    
        val rdd = sc.textFile("wasbs:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv")
    
        //find the rows that have only one digit in the seventh column in the CSV
        val rdd1 =  rdd.filter(s => s.split(",")(6).length() == 1)
    
        rdd1.saveAsTextFile("wasbs:///HVACOut")
        }
    }
    
  5. Führen Sie die Anwendung in einem HDInsight Spark-Cluster aus:Run the application on an HDInsight Spark cluster:

    a.a. Klicken Sie im Paket-Explorer mit der rechten Maustaste auf den Projektnamen, und wählen Sie dann Submit Spark Application to HDInsight (Spark-Anwendung an HDInsight senden) aus.From Package Explorer, right-click the project name, and then select Submit Spark Application to HDInsight.

    b.b. Geben Sie im Dialogfeld Spark Submission (Spark-Übermittlung) die folgenden Werte ein, und wählen Sie dann Submit (Übermitteln) aus:In the Spark Submission dialog box, provide the following values, and then select Submit:

    • Wählen Sie für Cluster Nameden HDInsight Spark-Cluster aus, auf dem Sie Ihre Anwendung ausführen möchten.For Cluster Name, select the HDInsight Spark cluster on which you want to run your application.

    • Wählen Sie ein Artefakt aus dem Eclipse-Projekt oder von der Festplatte aus.Select an artifact from the Eclipse project, or select one from a hard drive. Der Standardwert hängt von dem Element ab, auf das Sie im Paket-Explorer mit der rechten Maustaste klicken.The default value depends on the item that you right-click from Package Explorer.

    • In der Dropdownliste Main class name (Hauptklassenname) zeigt der Übermittlungs-Assistent alle Objektnamen aus Ihrem Projekt an.In the Main class name drop-down list, the submission wizard displays all object names from your project. Wählen Sie ein Objekt aus, oder geben Sie den Namen des Objekts ein, das Sie ausführen möchten.Select or enter one that you want to run. Wenn Sie ein Artefakt von einer Festplatte ausgewählt haben, müssen Sie den Namen der Hauptklasse manuell eingeben.If you selected an artifact from a hard drive, you must enter the main class name manually.

    • Da der Anwendungscode in diesem Beispiel keine Befehlszeilenargumente oder Referenzdateien (z. B. JAR) erfordert, können Sie die restlichen Textfelder leer lassen.Because the application code in this example doesn't require any command-line arguments or reference JARs or files, you can leave the remaining text boxes empty.

      Dialogfeld für die Apache Spark-Übermittlung

  6. Auf der Registerkarte Spark Submission sollte nun der Fortschritt angezeigt werden.The Spark Submission tab should start displaying the progress. Sie können die Anwendung anhalten, indem Sie im Fenster Spark Submission (Spark-Übermittlung) auf die rote Schaltfläche klicken.You can stop the application by selecting the red button in the Spark Submission window. Sie können auch die Protokolle für die Anwendungsausführung anzeigen, indem Sie auf das Globussymbol klicken (in der Abbildung gekennzeichnet durch das blaue Feld).You can also view the logs for this specific application run by selecting the globe icon (denoted by the blue box in the image).

    Fenster für die Apache Spark-Übermittlung

Zugreifen auf und Verwalten von HDInsight Spark-Clustern mithilfe der HDInsight-Tools im Azure-Toolkit für EclipseAccess and manage HDInsight Spark clusters by using HDInsight Tools in Azure Toolkit for Eclipse

Sie können mithilfe der HDInsight-Tools verschiedene Vorgänge durchführen, z.B. auf die Auftragsausgabe zugreifen.You can perform various operations by using HDInsight Tools, including accessing the job output.

Zugreifen auf die AuftragsansichtAccess the job view

  1. Erweitern Sie im Azure Explorer die Option HDInsight, den Namen des Spark-Clusters, und wählen Sie dann Aufträge aus.In Azure Explorer, expand HDInsight, then the Spark cluster name, and then select Jobs.

    Azure-Explorer – Ansicht des Eclipse-Auftragsknotens

  2. Wählen Sie den Knoten Jobs (Aufträge) aus.Select the Jobs node. Wenn die Java-Version niedriger als 1.8 ist, erinnern Sie HDInsight Tools automatisch daran, das E(fx)clipse-Plug-In zu installieren.If Java version is lower than 1.8, HDInsight Tools automatically reminder you install the E(fx)clipse plug-in. Klicken Sie auf OK, um fortzufahren, befolgen Sie dann die Anweisungen des Assistenten zum Installieren über den Eclipse Marketplace, und starten Sie Eclipse neu.Select OK to continue, and then follow the wizard to install it from the Eclipse Marketplace and restart Eclipse.

    Installation des fehlenden E(fx)clipse-Plug-Ins

  3. Öffnen Sie in der Auftragsansicht den Knoten Jobs (Aufträge).Open the Job View from the Jobs node. Im rechten Bereich werden auf der Registerkarte Spark Job View (Spark-Auftragsansicht) alle Anwendungen angezeigt, die in dem Cluster ausgeführt wurden.In the right pane, the Spark Job View tab displays all the applications that were run on the cluster. Wählen Sie den Namen der Anwendung aus, zu der Sie weitere Details anzeigen möchten.Select the name of the application for which you want to see more details.

    Apache Eclipse – Anzeigen von Auftragsprotokolldetails

    Sie können dann eine der folgenden Aktionen ausführen:You can then take any of these actions:

    • Zeigen Sie auf den Auftragsgraphen.Hover on the job graph. Dadurch werden grundlegende Informationen zum ausgeführten Auftrag angezeigt.It displays basic info about the running job. Wenn Sie den Auftragsgraphen auswählen, werden die Phasen und die von den einzelnen Aufträgen generierten Informationen angezeigt.Select the job graph, and you can see the stages and info that every job generates.

      Apache Spark – Info zu Phasen im Auftragsdiagramm

    • Klicken Sie auf die Registerkarte Log (Protokoll), um häufig verwendete Protokolle anzuzeigen, z. B. Driver Stderr, Driver Stdout und Directory Info.Select the Log tab to view frequently used logs, including Driver Stderr, Driver Stdout, and Directory Info.

      Apache Spark Eclipse – Info zum Auftragsprotokoll

    • Öffnen Sie die Spark-Verlaufsbenutzeroberfläche und die Apache Hadoop YARN-Benutzeroberfläche (auf Anwendungsebene), indem Sie auf die Links im oberen Bereich des Fensters klicken.Open the Spark history UI and the Apache Hadoop YARN UI (at the application level) by selecting the hyperlinks at the top of the window.

Zugreifen auf den Speichercontainer des ClustersAccess the storage container for the cluster

  1. Erweitern Sie im Azure Explorer den Stammknoten HDInsight, um eine Liste der verfügbaren HDInsight Spark-Cluster anzuzeigen.In Azure Explorer, expand the HDInsight root node to see a list of HDInsight Spark clusters that are available.

  2. Erweitern Sie den Namen des Clusters, um das Speicherkonto und den Standardspeichercontainer des Clusters anzuzeigen.Expand the cluster name to see the storage account and the default storage container for the cluster.

    Standardspeicherkonto und -container

  3. Wählen Sie den Namen des Speichercontainers aus, der dem Cluster zugeordnet ist.Select the storage container name associated with the cluster. Doppelklicken Sie im rechten Bereich auf den Ordner HVACOut.In the right pane, double-click the HVACOut folder. Öffnen Sie eine der part-Dateien, um die Ausgabe der Anwendung anzuzeigen.Open one of the part- files to see the output of the application.

Zugreifen auf den Spark-VerlaufsserverAccess the Spark history server

  1. Klicken Sie im Azure Explorer mit der rechten Maustaste auf den Namen Ihres Spark-Clusters, und wählen Sie dann Open Spark History UI (Spark-Verlaufsbenutzeroberfläche öffnen) aus.In Azure Explorer, right-click your Spark cluster name, and then select Open Spark History UI. Geben Sie die Anmeldeinformationen für den Cluster ein, wenn Sie dazu aufgefordert werden.When you're prompted, enter the admin credentials for the cluster. Diese Anmeldeinformationen haben Sie bei der Bereitstellung des Clusters angegeben.You specified these while provisioning the cluster.

  2. Im Dashboard des Spark-Verlaufsservers können Sie die Anwendung, deren Ausführung Sie gerade beendet haben, anhand des Anwendungsnamens suchen.In the Spark history server dashboard, you use the application name to look for the application that you just finished running. Im obigen Code legen Sie den Namen der Anwendung mit val conf = new SparkConf().setAppName("MyClusterApp") fest.In the preceding code, you set the application name by using val conf = new SparkConf().setAppName("MyClusterApp"). Daher lautete der Name Ihrer Spark-Anwendung MyClusterApp.So, your Spark application name was MyClusterApp.

Starten des Apache Ambari-PortalsStart the Apache Ambari portal

  1. Klicken Sie im Azure Explorer mit der rechten Maustaste auf den Namen Ihres Spark-Clusters, und wählen Sie dann Open Cluster Management Portal (Ambari) (Clusterverwaltungsportal [Ambari] öffnen) aus.In Azure Explorer, right-click your Spark cluster name, and then select Open Cluster Management Portal (Ambari).

  2. Geben Sie die Anmeldeinformationen für den Cluster ein, wenn Sie dazu aufgefordert werden.When you're prompted, enter the admin credentials for the cluster. Diese Anmeldeinformationen haben Sie bei der Bereitstellung des Clusters angegeben.You specified these while provisioning the cluster.

Verwalten von Azure-AbonnementsManage Azure subscriptions

Standardmäßig führen HDInsight Tools im Azure-Toolkit für Eclipse die Spark-Cluster in all Ihren Azure-Abonnements auf.By default, HDInsight Tool in Azure Toolkit for Eclipse lists the Spark clusters from all your Azure subscriptions. Bei Bedarf können Sie die Abonnements angeben, für die Sie auf den Cluster zugreifen möchten.If necessary, you can specify the subscriptions for which you want to access the cluster.

  1. Klicken Sie im Azure Explorer mit der rechten Maustaste auf den Hauptknoten Azure, und wählen Sie dann Abonnements verwalten aus.In Azure Explorer, right-click the Azure root node, and then select Manage Subscriptions.

  2. Deaktivieren Sie im Dialogfeld die Kontrollkästchen für die Abonnements, auf die Sie nicht zugreifen möchten, und klicken Sie dann auf Close (Schließen).In the dialog box, clear the check boxes for the subscription that you don't want to access, and then select Close. Sie können auch Abmelden auswählen, wenn Sie sich von Ihrem Azure-Abonnement abmelden möchten.You can also select Sign Out if you want to sign out of your Azure subscription.

Lokales Ausführen einer Spark Scala-AnwendungRun a Spark Scala application locally

Mithilfe der HDInsight-Tools-im Azure-Toolkit für Eclipse können Sie Spark Scala-Anwendungen lokal auf Ihrer Arbeitsstation ausführen.You can use HDInsight Tools in Azure Toolkit for Eclipse to run Spark Scala applications locally on your workstation. In der Regel müssen solche Anwendungen nicht auf Clusterressourcen wie den Speichercontainer zugreifen und können lokal ausgeführt und getestet werden.Typically, these applications don't need access to cluster resources such as a storage container, and you can run and test them locally.

VoraussetzungPrerequisite

Beim Ausführen der lokalen Spark Scala-Anwendung auf einem Windows-Computer wird unter Umständen eine Ausnahme wie unter SPARK-2356 beschrieben ausgelöst.While you're running the local Spark Scala application on a Windows computer, you might get an exception as explained in SPARK-2356. Diese Ausnahme tritt auf, weil WinUtils.exe in Windows fehlt.This exception occurs because WinUtils.exe is missing in Windows.

Um diesen Fehler zu beheben, müssen Sie Winutils.exe herunterladen und an einem Speicherort wie C:\WinUtils\bin ablegen. Fügen Sie dann die Umgebungsvariable HADOOP_HOME hinzu, und legen Sie den Wert der Variable auf C\WinUtils fest.To resolve this error, you need Winutils.exe to a location like C:\WinUtils\bin, and then add the environment variable HADOOP_HOME and set the value of the variable to C\WinUtils.

Ausführen einer lokalen Spark Scala-AnwendungRun a local Spark Scala application

  1. Starten Sie Eclipse, und erstellen Sie ein Projekt.Start Eclipse and create a project. Nehmen Sie im Dialogfeld New Project (Neues Projekt) die folgenden Einstellungen vor, und klicken Sie anschließend auf Next (Weiter).In the New Project dialog box, make the following choices, and then select Next.

  2. Wählen Sie im Assistenten Neues Projekt HDInsight-Projekt > Spark auf HDInsight – Beispiel für lokale Ausführung (Scala) aus.In the New Project wizard, select HDInsight Project > Spark on HDInsight Local Run Sample (Scala). Wählen Sie Weiteraus.Then select Next.

    Dialogfeld „Neues Projekt“ – Auswählen eines Assistenten

  3. Um die Projektdetails anzugeben, führen Sie die Schritte 3 bis 6 wie oben im Abschnitt Einrichten eines Spark Scala-Projekts für einen HDInsight Spark-Cluster gezeigt durch.To provide the project details, follow steps 3 through 6 from the earlier section Setup a Spark Scala project for an HDInsight Spark cluster.

  4. Die Vorlage fügt einen Beispielcode (LogQuery) unter dem Ordner src hinzu, der lokal auf Ihrem Computer ausgeführt werden kann.The template adds a sample code (LogQuery) under the src folder that you can run locally on your computer.

    Speicherort der lokalen Scala-Anwendung „LogQuery“

  5. Klicken Sie mit der rechten Maustaste auf logquery.scala, und wählen Sie Ausführen als > 1 Scala-Anwendung aus.Right-click LogQuery.scala , and select Run As > 1 Scala Application. Auf der Registerkarte Console (Konsole) wird eine Ausgabe der folgenden Art angezeigt:Output like this appears on the Console tab:

    Ergebnis der lokalen Ausführung der Spark-Anwendung

Rolle nur mit LeseberechtigungReader-only role

Wenn Benutzer, die über eine Rolle nur mit Leseberechtigung verfügen, einen Auftrag an einen Cluster übermitteln, sind Ambari-Anmeldeinformationen erforderlich.When users submit job to a cluster with reader-only role permission, Ambari credentials is required.

  1. Melden Sie sich mit einem Konto an, das über eine Rolle nur mit Leseberechtigung verfügt.Sign in with reader-only role account.

  2. Erweitern Sie im Azure Explorer die Option HDInsight, um die HDInsight-Cluster anzuzeigen, die sich in Ihrem Abonnement befinden.From Azure Explorer, expand HDInsight to view HDInsight clusters that are in your subscription. Cluster mit der Kennzeichnung "Role: Reader" verfügen über eine Rolle nur mit Leseberechtigung.The clusters marked "Role:Reader" only have reader-only role permission.

    HDInsight Spark-Cluster im Azure Explorer – Rollenleser

  3. Klicken Sie mit der rechten Maustaste auf den Cluster, der über eine Rolle nur mit Leseberechtigung verfügt.Right-click the cluster with reader-only role permission. Wählen Sie aus dem Kontextmenü den Eintrag Link this cluster (Diesen Cluster verknüpfen) aus, um den Cluster zu verknüpfen.Select Link this cluster from context menu to link cluster. Geben Sie den Benutzernamen und das Kennwort für Ambari ein.Enter the Ambari username and password.

    HDInsight Spark-Cluster im Azure Explorer – Link

  4. Wenn der Cluster erfolgreich verknüpft wurde, wird HDInsight aktualisiert.If the cluster is linked successfully, HDInsight will be refreshed. Der Status des Clusters ändert sich zu „Linked“ (Verknüpft).The stage of the cluster will become linked.

    HDInsight Spark-Cluster im Azure Explorer – verknüpft

  1. Klicken Sie auf den Knoten Jobs (Aufträge). Das Fenster Cluster Job Access Denied (Zugriff auf Clusterauftrag verweigert) wird angezeigt.Click Jobs node, Cluster Job Access Denied window pops up.

  2. Klicken Sie auf Link this cluster (Diesen Cluster verknüpfen), um den Cluster zu verknüpfen.Click Link this cluster to link cluster.

    HDInsight Spark-Cluster im Azure Explorer – 9

  1. Erstellen Sie ein HDInsight-Projekt.Create an HDInsight Project.

  2. Klicken Sie mit der rechten Maustaste auf das Paket.Right-click the package. Wählen Sie dann Submit Spark Application to HDInsight (Spark-Anwendung an HDInsight senden) aus.Then select Submit Spark Application to HDInsight.

    HDInsight Spark-Cluster im Azure Explorer – übermitteln

  3. Wählen Sie einen Cluster aus, der über eine Rolle nur mit Leseberechtigung für Clustername verfügt.Select a cluster, which has reader-only role permission for Cluster Name. Es wird eine Warnmeldung angezeigt. Sie können auf Link this cluster (Diesen Cluster verknüpfen) klicken, um den Cluster zu verknüpfen.Warning message shows out. You can click Link this cluster to link cluster.

    HDInsight Spark-Cluster im Azure Explorer – dies verknüpfen

Anzeigen von SpeicherkontenView Storage Accounts

  • Klicken Sie in einem Cluster, der über eine Rolle nur mit Leseberechtigung verfügt, auf den Knoten Storage Accounts (Speicherkonten). Das Fenster Storage Access Denied (Zugriff auf Speicher verweigert) wird angezeigt.For clusters with reader-only role permission, click Storage Accounts node, Storage Access Denied window pops up.

    HDInsight Spark-Cluster im Azure Explorer – Speicher

    HDInsight Spark-Cluster im Azure Explorer – abgelehnt

  • Klicken Sie in einem verknüpften Cluster auf den Knoten Storage Accounts (Speicherkonten). Das Fenster Storage Access Denied (Zugriff auf Speicher verweigert) wird angezeigt.For linked clusters, click Storage Accounts node, Storage Access Denied window pops up.

    HDInsight Spark-Cluster im Azure Explorer – abgelehnt 2

Bekannte ProblemeKnown problems

Beim Verwenden von Cluster verknüpfen empfehle ich, die Anmeldeinformationen des Speichers anzugeben.When using Link A Cluster, I would suggest you to provide credential of storage.

Verknüpfen eines Clusters mit Speicheranmeldeinformationen – Eclipses

Es gibt zwei Modi zum Übermitteln der Aufträge.There are two modes to submit the jobs. Wenn Speicheranmeldeinformationen bereitgestellt werden, wird der Auftrag im Batchmodus übermittelt.If storage credential is provided, batch mode will be used to submit the job. Andernfalls wird der interaktive Modus verwendet.Otherwise, interactive mode will be used. Wenn der Cluster ausgelastet ist, erhalten Sie möglicherweise die folgende Fehlermeldung.If the cluster is busy, you might get the error below.

Ecplipse-Fehler beim Abrufen bei ausgelastetem Clustereclipse get error when cluster busy

Ecplipse-Fehler beim Abrufen bei ausgelastetem Cluster – Yarneclipse get error when cluster busy yarn

Weitere InformationenSee also

SzenarienScenarios

Erstellen und Ausführen von AnwendungenCreating and running applications

Tools und ErweiterungenTools and extensions

Verwalten von RessourcenManaging resources