Verwenden leerer Edgeknoten in Apache Hadoop-Clustern in HDInsightUse empty edge nodes on Apache Hadoop clusters in HDInsight

Hier erfahren Sie, wie Sie einem HDInsight-Cluster einen leeren Edgeknoten hinzufügen.Learn how to add an empty edge node to an HDInsight cluster. Ein leerer Edgeknoten ist ein virtueller Linux-Computer, auf dem die gleichen Clienttools installiert und konfiguriert sind wie auf den Hauptknoten, aber keine Apache Hadoop-Dienste ausgeführt werden.An empty edge node is a Linux virtual machine with the same client tools installed and configured as in the headnodes, but with no Apache Hadoop services running. Sie können den Edgeknoten zum Zugreifen auf den Cluster sowie zum Testen und Hosten Ihrer Clientanwendungen verwenden.You can use the edge node for accessing the cluster, testing your client applications, and hosting your client applications.

Sie können einen leeren Edgeknoten zu einem vorhandenen HDInsight-Cluster oder zu einem neuen Cluster hinzufügen, wenn Sie den Cluster erstellen.You can add an empty edge node to an existing HDInsight cluster, to a new cluster when you create the cluster. Einen leeren Edgeknoten fügen Sie mit der Azure Resource Manager-Vorlage hinzu.Adding an empty edge node is done using Azure Resource Manager template. Im folgenden Beispiel sehen Sie, wie dies mithilfe einer Vorlage erfolgt:The following sample demonstrates how it is done using a template:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "Standard_D3"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Wie im Beispiel gezeigt, können Sie optional eine Skriptaktion aufrufen, um zusätzliche Konfigurationsschritte wie z.B. die Installation von Apache Hue in den Edgeknoten auszuführen.As shown in the sample, you can optionally call a script action to perform additional configuration, such as installing Apache Hue in the edge node. Das Skriptaktionsskript muss öffentlich im Internet verfügbar sein.The script action script must be publicly accessible on the web. Wenn das Skript beispielsweise in Azure Storage gespeichert ist, verwenden Sie öffentliche Container oder öffentliche Blobs.For example, if the script is stored in Azure storage, use either public containers or public blobs.

Die Größe des Edgeknotens des virtuellen Computers muss den VM-Größenanforderungen des HDInsight-Clusterworkerknotens entsprechen.The edge node virtual machine size must meet the HDInsight cluster worker node vm size requirements. Die empfohlene VM-Größe des Workerknotens finden Sie unter Erstellen von Apache Hadoop-Clustern in HDInsight.For the recommended worker node vm sizes, see Create Apache Hadoop clusters in HDInsight.

Nach der Erstellung eines Edgeknotens können Sie über SSH eine Verbindung zum Edgeknoten herstellen und Client-Tools ausführen, um auf den Hadoop-Cluster in HDInsight zuzugreifen.After you have created an edge node, you can connect to the edge node using SSH, and run client tools to access the Hadoop cluster in HDInsight.

Warnung

Für auf dem Edgeknoten installierte benutzerdefinierte Komponenten stellt Microsoft wirtschaftlich angemessenen Support bereit.Custom components that are installed on the edge node receive commercially reasonable support from Microsoft. Dadurch werden unter Umständen bei Ihnen auftretende Probleme behoben.This might result in resolving problems you encounter. Alternativ erhalten Sie unter Umständen weitere Unterstützung über Communityressourcen.Or, you may be referred to community resources for further assistance. Im Anschluss finden Sie einige besonders aktive Websites, auf denen Sie Unterstützung von der Community erhalten:The following are some of the most active sites for getting help from the community:

Bei Verwendung einer Apache-Technologie finden Sie hilfreiche Informationen ggf. auf den Apache-Projektwebsites unter https://apache.org, beispielsweise auf der Website für Apache Hadoop.If you are using an Apache technology, you may be able to find assistance through the Apache project sites on https://apache.org, such as the Apache Hadoop site.

Wichtig

Ubuntu-Images stehen für die Erstellung neuer HDInsight-Cluster innerhalb von 3 Monaten nach der Veröffentlichung zur Verfügung.Ubuntu images become available for new HDInsight cluster creation within 3 months of being published. Seit Januar 2019 werden laufende Cluster (einschließlich Edgeknoten) nicht automatisch gepatcht.As of January 2019, running clusters (including edge nodes) are not auto-patched. Kunden müssen Skriptaktionen oder andere Mechanismen verwenden, um einen laufenden Cluster zu patchen.Customers must use script actions or other mechanisms to patch a running cluster. Weitere Informationen finden Sie unter Patchen des Betriebssystems für HDInsight.For more information, see OS patching for HDInsight.

Hinzufügen eines Edgeknotens zu einem vorhandenen ClusterAdd an edge node to an existing cluster

In diesem Abschnitt verwenden Sie eine Resource Manager-Vorlage, um einen Edgeknoten zu einem vorhandenen HDInsight-Cluster hinzuzufügen.In this section, you use a Resource Manager template to add an edge node to an existing HDInsight cluster. Die Resource Manager-Vorlage finden Sie in GitHub.The Resource Manager template can be found in GitHub. Die Resource Manager-Vorlage ruft eine Skriptaktion auf, die sich unter https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/101-hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh befindet. Das Skript führt keine Aktionen aus.The Resource Manager template calls a script action located at https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/101-hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. The script doesn't perform any actions. Es demonstriert das Aufrufen der Skriptaktion aus einer Resource Manager-Vorlage.It is to demonstrate calling script action from a Resource Manager template.

Hinzufügen eines Edgeknotens zu einem vorhandenen ClusterTo add an empty edge node to an existing cluster

  1. Klicken Sie auf die folgende Abbildung, um sich bei Azure anzumelden und die Azure Resource Manager-Vorlage im Azure-Portal zu öffnen.Click the following image to sign in to Azure and open the Azure Resource Manager template in the Azure portal.

    Deploy to Azure

  2. Konfigurieren Sie die folgenden Eigenschaften:Configure the following properties:

    • Abonnement: Wählen Sie ein Azure-Abonnement aus, das zum Erstellen des Clusters verwendet wird.Subscription: Select an Azure subscription used for creating the cluster.
    • Ressourcengruppe: Wählen Sie die Ressourcengruppe aus, die für den vorhandenen HDInsight-Cluster verwendet wird.Resource group: Select the resource group used for the existing HDInsight cluster.
    • Standort: Wählen Sie den Standort des vorhandenen HDInsight-Clusters aus.Location: Select the location of the existing HDInsight cluster.
    • Clustername: Geben Sie den Namen eines vorhandenen HDInsight-Clusters ein.Cluster Name: Enter the name of an existing HDInsight cluster.
    • Edge Node Size (Edgeknotengröße): Wählen Sie eine der VM-Größen aus.Edge Node Size: Select one of the VM sizes. Die Größe des virtuellen Computers muss den VM-Größenanforderungen des Workerknotens entsprechen.The vm size must meet the worker node vm size requirements. Die empfohlene VM-Größe des Workerknotens finden Sie unter Erstellen von Apache Hadoop-Clustern in HDInsight.For the recommended worker node vm sizes, see Create Apache Hadoop clusters in HDInsight.
    • Edge Node Prefix (Edgeknotenpräfix): Der Standardwert lautet new.Edge Node Prefix: The default value is new. Wenn Sie den Standardwert verwenden, heißt der Edgeknoten new-edgenode.Using the default value, the edge node name is new-edgenode. Sie können das Präfix im Portal anpassen.You can customize the prefix from the portal. Sie können auch den vollständigen Namen in der Vorlage anpassen.You can also customize the full name from the template.
  3. Wählen Sie Ich stimme den oben genannten Geschäftsbedingungen zu, und klicken Sie anschließend auf Kaufen, um den Edgeknoten zu erstellen.Check I agree to the terms and conditions stated above, and then click Purchase to create the edge node.

Wichtig

Stellen Sie sicher, dass Sie die Azure-Ressourcengruppe für den vorhandenen HDInsight-Cluster auswählen.Make sure to select the Azure resource group for the existing HDInsight cluster. Andernfalls erhalten Sie die Fehlermeldung „Angeforderter Vorgang kann nicht auf die geschachtelte Ressource angewendet werden.Otherwise, you get the error message "Can not perform requested operation on nested resource. Übergeordnete Ressource <ClusterName > nicht gefunden.“Parent resource '<ClusterName>' not found."

Hinzufügen eines Edgeknotens beim Erstellen eines ClustersAdd an edge node when creating a cluster

In diesem Abschnitt verwenden Sie eine Resource Manager-Vorlage, um HDInsight-Cluster mit einem Edgeknoten zu erstellen.In this section, you use a Resource Manager template to create HDInsight cluster with an edge node. Die Resource Manager-Vorlage finden Sie im Katalog der Azure-Schnellstartvorlagen.The Resource Manager template can be found in the Azure quickstart templates gallery. Die Resource Manager-Vorlage ruft eine Skriptaktion auf, die sich unter https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/101-hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh befindet. Das Skript führt keine Aktionen aus.The Resource Manager template calls a script action located at https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/101-hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. The script doesn't perform any actions. Es demonstriert das Aufrufen der Skriptaktion aus einer Resource Manager-Vorlage.It is to demonstrate calling script action from a Resource Manager template.

So erstellen Sie einen HDInsight-Cluster mit einem EdgeknotenTo create an HDInsight cluster with an edge node

  1. Erstellen Sie einen HDInsight-Cluster, wenn Sie noch keinen besitzen.Create an HDInsight cluster if you don't have one yet. Weitere Informationen finden Sie unter Erste Schritte mit Hadoop in HDInsight.See Get started using Hadoop in HDInsight.

  2. Klicken Sie auf die folgende Abbildung, um sich bei Azure anzumelden und die Azure Resource Manager-Vorlage im Azure-Portal zu öffnen.Click the following image to sign in to Azure and open the Azure Resource Manager template in the Azure portal.

    Deploy to Azure

  3. Konfigurieren Sie die folgenden Eigenschaften:Configure the following properties:

    • Abonnement: Wählen Sie ein Azure-Abonnement aus, das zum Erstellen des Clusters verwendet wird.Subscription: Select an Azure subscription used for creating the cluster.

    • Ressourcengruppe: Erstellen Sie eine neue Ressourcengruppe für den Cluster.Resource group: Create a new resource group used for the cluster.

    • Standort: Wählen Sie einen Speicherort für die Ressourcengruppe aus.Location: Select a location for the resource group.

    • Clustername: Geben Sie einen Namen für den neu zu erstellenden Cluster ein.Cluster Name: Enter a name for the new cluster to create.

    • Benutzername für Clusteranmeldung: Geben Sie den Namen des Hadoop-HTTP-Benutzers ein.Cluster Login User Name: Enter the Hadoop HTTP user name. Der Standardname lautet admin.The default name is admin.

    • Kennwort für Clusteranmeldung: Geben Sie das Kennwort des Hadoop-HTTP-Benutzers ein.Cluster Login Password: Enter the Hadoop HTTP user password.

    • SSH-Benutzername: Geben Sie den Namen des SSH-Benutzers ein.Ssh User Name: Enter the SSH user name. Der Standardname ist sshuser.The default name is sshuser.

    • SSH-Kennwort: Geben Sie das Kennwort des SSH-Benutzers ein.Ssh Password: Enter the SSH user password.

    • Install Script Action (Skriptaktion installieren): Behalten Sie für die Bearbeitung dieses Artikels den Standardwert bei.Install Script Action: Keep the default value for going through this article.

      Einige Eigenschaften wurden in der Vorlage hartcodiert: „Clustertyp“, „Anzahl der Workerknoten im Cluster“, „Edge node size“ (Edgeknotengröße) und „Edge node name“ (Edgeknotenname).Some properties have been hardcoded in the template: Cluster type, Cluster worker node count, Edge node size, and Edge node name.

  4. Wählen Sie Ich stimme den oben genannten Geschäftsbedingungen zu, und klicken Sie anschließend auf Kaufen, um den Cluster mit dem Edgeknoten zu erstellen.Check I agree to the terms and conditions stated above, and then click Purchase to create the cluster with the edge node.

Hinzufügen mehrerer EdgeknotenAdd multiple edge nodes

Sie können zu einem HDInsight-Cluster mehrere Edgeknoten hinzufügen.You can add multiple edge nodes to an HDInsight cluster. Die Konfiguration mehrerer Edgeknoten kann nur mithilfe von Azure Resource Manager-Vorlagen durchgeführt werden.The multiple edge nodes configuration can only be done using Azure Resource Manager Templates. Sehen Sie sich auch das Vorlagenbeispiel am Anfang dieses Artikels an.See the template sample at the beginning of this article. Sie müssen targetInstanceCount auf die Anzahl der zu erstellenden Edgeknoten aktualisieren.You need to update the targetInstanceCount to reflect the number of edge nodes you would like to create.

Zugreifen auf einen EdgeknotenAccess an edge node

Der ssh-Endpunkt des Edgeknotens ist <Edgeknotenname>.<Clustername>-ssh.azurehdinsight.net:22.The edge node ssh endpoint is <EdgeNodeName>.<ClusterName>-ssh.azurehdinsight.net:22. Beispiel: new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.For example, new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

Der Edgeknoten wird als Anwendung im Azure-Portal angezeigt.The edge node appears as an application on the Azure portal. Im Portal erfahren Sie, wie Sie über SSH auf den Edgeknoten zuzugreifen.The portal gives you the information to access the edge node using SSH.

Überprüfen des SSH-Endpunkts der EdgeknotenTo verify the edge node SSH endpoint

  1. Melden Sie sich beim Azure-Portalan.Sign on to the Azure portal.
  2. Öffnen Sie den HDInsight-Cluster mit einem Edgeknoten.Open the HDInsight cluster with an edge node.
  3. Klicken Sie auf Anwendungen.Click Applications. Der Edgeknoten sollte angezeigt werden.You shall see the edge node. Der Standardname lautet new-edgenode.The default name is new-edgenode.
  4. Klicken Sie auf den Edgeknoten.Click the edge node. Der SSH-Endpunkt sollte angezeigt werden.You shall see the SSH endpoint.

Verwenden von Hive auf dem EdgeknotenTo use Hive on the edge node

  1. Stellen Sie über SSH eine Verbindung mit dem Edgeknoten her.Use SSH to connect to the edge node. Informationen hierzu finden Sie unter Verwenden von SSH mit Linux-basiertem Hadoop in HDInsight unter Linux, Unix oder OS X.For information, see Use SSH with HDInsight.

  2. Verwenden Sie nach dem Herstellen einer Verbindung zum Edgeknoten über SSH den folgenden Befehl, um die Hive-Konsole zu öffnen:After you have connected to the edge node using SSH, use the following command to open the Hive console:

     hive
    
  3. Führen Sie den folgenden Befehl aus, um Hive-Tabellen im Cluster anzuzeigen:Run the following command to show Hive tables in the cluster:

     show tables;
    

Löschen eines EdgeknotensDelete an edge node

Sie können einen Edgeknoten aus dem Azure-Portal löschen.You can delete an edge node from the Azure portal.

Zugreifen auf einen EdgeknotenTo access an edge node

  1. Melden Sie sich beim Azure-Portalan.Sign on to the Azure portal.
  2. Öffnen Sie den HDInsight-Cluster mit einem Edgeknoten.Open the HDInsight cluster with an edge node.
  3. Klicken Sie auf Anwendungen.Click Applications. Eine Liste mit Edgeknoten sollte angezeigt werden.You shall see a list of edge nodes.
  4. Klicken Sie mit der rechten Maustaste auf den Edgeknoten, den Sie löschen möchten, und klicken Sie dann auf Löschen.Right-click the edge node you want to delete, and then click Delete.
  5. Klicken Sie auf Ja, um zu bestätigen.Click Yes to confirm.

Nächste SchritteNext steps

In diesem Artikel haben Sie erfahren, wie Sie einen Edgeknoten hinzufügen und auf den Edgeknoten zuzugreifen.In this article, you have learned how to add an edge node and how to access the edge node. Weitere Informationen finden Sie in den folgenden Artikeln:To learn more, see the following articles: