Použití prázdných hraničních uzlů na Apache Hadoop clusterech v HDInsightUse empty edge nodes on Apache Hadoop clusters in HDInsight

Naučte se, jak přidat prázdný hraniční uzel do clusteru HDInsight.Learn how to add an empty edge node to an HDInsight cluster. Prázdný hraniční uzel je virtuální počítač pro Linux se stejnými klientskými nástroji, který je nainstalovaný a nakonfigurovaný jako hlavních, ale bez spuštěných služeb Apache Hadoop .An empty edge node is a Linux virtual machine with the same client tools installed and configured as in the headnodes, but with no Apache Hadoop services running. Hraniční uzel můžete použít pro přístup ke clusteru, testování klientských aplikací a hostování klientských aplikací.You can use the edge node for accessing the cluster, testing your client applications, and hosting your client applications.

Můžete přidat prázdný hraniční uzel do stávajícího clusteru HDInsight do nového clusteru při vytváření clusteru.You can add an empty edge node to an existing HDInsight cluster, to a new cluster when you create the cluster. Přidání prázdného hraničního uzlu se provádí pomocí šablony Azure Resource Manager.Adding an empty edge node is done using Azure Resource Manager template. Následující příklad ukazuje, jak je provedeno pomocí šablony:The following sample demonstrates how it is done using a template:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "Standard_D3"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Jak je znázorněno v ukázce, můžete volitelně zavolat akci skriptu pro provedení další konfigurace, jako je například instalace odstínu Apache do hraničního uzlu.As shown in the sample, you can optionally call a script action to perform additional configuration, such as installing Apache Hue in the edge node. Skript akce skriptu musí být veřejně přístupný na webu.The script action script must be publicly accessible on the web. Pokud je například skript uložený ve službě Azure Storage, použijte buď veřejné kontejnery nebo veřejné objekty blob.For example, if the script is stored in Azure storage, use either public containers or public blobs.

Velikost virtuálního počítače hraničního uzlu musí splňovat požadavky na velikost virtuálního počítače pro pracovní uzel clusteru HDInsight.The edge node virtual machine size must meet the HDInsight cluster worker node vm size requirements. Doporučené velikosti virtuálních počítačů pracovních uzlů najdete v tématu Vytvoření clusterů Apache Hadoop ve službě HDInsight.For the recommended worker node vm sizes, see Create Apache Hadoop clusters in HDInsight.

Po vytvoření hraničního uzlu se můžete připojit k hraničnímu uzlu pomocí protokolu SSH a spustit klientské nástroje pro přístup ke clusteru Hadoop ve službě HDInsight.After you have created an edge node, you can connect to the edge node using SSH, and run client tools to access the Hadoop cluster in HDInsight.

Varování

Vlastní komponenty, které jsou nainstalované na hraničním uzlu, přijímají komerčně přiměřenou podporu od Microsoftu.Custom components that are installed on the edge node receive commercially reasonable support from Microsoft. To může vést k řešení problémů, ke kterým dochází.This might result in resolving problems you encounter. Nebo můžete být odkazováni na prostředky komunity, které vám pomohou další pomoc.Or, you may be referred to community resources for further assistance. Níže jsou uvedeny některé z nejaktivnějších webů, které vám pomůžou získat nápovědu od komunity:The following are some of the most active sites for getting help from the community:

Pokud používáte technologii Apache, může být možné najít pomoc prostřednictvím webů Apache v systému https://apache.org, jako je například web Apache Hadoop .If you are using an Apache technology, you may be able to find assistance through the Apache project sites on https://apache.org, such as the Apache Hadoop site.

Důležité

Ubuntu images budou k dispozici pro nové vytvoření clusteru HDInsight do 3 měsíců od publikování.Ubuntu images become available for new HDInsight cluster creation within 3 months of being published. Od ledna 2019 se automaticky neopravují spuštěné clustery (včetně hraničních uzlů).As of January 2019, running clusters (including edge nodes) are not auto-patched. Pokud chtějí zákazníci opravit běžící cluster, musí použít akce skriptu nebo jiné mechanismy.Customers must use script actions or other mechanisms to patch a running cluster. Další informace najdete v tématu opravy operačního systému pro HDInsight.For more information, see OS patching for HDInsight.

Přidání hraničního uzlu do existujícího clusteruAdd an edge node to an existing cluster

V této části použijete šablonu Správce prostředků k přidání hraničního uzlu do stávajícího clusteru HDInsight.In this section, you use a Resource Manager template to add an edge node to an existing HDInsight cluster. Šablonu Správce prostředků můžete najít na GitHubu.The Resource Manager template can be found in GitHub. Šablona Správce prostředků volá akci skriptu umístěnou na adrese https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/101-hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. Skript neprovede žádné akce.The Resource Manager template calls a script action located at https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/101-hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. The script doesn't perform any actions. Je znázorněno volání akce skriptu z Správce prostředků šablony.It is to demonstrate calling script action from a Resource Manager template.

Přidání prázdného hraničního uzlu do existujícího clusteruTo add an empty edge node to an existing cluster

  1. Kliknutím na následující obrázek se přihlaste do Azure a otevřete šablonu Azure Resource Manager v Azure Portal.Click the following image to sign in to Azure and open the Azure Resource Manager template in the Azure portal.

    Deploy to Azure button for new cluster

  2. Nakonfigurujte následující vlastnosti:Configure the following properties:

    • Předplatné: Vyberte předplatné Azure, které se používá k vytvoření clusteru.Subscription: Select an Azure subscription used for creating the cluster.
    • Skupina prostředků: Vyberte skupinu prostředků použitou pro existující cluster HDInsight.Resource group: Select the resource group used for the existing HDInsight cluster.
    • Umístění: Vyberte umístění existujícího clusteru HDInsight.Location: Select the location of the existing HDInsight cluster.
    • Název clusteru: Zadejte název existujícího clusteru HDInsight.Cluster Name: Enter the name of an existing HDInsight cluster.
    • Velikost hraničního uzlu: Vyberte jednu z velikostí virtuálních počítačů.Edge Node Size: Select one of the VM sizes. Velikost virtuálního počítače musí splňovat požadavky na velikost virtuálního počítače uzlu pracovního procesu.The vm size must meet the worker node vm size requirements. Doporučené velikosti virtuálních počítačů pracovních uzlů najdete v tématu Vytvoření clusterů Apache Hadoop ve službě HDInsight.For the recommended worker node vm sizes, see Create Apache Hadoop clusters in HDInsight.
    • Předpona hraničního uzlu: Výchozí hodnota je Nová.Edge Node Prefix: The default value is new. Při použití výchozí hodnoty je název hraničního uzlu New-edgenode.Using the default value, the edge node name is new-edgenode. Předponu můžete přizpůsobit z portálu.You can customize the prefix from the portal. Můžete také přizpůsobit úplný název ze šablony.You can also customize the full name from the template.
  3. Zaškrtněte možnost Souhlasím s podmínkami a ujednáními uvedenými nahořea potom kliknutím na koupit vytvořte hraniční uzel.Check I agree to the terms and conditions stated above, and then click Purchase to create the edge node.

Důležité

Ujistěte se, že jste vybrali skupinu prostředků Azure pro existující cluster HDInsight.Make sure to select the Azure resource group for the existing HDInsight cluster. V opačném případě se zobrazí chybová zpráva "u vnořeného prostředku nelze provést požadovanou operaci.Otherwise, you get the error message "Can not perform requested operation on nested resource. Nenašel se nadřazený<prostředek > název_clusteru.Parent resource '<ClusterName>' not found."

Přidat hraniční uzel při vytváření clusteruAdd an edge node when creating a cluster

V této části použijete šablonu Správce prostředků k vytvoření clusteru HDInsight s hraničním uzlem.In this section, you use a Resource Manager template to create HDInsight cluster with an edge node. Šablonu Správce prostředků najdete v galerii šablon pro rychlý Start Azure.The Resource Manager template can be found in the Azure quickstart templates gallery. Šablona Správce prostředků volá akci skriptu umístěnou na adrese https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/101-hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. Skript neprovede žádné akce.The Resource Manager template calls a script action located at https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/101-hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. The script doesn't perform any actions. Je znázorněno volání akce skriptu z Správce prostředků šablony.It is to demonstrate calling script action from a Resource Manager template.

Vytvoření clusteru HDInsight s hraničním uzlemTo create an HDInsight cluster with an edge node

  1. Vytvořte cluster HDInsight, pokud ho ještě nemáte.Create an HDInsight cluster if you don't have one yet. Viz Začínáme používat Hadoop ve službě HDInsight.See Get started using Hadoop in HDInsight.

  2. Kliknutím na následující obrázek se přihlaste do Azure a otevřete šablonu Azure Resource Manager v Azure Portal.Click the following image to sign in to Azure and open the Azure Resource Manager template in the Azure portal.

    Deploy to Azure button for new cluster

  3. Nakonfigurujte následující vlastnosti:Configure the following properties:

    • Předplatné: Vyberte předplatné Azure, které se používá k vytvoření clusteru.Subscription: Select an Azure subscription used for creating the cluster.

    • Skupina prostředků: Vytvořte novou skupinu prostředků použitou pro cluster.Resource group: Create a new resource group used for the cluster.

    • Umístění: Vyberte umístění skupiny prostředků.Location: Select a location for the resource group.

    • Název clusteru: Zadejte název nového clusteru, který chcete vytvořit.Cluster Name: Enter a name for the new cluster to create.

    • Uživatelské jméno přihlášení clusteru: Zadejte uživatelské jméno Hadoop HTTP.Cluster Login User Name: Enter the Hadoop HTTP user name. Výchozí uživatelské jméno je admin.The default name is admin.

    • Heslo pro přihlášení ke clusteru: Zadejte heslo uživatele Hadoop HTTP.Cluster Login Password: Enter the Hadoop HTTP user password.

    • Uživatelské jméno SSH: Zadejte uživatelské jméno SSH.Ssh User Name: Enter the SSH user name. Výchozí název je sshuser.The default name is sshuser.

    • Heslo SSH: Zadejte heslo uživatele SSH.Ssh Password: Enter the SSH user password.

    • Nainstalovat akci skriptu: Ponechte výchozí hodnotu pro procházení tohoto článku.Install Script Action: Keep the default value for going through this article.

      V šabloně se pevně zakódované některé vlastnosti: Typ clusteru, počet pracovních uzlů clusteru, velikost hraničního uzlu a název hraničního uzlu.Some properties have been hardcoded in the template: Cluster type, Cluster worker node count, Edge node size, and Edge node name.

  4. Zaškrtněte možnost Souhlasím s podmínkami a ujednáními uvedenými nahořea potom kliknutím na koupit vytvořte cluster s hraničním uzlem.Check I agree to the terms and conditions stated above, and then click Purchase to create the cluster with the edge node.

Přidat více hraničních uzlůAdd multiple edge nodes

Do clusteru HDInsight můžete přidat několik hraničních uzlů.You can add multiple edge nodes to an HDInsight cluster. Konfiguraci více hraničních uzlů lze provést pouze pomocí šablon Azure Resource Manager.The multiple edge nodes configuration can only be done using Azure Resource Manager Templates. Podívejte se na ukázku šablony na začátku tohoto článku.See the template sample at the beginning of this article. Musíte aktualizovat targetInstanceCount tak, aby odrážel počet hraničních uzlů, které chcete vytvořit.You need to update the targetInstanceCount to reflect the number of edge nodes you would like to create.

Přístup k hraničnímu uzluAccess an edge node

Koncový bod SSH na hraničním <uzlu je EdgeNodeName< >. Název_clusteru > – ssh.azurehdinsight.net:22.The edge node ssh endpoint is <EdgeNodeName>.<ClusterName>-ssh.azurehdinsight.net:22. Například new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.For example, new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

Hraniční uzel se zobrazí jako aplikace na Azure Portal.The edge node appears as an application on the Azure portal. Portál poskytuje informace pro přístup k hraničnímu uzlu pomocí protokolu SSH.The portal gives you the information to access the edge node using SSH.

Ověření koncového bodu SSH hraničního uzluTo verify the edge node SSH endpoint

  1. Přihlaste se k portálu Azure Portal.Sign on to the Azure portal.
  2. Otevřete cluster HDInsight s hraničním uzlem.Open the HDInsight cluster with an edge node.
  3. Klikněte na aplikace.Click Applications. Zobrazí se hraniční uzel.You shall see the edge node. Výchozí název je New-edgenode.The default name is new-edgenode.
  4. Klikněte na hraniční uzel.Click the edge node. Zobrazí se koncový bod SSH.You shall see the SSH endpoint.

Použití podregistru na hraničním uzluTo use Hive on the edge node

  1. Připojení k hraničnímu uzlu pomocí SSHUse SSH to connect to the edge node. Další informace najdete v tématu Použití SSH se službou HDInsight.For information, see Use SSH with HDInsight.

  2. Po připojení k hraničnímu uzlu pomocí protokolu SSH pomocí následujícího příkazu otevřete konzolu podregistru:After you have connected to the edge node using SSH, use the following command to open the Hive console:

     hive
    
  3. Spusťte následující příkaz pro zobrazení tabulek podregistru v clusteru:Run the following command to show Hive tables in the cluster:

     show tables;
    

Odstranění hraničního uzluDelete an edge node

Hraniční uzel můžete z Azure Portal odstranit.You can delete an edge node from the Azure portal.

Přístup k hraničnímu uzluTo access an edge node

  1. Přihlaste se k portálu Azure Portal.Sign on to the Azure portal.
  2. Otevřete cluster HDInsight s hraničním uzlem.Open the HDInsight cluster with an edge node.
  3. Klikněte na aplikace.Click Applications. Zobrazí se seznam hraničních uzlů.You shall see a list of edge nodes.
  4. Klikněte pravým tlačítkem myši na hraniční uzel, který chcete odstranit, a pak klikněte na Odstranit.Right-click the edge node you want to delete, and then click Delete.
  5. Pro potvrzení klikněte na tlačítko Ano.Click Yes to confirm.

Další postupNext steps

V tomto článku jste se naučili, jak přidat hraniční uzel a jak přistupovat k hraničnímu uzlu.In this article, you have learned how to add an edge node and how to access the edge node. Další informace najdete v následujících článcích:To learn more, see the following articles: