Použití prázdných hraničních uzlů v clusterech Apache Hadoop ve službě HDInsight

Článek
01/10/2024

Zjistěte, jak přidat prázdný hraniční uzel do clusteru HDInsight. Prázdný hraniční uzel je virtuální počítač s Linuxem a se stejnými nainstalovanými a nakonfigurovanými klientskými nástroji jako v hlavních uzlech. Ale bez spuštěných služeb Apache Hadoop . Hraniční uzel můžete použít pro přístup ke clusteru, testování klientských aplikací a jejich hostování.

Při vytváření clusteru můžete do existujícího clusteru HDInsight přidat prázdný hraniční uzel do nového clusteru. Přidání prázdného hraničního uzlu se provádí pomocí šablony Azure Resource Manageru. Následující ukázka ukazuje, jak se provádí pomocí šablony:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Jak je znázorněno v ukázce, můžete volitelně volat akci skriptu, která provede další konfiguraci. Například instalace Apache Hue v hraničním uzlu. Skript akce musí být veřejně přístupný na webu. Pokud je například skript uložený ve službě Azure Storage, použijte veřejné kontejnery nebo veřejné objekty blob.

Velikost virtuálního počítače hraničního uzlu musí splňovat požadavky na velikost virtuálního počítače pracovního uzlu clusteru HDInsight. Doporučené velikosti virtuálních počítačů pracovních uzlů najdete v tématu Vytváření clusterů Apache Hadoop ve službě HDInsight.

Po vytvoření hraničního uzlu se můžete připojit k hraničnímu uzlu pomocí SSH a spustit klientské nástroje pro přístup ke clusteru Hadoop ve službě HDInsight.

Upozorňující

Vlastní komponenty nainstalované na hraničním uzlu získají komerční přiměřenou podporu od Microsoftu. To může vést k řešení problémů, se kterými se setkáte. Nebo můžete být odkazovat na komunitní zdroje pro další pomoc. Tady jsou některé z nejaktivnějších webů pro získání pomoci od komunity:

Pokud používáte technologii Apache, možná budete moct najít pomoc prostřednictvím webů projektů Apache na https://apache.orgwebu, jako je web Apache Hadoop .

Důležité

Image Ubuntu budou dostupné pro nové vytváření clusteru HDInsight během 3 měsíců od publikování. Od ledna 2019 nejsou spuštěné clustery (včetně hraničních uzlů) automaticky opravené. Zákazníci musí k opravě spuštěného clusteru použít akce skriptu nebo jiné mechanismy. Další informace najdete v tématu Opravy operačního systému pro HDInsight.

Přidání hraničního uzlu do existujícího clusteru

V této části použijete šablonu Resource Manageru k přidání hraničního uzlu do existujícího clusteru HDInsight. Šablonu Resource Manageru najdete na GitHubu. Šablona Resource Manageru volá akci skriptu umístěnou v https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.shumístění . Skript neprovádí žádné akce. Předvádí volání akce skriptu ze šablony Resource Manageru.

Výběrem následujícího obrázku se přihlaste k Azure a otevřete šablonu Azure Resource Manageru na webu Azure Portal.

Nakonfigurujte následující vlastnosti:

Vlastnost	Popis
Předplatné	Vyberte předplatné Azure použité k vytvoření clusteru.
Skupina prostředků	Vyberte skupinu prostředků použitou pro existující cluster HDInsight.
Umístění	Vyberte umístění existujícího clusteru HDInsight.
Název clusteru	Zadejte název existujícího clusteru HDInsight.

Zkontrolujte , že souhlasím s podmínkami a ujednáními uvedenými výše, a pak výběrem možnosti Koupit vytvořte hraniční uzel.

Důležité

Nezapomeňte vybrat skupinu prostředků Azure pro existující cluster HDInsight. V opačném případě se zobrazí chybová zpráva Nejde provést požadovanou operaci s vnořeným prostředkem. Nadřazený prostředek< ClusterName> nebyl nalezen.

Přidání hraničního uzlu při vytváření clusteru

V této části použijete šablonu Resource Manageru k vytvoření clusteru HDInsight s hraničním uzlem. Šablonu Resource Manageru najdete v galerii šablon Pro rychlý start Azure. Šablona Resource Manageru volá akci skriptu umístěnou v https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.shumístění . Skript neprovádí žádné akce. Předvádí volání akce skriptu ze šablony Resource Manageru.

Pokud ho ještě nemáte, vytvořte cluster HDInsight. Viz Začínáme používat Hadoop ve službě HDInsight.
Výběrem následujícího obrázku se přihlaste k Azure a otevřete šablonu Azure Resource Manageru na webu Azure Portal.

Nakonfigurujte následující vlastnosti:

Vlastnost	Popis
Předplatné	Vyberte předplatné Azure použité k vytvoření clusteru.
Skupina prostředků	Vytvořte novou skupinu prostředků použitou pro cluster.
Umístění	Vyberte umístění skupiny prostředků.
Název clusteru	Zadejte název nového clusteru, který se má vytvořit.
Uživatelské jméno přihlášení clusteru	Zadejte uživatelské jméno HTTP hadoopu. Výchozí uživatelské jméno je admin.
Heslo přihlášení clusteru	Zadejte uživatelské heslo HTTP hadoopu.
Uživatelské jméno SSH	Zadejte uživatelské jméno SSH. Výchozí název je sshuser.
Heslo SSH	Zadejte uživatelské heslo SSH.
Akce instalace skriptu	Ponechte výchozí hodnotu pro procházení tohoto článku.

Některé vlastnosti jsou v šabloně pevně zakódované: typ clusteru, počet pracovních uzlů clusteru, velikost hraničního uzlu a název hraničního uzlu.

Zkontrolujte , že souhlasím s podmínkami a ujednáními uvedenými výše, a pak výběrem možnosti Koupit vytvořte cluster s hraničním uzlem.

Přidání několika hraničních uzlů

Do clusteru HDInsight můžete přidat několik hraničních uzlů. Konfiguraci několika hraničních uzlů je možné provést pouze pomocí šablon Azure Resource Manageru. Podívejte se na ukázku šablony na začátku tohoto článku. Aktualizujte parametr targetInstanceCount tak, aby odrážel počet hraničních uzlů, které chcete vytvořit.

Přístup k hraničnímu uzlu

Koncový bod ssh hraničního uzlu je <EdgeNodeName>.<ClusterName-ssh.azurehdinsight.net:22>. Například new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

Hraniční uzel se zobrazí jako aplikace na webu Azure Portal. Portál poskytuje informace pro přístup k hraničnímu uzlu pomocí SSH.

Ověření koncového bodu SSH hraničního uzlu

Přihlaste se k portálu Azure Portal.
Otevřete cluster HDInsight s hraničním uzlem.
Vyberte Přihlášky. Uvidíte hraniční uzel. Výchozí název je new-edgenode.
Vyberte hraniční uzel. Zobrazí se koncový bod SSH.

Použití Hivu na hraničním uzlu

Připojení k hraničnímu uzlu pomocí SSH Další informace najdete v tématu Použití SSH se službou HDInsight.
Po připojení k hraničnímu uzlu pomocí SSH otevřete konzolu Hive pomocí následujícího příkazu:
```
hive
```
Spuštěním následujícího příkazu zobrazte tabulky Hive v clusteru:
```
show tables;
```

Odstranění hraničního uzlu

Hraniční uzel můžete odstranit z webu Azure Portal.

Přihlaste se k portálu Azure Portal.
Otevřete cluster HDInsight s hraničním uzlem.
Vyberte Přihlášky. Zobrazí se seznam hraničních uzlů.
Klikněte pravým tlačítkem myši na hraniční uzel, který chcete odstranit, a pak vyberte Odstranit.
Potvrďte výběrem možnosti Ano.

Další kroky

V tomto článku jste se naučili, jak přidat hraniční uzel a jak získat přístup k hraničnímu uzlu. Další informace najdete v těchto článcích:

Instalace aplikací HDInsight: Naučte se instalovat aplikace HDInsight do svých clusterů.
Instalace vlastních aplikací HDInsight: Zjistěte, jak nasadit nepublikovanou aplikaci HDInsight do SLUŽBY HDInsight.
Publikování aplikací HDInsight: Zjistěte, jak publikovat vlastní aplikace HDInsight do obchodu Azure Marketplace.
MSDN: Instalace aplikace HDInsight: Další informace jak definovat aplikace HDInsight.
Přizpůsobení clusterů HDInsight v systému Linux pomocí akce skriptu: další informace o použití akce skriptu k instalaci dalších aplikací.
Vytváření linuxových clusterů Apache Hadoop v HDInsight pomocí šablon Resource Manageru: Zjistěte, jak volat šablony Resource Manageru pro vytváření clusterů HDInsight.