Správa clusterů Apache Hadoop ve službě HDInsight pomocí Azure PowerShell

  • Článek

Azure PowerShell můžete použít k řízení a automatizaci nasazení a správy úloh v Azure. V tomto článku se dozvíte, jak spravovat clustery Apache Hadoop ve službě Azure HDInsight pomocí modulu Azure PowerShell Az. Seznam rutin prostředí HDInsight PowerShell najdete v referenčních informacích k Az.HDInsight.

Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet.

Požadavky

Poznámka

K interakci s Azure doporučujeme použít modul Azure Az PowerShell. Začněte tím, že si projdete téma Instalace Azure PowerShellu. Informace o tom, jak migrovat na modul Az PowerShell, najdete v tématu Migrace Azure PowerShellu z AzureRM na Az.

Nainstalovaný modul Az v PowerShellu .

Vytváření clusterů

Viz Vytváření clusterů založených na Linuxu ve službě HDInsight pomocí Azure PowerShell

Výpis clusterů

Pomocí následujícího příkazu zobrazte seznam všech clusterů v aktuálním předplatném:

Get-AzHDInsightCluster

Zobrazit cluster

Pomocí následujícího příkazu zobrazte podrobnosti o konkrétním clusteru v aktuálním předplatném:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Odstranění clusterů

Pomocí následujícího příkazu odstraňte cluster:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Cluster můžete také odstranit odebráním skupiny prostředků, která cluster obsahuje. Odstraněním skupiny prostředků se odstraní všechny prostředky ve skupině včetně výchozího účtu úložiště.

Remove-AzResourceGroup -Name <Resource Group Name>

Škálování clusterů

Funkce škálování clusteru umožňuje změnit počet pracovních uzlů používaných clusterem, který běží ve službě Azure HDInsight, aniž byste museli cluster znovu vytvářet. Pokud chcete změnit velikost clusteru Hadoop pomocí Azure PowerShell, spusťte z klientského počítače následující příkaz:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Další informace o škálování clusterů najdete v tématu Škálování clusterů HDInsight.

Aktualizace přihlašovacích údajů uživatele HTTP

Set-AzHDInsightGatewayCredential nastaví přihlašovací údaje HTTP brány clusteru Azure HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Vyhledání výchozího účtu úložiště

Následující skript PowerShellu ukazuje, jak získat výchozí název účtu úložiště a související informace:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Vyhledání skupiny prostředků

V režimu Resource Manager patří každý cluster HDInsight do skupiny prostředků Azure. Vyhledání skupiny prostředků:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Odeslat úlohy

Odeslání úloh MapReduce

Viz Spuštění příkladů MapReduce zahrnutých ve službě HDInsight.

Odeslání úloh Apache Hivu

Viz Spouštění dotazů Apache Hive pomocí PowerShellu.

Odeslání úloh Apache Sqoop

Viz Použití Apache Sqoop se službou HDInsight.

Odeslání úloh Apache Oozie

Informace o definování a spuštění pracovního postupu ve službě HDInsight najdete v tématu Použití Apache Oozie s Apache Hadoopem.

Nahrání dat do úložiště objektů blob v Azure

Viz Nahrání dat do služby HDInsight.

Viz také