Zarządzanie klastrami Apache Hadoop w usłudze HDInsight przy użyciu Azure PowerShell

  • Artykuł

Azure PowerShell można użyć do kontrolowania i automatyzowania wdrażania i zarządzania obciążeniami na platformie Azure. W tym artykule dowiesz się, jak zarządzać klastrami Apache Hadoop w usłudze Azure HDInsight przy użyciu modułu Azure PowerShell Az. Listę poleceń cmdlet programu PowerShell usługi HDInsight można znaleźć w dokumentacji modułu Az.HDInsight.

Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto.

Wymagania wstępne

Uwaga

Zalecamy korzystanie z modułu Azure Az programu PowerShell do interakcji z platformą Azure. Zobacz Instalowanie programu Azure PowerShell, aby rozpocząć. Aby dowiedzieć się, jak przeprowadzić migrację do modułu Az PowerShell, zobacz Migracja programu Azure PowerShell z modułu AzureRM do modułu Az.

Zainstalowany moduł Az programu PowerShell.

Tworzenie klastrów

Zobacz Tworzenie klastrów opartych na systemie Linux w usłudze HDInsight przy użyciu Azure PowerShell

Wyświetlanie listy klastrów

Użyj następującego polecenia, aby wyświetlić listę wszystkich klastrów w bieżącej subskrypcji:

Get-AzHDInsightCluster

Pokaż klaster

Użyj następującego polecenia, aby wyświetlić szczegóły określonego klastra w bieżącej subskrypcji:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Usuwanie klastrów

Użyj następującego polecenia, aby usunąć klaster:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Klaster można również usunąć, usuwając grupę zasobów zawierającą klaster. Usunięcie grupy zasobów powoduje usunięcie wszystkich zasobów w grupie, w tym domyślnego konta magazynu.

Remove-AzResourceGroup -Name <Resource Group Name>

Skalowanie klastrów

Funkcja skalowania klastra umożliwia zmianę liczby węzłów roboczych używanych przez klaster działający w usłudze Azure HDInsight bez konieczności ponownego tworzenia klastra. Aby zmienić rozmiar klastra hadoop przy użyciu Azure PowerShell, uruchom następujące polecenie z komputera klienckiego:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Aby uzyskać więcej informacji na temat skalowania klastrów, zobacz Skalowanie klastrów usługi HDInsight.

Aktualizowanie poświadczeń użytkownika HTTP

Set-AzHDInsightGatewayCredential ustawia poświadczenia HTTP bramy klastra usługi Azure HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Znajdowanie domyślnego konta magazynu

Poniższy skrypt programu PowerShell pokazuje, jak uzyskać domyślną nazwę konta magazynu i powiązane informacje:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Znajdowanie grupy zasobów

W trybie Resource Manager każdy klaster usługi HDInsight należy do grupy zasobów platformy Azure. Aby znaleźć grupę zasobów:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Przesyłanie zadań

Aby przesłać zadania MapReduce

Zobacz Uruchamianie przykładów usługi MapReduce zawartych w usłudze HDInsight.

Aby przesłać zadania apache Hive

Zobacz Uruchamianie zapytań apache Hive przy użyciu programu PowerShell.

Aby przesłać zadania platformy Apache Sqoop

Zobacz Używanie narzędzia Apache Sqoop z usługą HDInsight.

Aby przesłać zadania apache Oozie

Zobacz Definiowanie i uruchamianie przepływu pracy w usłudze HDInsight przy użyciu usługi Apache Oozie z usługą Apache Hadoop.

Przekazywanie danych do usługi Azure Blob Storage

Zobacz Przekazywanie danych do usługi HDInsight.

Zobacz też