Apache Hadoop-clusters in HDInsight beheren met behulp van Azure PowerShell

  • Artikel

Azure PowerShell kunt u gebruiken om de implementatie en het beheer van uw workloads in Azure te beheren en te automatiseren. In dit artikel leert u hoe u Apache Hadoop-clusters in Azure HDInsight beheert met behulp van de module Azure PowerShell Az. Zie de naslaginformatie over Az.HDInsight voor de lijst met HDInsight PowerShell-cmdlets.

Als u nog geen abonnement op Azure hebt, maak dan een gratis account aan voordat u begint.

Vereisten

Notitie

U wordt aangeraden de Azure Az PowerShell-module te gebruiken om te communiceren met Azure. Zie Azure PowerShell installeren om aan de slag te gaan. Raadpleeg Azure PowerShell migreren van AzureRM naar Az om te leren hoe u naar de Azure PowerShell-module migreert.

De Az-module van PowerShell geïnstalleerd.

Clusters maken

Zie Op Linux gebaseerde clusters maken in HDInsight met behulp van Azure PowerShell

Clusters weergeven

Gebruik de volgende opdracht om alle clusters in het huidige abonnement weer te geven:

Get-AzHDInsightCluster

Cluster weergeven

Gebruik de volgende opdracht om details van een specifiek cluster in het huidige abonnement weer te geven:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Clusters verwijderen

Gebruik de volgende opdracht om een cluster te verwijderen:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

U kunt een cluster ook verwijderen door de resourcegroep te verwijderen die het cluster bevat. Als u een resourcegroep verwijdert, worden alle resources in de groep verwijderd, inclusief het standaardopslagaccount.

Remove-AzResourceGroup -Name <Resource Group Name>

Clusters schalen

Met de functie voor clusterschalen kunt u het aantal werkknooppunten wijzigen dat wordt gebruikt door een cluster dat wordt uitgevoerd in Azure HDInsight zonder dat u het cluster opnieuw hoeft te maken. Als u de grootte van het Hadoop-cluster wilt wijzigen met behulp van Azure PowerShell, voert u de volgende opdracht uit vanaf een clientcomputer:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Zie HDInsight-clusters schalen voor meer informatie over het schalen van clusters.

HTTP-gebruikersreferenties bijwerken

Set-AzHDInsightGatewayCredential stelt de HTTP-referenties voor de gateway van een Azure HDInsight-cluster in.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Het standaardopslagaccount zoeken

Het volgende PowerShell-script laat zien hoe u de standaardnaam van het opslagaccount en de gerelateerde informatie kunt ophalen:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

De resourcegroep zoeken

In de Resource Manager-modus behoort elk HDInsight-cluster tot een Azure-resourcegroep. De resourcegroep zoeken:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Taken verzenden

MapReduce-taken verzenden

Zie De MapReduce-voorbeelden uitvoeren die zijn opgenomen in HDInsight.

Apache Hive-taken verzenden

Zie Apache Hive-query's uitvoeren met behulp van PowerShell.

Apache Sqoop-taken verzenden

Zie Apache Sqoop gebruiken met HDInsight.

Apache Oozie-taken verzenden

Zie Apache Oozie gebruiken met Apache Hadoop om een werkstroom in HDInsight te definiëren en uit te voeren.

Gegevens uploaden naar Azure Blob Storage

Zie Gegevens uploaden naar HDInsight.

Zie ook