Apache Hadoop-fürtök kezelése a HDInsightban a Azure PowerShell használatával
Azure PowerShell a számítási feladatok Azure-beli üzembe helyezésének és felügyeletének szabályozására és automatizálására használható. Ebből a cikkből megtudhatja, hogyan kezelheti az Apache Hadoop-fürtöket az Azure HDInsightban az Azure PowerShell Az modul használatával. A HDInsight PowerShell-parancsmagok listájáért tekintse meg az Az.HDInsight-referenciát.
Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot.
Előfeltételek
Megjegyzés
Javasoljuk, hogy az Azure Az PowerShell-modullal kommunikáljon az Azure-ral. Az első lépésekhez tekintse meg az Azure PowerShell telepítését ismertető szakaszt. Az Az PowerShell-modulra történő migrálás részleteiről lásd: Az Azure PowerShell migrálása az AzureRM modulból az Az modulba.
A Telepített PowerShell Az modul .
Fürtök létrehozása
Lásd: Linux-alapú fürtök létrehozása a HDInsightban Azure PowerShell használatával
Fürtök listázása
Az alábbi paranccsal listázhatja az aktuális előfizetésben lévő összes fürtöt:
Get-AzHDInsightCluster
Fürt megjelenítése
Az alábbi paranccsal megjelenítheti egy adott fürt részleteit az aktuális előfizetésben:
Get-AzHDInsightCluster -ClusterName <Cluster Name>
Fürtök törlése
Fürt törléséhez használja a következő parancsot:
Remove-AzHDInsightCluster -ClusterName <Cluster Name>
A fürtöt a fürtöt tartalmazó erőforráscsoport eltávolításával is törölheti. Az erőforráscsoport törlése törli a csoport összes erőforrását, beleértve az alapértelmezett tárfiókot is.
Remove-AzResourceGroup -Name <Resource Group Name>
Fürtök skálázása
A fürtskálázási funkció lehetővé teszi az Azure HDInsightban futó fürtök által használt munkavégző csomópontok számának módosítását anélkül, hogy újra létre kellene hoznia a fürtöt. A Hadoop-fürt méretének Azure PowerShell használatával történő módosításához futtassa a következő parancsot egy ügyfélszámítógépről:
Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>
A fürtök skálázásával kapcsolatos további információkért lásd: HDInsight-fürtök méretezése.
HTTP-felhasználói hitelesítő adatok frissítése
A Set-AzHDInsightGatewayCredential beállítja egy Azure HDInsight-fürt átjáróJÁNAK HTTP-hitelesítő adatait.
$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"
Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential
Az alapértelmezett tárfiók megkeresése
A következő PowerShell-szkript bemutatja, hogyan szerezheti be az alapértelmezett tárfióknevet és a kapcsolódó információkat:
#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"
$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]
echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"
if ($defaultStoreageType -eq "blob")
{
$defaultBlobContainerName = $cluster.DefaultStorageContainer
$defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
$defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey
echo "Default Blob container name: $defaultBlobContainerName"
echo "Default Storage account key: $defaultStorageAccountKey"
}
Az erőforráscsoport megkeresése
A Resource Manager módban minden HDInsight-fürt egy Azure-erőforráscsoporthoz tartozik. Az erőforráscsoport megkeresése:
$clusterName = "<HDInsight Cluster Name>"
$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup
Feladatok elküldése
MapReduce-feladatok elküldése
Lásd : A HDInsightban található MapReduce-példák futtatása.
Apache Hive-feladatok elküldése
Lásd: Apache Hive-lekérdezések futtatása a PowerShell használatával.
Apache Sqoop-feladatok elküldése
Lásd: Az Apache Sqoop használata a HDInsighttal.
Apache Oozie-feladatok elküldése
Adatok feltöltése az Azure Blob Storage-ba
Lásd: Adatok feltöltése a HDInsightba.