Använda Azure Monitor-loggar för att övervaka HDInsight-kluster

  • Artikel
  • 9 minuter för att läsa

Lär dig hur du aktiverar Azure Monitor-loggar för att övervaka Hadoop-klusteråtgärder i HDInsight. Och hur du lägger till en HDInsight-övervakningslösning.

Azure Monitor-loggar är en Azure Monitor-tjänst som övervakar dina molnbaserade och lokala miljöer. Övervakningen är att upprätthålla deras tillgänglighet och prestanda. Den samlar in data som genereras av resurser i molnet, lokala miljöer och från andra övervakningsverktyg. Data används för att tillhandahålla analys över flera källor.

Anteckning

Den här artikeln har nyligen uppdaterats för att använda termen Azure Monitor-loggar i stället för Log Analytics. Loggdata lagras fortfarande på en Log Analytics-arbetsyta och samlas fortfarande in och analyseras av samma Log Analytics-tjänst. Vi uppdaterar terminologin för att bättre återspegla loggarnas roll i Azure Monitor. Mer information finns i Terminologiändringar i Azure Monitor .

Om du inte har en Azure-prenumeration kan du skapa ett kostnadsfritt konto innan du börjar.

Viktigt

Azure Monitor-upplevelsen är bara tillgänglig som förhandsgranskningsfunktion i USA, östra samt Europa, västra.

Förutsättningar

  • En Log Analytics-arbetsyta. Du kan betrakta den här arbetsytan som en unik Azure Monitor-loggmiljö med en egen datalagringsplats, datakällor och lösningar. Anvisningarna finns i Skapa en Log Analytics-arbetsyta.

  • Ett Azure HDInsight-kluster. För närvarande kan du använda Azure Monitor-loggar med följande HDInsight-klustertyper:

    • Hadoop
    • HBase
    • Interaktiv fråga
    • Kafka
    • Spark
    • Storm

    Anvisningar om hur du skapar ett HDInsight-kluster finns i Kom igång med Azure HDInsight.

  • Om du använder PowerShell behöver du Az-modulen. Kontrollera att du har den senaste versionen. Om det behövs kör du Update-Module -Name Az.

  • Om du vill använda Azure CLI och du ännu inte har installerat det kan du läsa Installera Azure CLI.

Anteckning

Azure Monitor-upplevelsen är bara tillgänglig som förhandsgranskningsfunktion i USA, östra samt Europa, västra. Vi rekommenderar att du placerar både HDInsight-klustret och Log Analytics-arbetsytan i samma region för bättre prestanda. Azure Monitor-loggar är inte tillgängliga i alla Azure-regioner.

Aktivera Azure Monitor med hjälp av portalen

I det här avsnittet konfigurerar du ett befintligt HDInsight Hadoop-kluster för att använda en Azure Log Analytics-arbetsyta för att övervaka jobb, felsökningsloggar och så vidare.

  1. Välj ditt kluster från Azure Portal. Klustret öppnas i en ny portalsida.

  2. Välj Övervakningsintegrering under Övervakning till vänster.

  3. I huvudvyn går du till Azure Monitor for HDInsight Clusters Integration (Azure Monitor för HDInsight-klusterintegrering) och väljer Aktivera.

  4. I listrutan Välj en arbetsyta väljer du en befintlig Log Analytics-arbetsyta.

  5. Välj Spara. Det tar en stund att spara inställningen.

    Aktivera övervakning för HDInsight-kluster

Om du vill inaktivera Azure Monitor kan du göra samma sak i den här portalen.

Aktivera Azure Monitor med hjälp av Azure PowerShell

Du kan aktivera Azure Monitor-loggar med hjälp av cmdleten Azure PowerShell Az-modulen Enable-AzHDInsightAzureMonitor.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Om du vill inaktivera använder du cmdleten Disable-AzHDInsightAzureMonitor :

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Aktivera Azure Monitor med Azure CLI

Du kan aktivera Azure Monitor-loggar med hjälp av Azure CLI-kommandot az hdinsight azure-monitor enable .

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Om du vill inaktivera använder du az hdinsight monitor disable kommandot .

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Använda färdiga HDInsight-insikter för att övervaka ett enda kluster

HDInsight tillhandahåller en arbetsbelastningsspecifik arbetsbok som hjälper dig att snabbt få insikter. Den här arbetsboken samlar in viktiga prestandamått från ditt HDInsight-kluster och tillhandahåller visualiseringar och instrumentpaneler för de vanligaste scenarierna. De färdiga insikterna ger en fullständig vy över ett enda HDInsight-kluster, inklusive resursanvändning och programstatus.

Tillgängliga HDInsight-arbetsböcker:

  • HDInsight Spark-arbetsbok
  • HDInsight Kafka-arbetsbok
  • HDInsight HBase-arbetsbok
  • HDInsight Hive/LLAP-arbetsbok
  • HDInsight Storm-arbetsbok

Skärmbild av Spark-arbetsbok – Spark-arbetsbok – skärmbild

Använda insikter i stor skala för att övervaka flera kluster

Du kan logga in på Azure Portal och välja Övervakning. I avsnittet Insikter kan du välja Insights Hub. Sedan kan du hitta HDInsight-kluster.

I den här vyn kan du övervaka flera HDInsight-kluster på ett och samma ställe. Skärmbild av klusterövervakarens insikter

Du kan välja den prenumeration och de HDInsight-kluster som du vill övervaka.

  • Övervakade kluster visar antalet kluster som du har aktiverat Azure Monitor-integrering.
  • Oövervakat kluster visar antalet kluster som du inte har aktiverat Azure Monitor-integrering.

Du kan se listan med informationskluster i varje avsnitt.

På fliken Översikt under Övervakade kluster kan du se klustertyp, kritiska aviseringar och resursutnyttjanden. Skärmbild av klusterövervakningsaviseringar

Du kan också se klustren i varje arbetsbelastningstyp, inklusive Spark, HBase, Hive, Kafka och Storm.

De övergripande måtten för varje arbetsbelastningstyp visas, inklusive hur många aktiva nodhanterare, hur många program som körs osv.

Spark-mått för klusterövervakare

Konfigurera prestandaräknare

Azure Monitor stöder insamling och analys av prestandamått för noderna i klustret. Mer information finns i Datakällor för Linux-prestanda i Azure Monitor.

Klustergranskning

HDInsight stöder klustergranskning med Azure Monitor-loggar genom att importera följande typer av loggar:

  • log_gateway_audit_CL – Den här tabellen innehåller granskningsloggar från klustergatewaynoder som visar lyckade och misslyckade inloggningsförsök.
  • log_auth_CL – Den här tabellen innehåller SSH-loggar med lyckade och misslyckade inloggningsförsök.
  • log_ambari_audit_CL – Den här tabellen innehåller granskningsloggar från Ambari.
  • log_ranger_audti_CL – Den här tabellen innehåller granskningsloggar från Apache Ranger på ESP-kluster.

Uppdatera Log Analytics-agenten (OMS) som används av HDInsight Azure Monitor-integrering

När Azure Monitor-integrering är aktiverat i ett kluster installeras Log Analytics-agenten eller Operations Management Suite-agenten (OMS) i klustret och uppdateras inte om du inte inaktiverar och återaktiverar Azure Monitor-integrering. Utför följande steg om du behöver uppdatera OMS-agenten i klustret. Om du är bakom en brandvägg kan du behöva slutföra kraven för kluster bakom en brandvägg innan du slutför de här stegen.

  1. Välj ditt kluster från Azure Portal. Klustret öppnas i en ny portalsida.
  2. Till vänster under Övervakning väljer du Azure Monitor.
  3. Anteckna namnet på din aktuella Log Analytics-arbetsyta.
  4. I huvudvyn, under Azure Monitor-integrering, inaktiverar du växlingsknappen och väljer sedan Spara.
  5. När inställningen har sparats återaktiverar du växlingsknappen För Azure Monitor-integrering och kontrollerar att samma Log Analytics-arbetsyta är markerad och väljer sedan Spara.

Om du har Azure Monitor-integrering aktiverat i ett kluster kommer uppdatering av OMS-agenten också att uppdatera omi-versionen (Open Management Infrastructure). Du kan kontrollera OMI-versionen i klustret genom att köra följande kommando:

 sudo /opt/omi/bin/omiserver –version

Nästa steg