Använda Azure Monitor-loggar för att övervaka HDInsight-kluster

  • Artikel
  • 9 minuter för att läsa

Lär dig hur du aktiverar Azure Monitor för att övervaka Hadoop-klusteråtgärder i HDInsight. Och hur du lägger till en HDInsight-övervakningslösning.

Azure Monitor loggar är Azure Monitor tjänst som övervakar dina molnmiljöer och lokala miljöer. Övervakningen är att upprätthålla deras tillgänglighet och prestanda. Den samlar in data som genereras av resurser i molnet, lokala miljöer och från andra övervakningsverktyg. Data används för att tillhandahålla analys över flera källor.

Anteckning

Den här artikeln har nyligen uppdaterats för användning av term Azure Monitors loggar i stället för Log Analytics. Loggdata lagras fortfarande i en Log Analytics arbets yta och samlas in och analyseras fortfarande av samma Log Analytics-tjänst. Vi uppdaterar terminologin för att bättre avspegla rollen för loggar i Azure Monitor. Se Azure Monitor terminologis ändringar för mer information.

Om du inte har en Azure-prenumeration kan du skapa ett kostnadsfritt konto innan du börjar.

Viktigt

Den Azure Monitor upplevelsen är bara tillgänglig i USA, östra och Europa, västra som en förhandsgranskningsfunktion.

Förutsättningar

  • En Log Analytics-arbetsyta. Du kan se den här arbetsytan som en unik Azure Monitor loggar miljö med en egen datalager, datakällor och lösningar. Anvisningar finns i Skapa en Log Analytics-arbetsyta.

  • Ett Azure HDInsight-kluster. För närvarande kan du använda Azure Monitor-loggar med följande TYPER av HDInsight-kluster:

    • Hadoop
    • HBase
    • Interaktiv fråga
    • Kafka
    • Spark
    • Storm

    Anvisningar om hur du skapar ett HDInsight-kluster finns i Kom igång med Azure HDInsight.

  • Om du använder PowerShell behöver du Az-modulen. Kontrollera att du har den senaste versionen. Om det behövs kör du Update-Module -Name Az .

  • Om du vill använda Azure CLI och inte har installerat det än kan du gå till Installera Azure CLI.

Anteckning

Den Azure Monitor upplevelsen är bara tillgänglig i USA, östra och Europa, västra som en förhandsgranskningsfunktion. Vi rekommenderar att du placerar både HDInsight-klustret och Log Analytics-arbetsytan i samma region för bättre prestanda. Azure Monitor loggar är inte tillgängliga i alla Azure-regioner.

Aktivera Azure Monitor med hjälp av portalen

I det här avsnittet konfigurerar du ett befintligt HDInsight Hadoop-kluster för att använda en Azure Log Analytics-arbetsyta för att övervaka jobb, felsökningsloggar och så vidare.

  1. Från Azure Portalväljer du klustret. Klustret öppnas på en ny portalsida.

  2. Till vänster under Övervakning väljer du Övervaka integrering.

  3. I huvudvyn går du till Azure Monitor för HDInsight-klusterintegrering och väljer Aktivera.

  4. I listrutan Välj en   arbetsyta väljer du en befintlig Log Analytics-arbetsyta.

  5. Välj Spara. Det tar en stund att spara inställningen.

    Aktivera övervakning för HDInsight-kluster

Om du vill inaktivera Azure Monitor kan du göra samma sak i den här portalen.

Aktivera Azure Monitor med Azure PowerShell

Du kan aktivera Azure Monitor-loggar med hjälp Azure PowerShell Az-modulen Enable-AzHDInsightAzureMonitor-cmdlet.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Om du vill inaktivera använder du cmdleten Disable-AzHDInsightAzureMonitor:

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Aktivera Azure Monitor med Azure CLI

Du kan aktivera Azure Monitor loggar med hjälp av Azure az hdinsight azure-monitor enable CLI-kommandot.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Om du vill inaktivera använder du az hdinsight monitor disable kommandot .

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Använda hdinsight out-of-box-Insights för att övervaka ett enskilt kluster

HDInsight tillhandahåller arbetsbelastningsspecifik arbetsbok som hjälper dig att snabbt få insikter. Den här arbetsboken samlar in viktiga prestandamått från ditt HDInsight-kluster och tillhandahåller visualiseringar och instrumentpaneler för de vanligaste scenarierna. De färdiga insikterna ger en fullständig vy över ett enda HDInsight-kluster, inklusive resursanvändning och programstatus.

Tillgängliga HDInsight-arbetsböcker:

  • HDInsight Spark-arbetsbok
  • HDInsight Kafka-arbetsbok
  • HDInsight HBase-arbetsbok
  • HDInsight Hive/LLAP-arbetsbok
  • HDInsight Storm-arbetsbok

Skärmbild av Spark-arbetsbokens Spark-arbetsbok

Använda skalningsbaserade Insights för att övervaka flera kluster

Du kan logga in Azure Portal och välja Övervakning. I avsnittet Insights du välja Insights Hub. Sedan kan du hitta HDInsight-kluster.

I den här vyn kan du övervaka flera HDInsight-kluster på ett och samma ställe. Skärmbild av klusterövervakarinsikter

Du kan välja den prenumeration och de HDInsight-kluster som du vill övervaka.

  • Övervakade kluster visar antalet kluster som du har aktiverat för Azure Monitor integrering.
  • Oövervakat kluster visar antalet kluster som du inte har aktiverat för Azure Monitor integrering.

Du kan se listan med informationskluster i varje avsnitt.

På fliken Översikt under Övervakade kluster kan du se klustertyp, kritiska aviseringar och resursanvändningar. Skärmbild av klusterövervakningsaviseringar

Du kan också se klustren i varje arbetsbelastningstyp, inklusive Spark, HBase, Hive, Kafka och Storm.

Högnivåmått för varje arbetsbelastningstyp visas, inklusive hur många aktiva nodhanterare, hur många program som körs osv.

Spark-mått för klusterövervakning

Konfigurera prestandaräknare

Azure Monitor stöder insamling och analys av prestandamått för noderna i klustret. Mer information finns i Datakällor för Linux-prestanda i Azure Monitor.

Klustergranskning

HDInsight stöder klustergranskning med Azure Monitor-loggar genom att importera följande typer av loggar:

  • log_gateway_audit_CL – den här tabellen innehåller granskningsloggar från klustergatewaynoder som visar lyckade och misslyckade inloggningsförsök.
  • log_auth_CL – den här tabellen innehåller SSH-loggar med lyckade och misslyckade inloggningsförsök.
  • log_ambari_audit_CL – den här tabellen innehåller granskningsloggar från Ambari.
  • log_ranger_audti_CL – den här tabellen innehåller granskningsloggar från Apache Ranger på ESP-kluster.

Uppdatera Log Analytics-agenten (OMS) som används av HDInsight Azure Monitor-integrering

När Azure Monitor integrering har aktiverats i ett kluster installeras Log Analytics-agenten eller OMS-agenten (Operations Management Suite) i klustret och uppdateras inte om du inte inaktiverar och återaktiverar Azure Monitor integrering. Utför följande steg om du behöver uppdatera OMS-agenten i klustret. Om du är bakom en brandvägg kan du behöva slutföra kraven för kluster bakom en brandvägg innan du slutför de här stegen.

  1. Från Azure Portalväljer du klustret. Klustret öppnas på en ny portalsida.
  2. Till vänster under Övervakning väljer du Azure Monitor.
  3. Anteckna namnet på din aktuella Log Analytics-arbetsyta.
  4. I huvudvyn, under Azure Monitor integration, inaktiverar du växlingsknappen och väljer sedan Spara.
  5. När inställningen har sparats aktiverar du Azure Monitor-integrering och ser till att samma Log Analytics-arbetsyta är markerad och väljer sedan Spara.

Om du har Azure Monitor integration aktiverat på ett kluster kommer uppdatering av OMS-agenten också att uppdatera OMI-versionen (Open Management Infrastructure). Du kan kontrollera OMI-versionen i klustret genom att köra följande kommando:

 sudo /opt/omi/bin/omiserver –version

Nästa steg