Monitorování clusterů HDInsight s využitím protokolů služby Azure Monitor

  • Článek
  • 9 min ke čtení

Naučte se, jak povolit protokoly Azure Monitor pro monitorování operací clusteru Hadoop v HDInsight. A postup přidání řešení pro monitorování HDInsight.

Protokoly Azure monitor jsou služba Azure monitor, která monitoruje cloudové a místní prostředí. Monitorování je udržování jejich dostupnosti a výkonu. Shromažďuje data vygenerovaná prostředky ve vašem cloudu, v místních prostředích a z jiných monitorovacích nástrojů. Data se používají k zajištění analýzy napříč různými zdroji.

Poznámka

Tento článek byl nedávno aktualizován, aby používal Azure Monitor protokoly místo Log Analytics. Data protokolu se pořád ukládají do Log Analyticsho pracovního prostoru a pořád se shromažďují a analyzují pomocí stejné služby Log Analytics. Aktualizujeme terminologii, aby lépe odrážela roli protokolů v Azure monitor. Podrobnosti najdete v tématu Azure monitor změny terminologie .

Pokud předplatné Azure ještě nemáte, napřed si vytvořte bezplatný účet.

Důležité

Nové prostředí Azure Monitor je k dispozici pouze v Východní USA a Západní Evropa jako funkce ve verzi Preview.

Požadavky

  • Pracovní prostor služby Log Analytics. Tento pracovní prostor si můžete představit jako jedinečné Azure Monitor zaprotokolované prostředí s vlastním úložištěm dat, zdroji dat a řešeními. Pokyny najdete v tématu Vytvoření pracovního prostoru Log Analytics.

  • Cluster Azure HDInsight. V současné době můžete použít protokoly Azure Monitor s následujícími typy clusterů HDInsight:

    • Hadoop
    • HBase
    • Interaktivní dotaz
    • Kafka
    • Spark
    • Storm

    Pokyny k vytvoření clusteru HDInsight najdete v tématu Začínáme se službou Azure HDInsight.

  • Pokud používáte PowerShell, budete potřebovat AZ Module. Ujistěte se, že máte nejnovější verzi. V případě potřeby spusťte Update-Module -Name Az .

  • Pokud chcete použít rozhraní příkazového řádku Azure a ještě jste ho nenainstalovali, přečtěte si téma instalace Azure CLI.

Poznámka

Nové prostředí Azure Monitor je k dispozici pouze v Východní USA a Západní Evropa jako funkce ve verzi Preview. Pro lepší výkon doporučujeme umístit cluster HDInsight i Log Analytics pracovní prostor do stejné oblasti. Protokoly Azure Monitor nejsou k dispozici ve všech oblastech Azure.

Povolení Azure Monitor pomocí portálu

V této části nakonfigurujete existující cluster HDInsight Hadoop tak, aby používal pracovní prostor Azure Log Analytics k monitorování úloh, protokolů ladění atd.

  1. Z Azure Portalvyberte svůj cluster. Cluster se otevře na nové stránce portálu.

  2. Vlevo v části monitorování vyberte monitorovat integraci.

  3. V hlavním zobrazení v části Azure monitor pro integraci clusterů HDInsight vyberte Povolit.

  4. V rozevíracím seznamu Vyberte pracovní prostor   Vyberte existující pracovní prostor Log Analytics.

  5. Vyberte Uložit. Uložení nastavení může chvíli trvat.

    Povolit monitorování clusterů HDInsight

Pokud chcete zakázat Azure Monitor, můžete to provést na tomto portálu.

Povolit Azure Monitor pomocí Azure PowerShell

protokoly Azure Monitor můžete povolit pomocí Azure PowerShell rutinu Az module enable-AzHDInsightAzureMonitor .

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Pokud ho chcete zakázat, použijte rutinu Disable-AzHDInsightAzureMonitor :

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Povolení Azure Monitor pomocí rozhraní příkazového řádku Azure

Protokoly Azure Monitor můžete povolit pomocí příkazu rozhraní příkazového řádku Azure CLI az hdinsight azure-monitor enable .

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

K zakázání použijte az hdinsight monitor disable příkaz.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

použití předem připraveného Přehledy HDInsight k monitorování jednoho clusteru

HDInsight poskytuje sešit specifický pro úlohy, který vám pomůže rychle získat přehledy. Tento sešit shromažďuje důležité metriky výkonu z vašeho clusteru HDInsight a poskytuje vizualizace a řídicí panely pro většinu běžných scénářů. Předem připravené přehledy poskytují kompletní pohled na jeden cluster HDInsight, včetně využití prostředků a stavu aplikace.

Dostupné sešity HDInsight:

  • Sešit HDInsight Spark
  • Sešit HDInsight Kafka
  • Sešit HBA v HDInsight
  • Podregistr HDInsight/sešit LLAP
  • Sešit ve službě HDInsight

Snímek obrazovky sparkového sešitu Spark snímku

monitorování více clusterů pomocí Přehledy v měřítku

Můžete se přihlásit Azure Portal a vybrat monitorování. v části Přehledy můžete vybrat centrum Přehledy. Pak můžete najít clustery HDInsight.

V tomto zobrazení můžete monitorovat více clusterů HDInsight na jednom místě. Snímek obrazovky s přehledem monitorování clusteru

Můžete vybrat předplatné a clustery HDInsight, které chcete monitorovat.

  • Monitorované clustery zobrazují počet clusterů, které jste povolili Azure monitor integraci.
  • Nemonitorovaný cluster zobrazuje počet clusterů, které jste nepovolili Azure monitor integraci.

V jednotlivých oddílech se zobrazí seznam podrobných clusterů.

Na kartě Přehled v části monitorované clustery můžete zobrazit typ clusteru, kritické výstrahy a využití prostředků. Snímek obrazovky s výstrahami monitorování clusteru

Clustery můžete zobrazit také v každém typu úlohy, včetně Spark, HBA, podregistru, Kafka a zatížení.

Zobrazí se metriky vysoké úrovně jednotlivých typů úloh, včetně počtu aktivních správců uzlů, počtu spuštěných aplikací atd.

Metrika monitorování clusteru Spark

Konfigurace čítačů výkonu

Azure monitor podporuje shromažďování a analýzu metrik výkonu pro uzly ve vašem clusteru. Další informace najdete v tématu zdroje dat o výkonu pro Linux v Azure monitor.

Auditování clusteru

Služba HDInsight podporuje auditování clusteru s protokoly Azure Monitor importem následujících typů protokolů:

  • log_gateway_audit_CL – Tato tabulka poskytuje protokoly auditu z uzlů brány clusteru, které zobrazují úspěšné a neúspěšné pokusy o přihlášení.
  • log_auth_CL – Tato tabulka poskytuje protokoly SSH s úspěšnými a neúspěšnými pokusy o přihlášení.
  • log_ambari_audit_CL – Tato tabulka poskytuje protokoly auditu z Ambari.
  • log_ranger_audti_CL – Tato tabulka poskytuje protokoly auditu z Apache Ranger v clusterech ESP.

Aktualizace agenta Log Analytics (OMS) používaného integrací HDInsight Azure Monitor

Když je v clusteru povolená Integrace Azure Monitor, agent Log Analytics nebo agent Operations Management Suite (OMS) je nainstalovaný v clusteru a nebude aktualizovaný, pokud nezakážete a znovu povolíte integraci Azure Monitor. Pokud potřebujete aktualizovat agenta OMS v clusteru, proveďte následující kroky. Pokud jste za bránou firewall, před provedením těchto kroků možná budete muset dokončit požadavky na clustery za bránou firewall .

  1. Z Azure Portalvyberte svůj cluster. Cluster se otevře na nové stránce portálu.
  2. Vlevo v části monitorování vyberte Azure monitor.
  3. Poznamenejte si název aktuálního pracovního prostoru Log Analytics.
  4. V hlavním zobrazení v části Azure monitor integrace vypněte přepínač a pak vyberte Uložit.
  5. Až se nastavení uloží, znovu povolte přepínač integrace Azure monitor a ujistěte se, že je vybraný stejný Log Analytics pracovní prostor, a pak vyberte Uložit.

Pokud máte v clusteru povolenou integraci Azure Monitor, aktualizace agenta OMS také aktualizuje verzi Open Management Infrastructure (OMI). Verzi OMI v clusteru můžete ověřit spuštěním následujícího příkazu:

 sudo /opt/omi/bin/omiserver –version

Další kroky