Verwenden von Azure Monitor-Protokollen zum Überwachen von HDInsight-ClusternUse Azure Monitor logs to monitor HDInsight clusters

Erfahren Sie, wie Sie Azure Monitor-Protokolle für die Überwachung von Hadoop-Clustervorgängen in HDInsight aktivieren und eine HDInsight-Überwachungslösung hinzufügen.Learn how to enable Azure Monitor logs to monitor Hadoop cluster operations in HDInsight, and how to add an HDInsight monitoring solution.

Azure Monitor-Protokolle ist ein Dienst in Azure Monitor, der Ihre cloudbasierten und lokalen Umgebungen überwacht, um deren Verfügbarkeit und Leistung sicherzustellen.Azure Monitor logs is a service in Azure Monitor that monitors your cloud and on-premises environments to maintain their availability and performance. Er sammelt Daten, die von Ressourcen in Ihren cloudbasierten und lokalen Umgebungen sowie von anderen Überwachungstools generiert werden, um Analysen für mehrere Quellen zu ermöglichen.It collects data generated by resources in your cloud and on-premises environments and from other monitoring tools to provide analysis across multiple sources.

Hinweis

Dieser Artikel wurde kürzlich aktualisiert, um den Begriff Azure Monitor-Protokolle anstelle von Log Analytics aufzunehmen.This article was recently updated to use the term Azure Monitor logs instead of Log Analytics. Protokolldaten werden immer noch in einem Log Analytics-Arbeitsbereich gespeichert und weiterhin mit dem gleichen Log Analytics-Dienst erfasst und analysiert.Log data is still stored in a Log Analytics workspace and is still collected and analyzed by the same Log Analytics service. Die Terminologie hat sich geändert, um der Rolle von Protokollen in Azure Monitor besser Rechnung zu tragen.We are updating the terminology to better reflect the role of logs in Azure Monitor. Weitere Informationen finden Sie unter Terminologieänderungen bei Azure Monitor.See Azure Monitor terminology changes for details.

Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.If you don't have an Azure subscription, create a free account before you begin.

VoraussetzungenPrerequisites

Hinweis

Es wird empfohlen, sowohl den HDInsight-Cluster als auch den Log Analytics-Arbeitsbereich in derselben Region anzuordnen, um die Leistung zu erhöhen.It is recommended to place both the HDInsight cluster and the Log Analytics workspace in the same region for better performance. Azure Monitor-Protokolle sind nicht in allen Azure-Regionen verfügbar.Azure Monitor logs is not available in all Azure regions.

Aktivieren von Azure Monitor-Protokollen im Azure-PortalEnable Azure Monitor logs by using the portal

In diesem Abschnitt konfigurieren Sie einen vorhandenen HDInsight Hadoop-Cluster zur Verwendung eines Azure Log Analytics-Arbeitsbereichs zum Überwachen von Aufträgen, Debugprotokollen usw.In this section, you configure an existing HDInsight Hadoop cluster to use an Azure Log Analytics workspace to monitor jobs, debug logs, etc.

  1. Wählen Sie im Azure-Portal Ihren Cluster aus.From the Azure portal, select your cluster. Anweisungen dazu finden Sie unter Auflisten und Anzeigen von Clustern.See List and show clusters for the instructions. Der Cluster wird auf einer neuen Portalseite geöffnet.The cluster is opened in a new portal page.

  2. Wählen Sie links unter Überwachung die Option Operations Management Suite aus.From the left, under Monitoring, select Operations Management Suite.

  3. Wählen Sie in der Hauptansicht unter OMS-Überwachung die Option Aktivieren aus.From the main view, under OMS Monitoring, select Enable.

  4. Wählen Sie in der Dropdownliste Arbeitsbereich auswählen einen vorhandenen Log Analytics-Arbeitsbereich aus.From the Select a workspace drop-down list, select an existing Log Analytics workspace.

  5. Wählen Sie Speichern aus.Select Save. Das Speichern der Einstellung dauert einige Zeit.It takes a few moments to save the setting.

    Aktivieren der Überwachung für HDInsight-ClusterEnable monitoring for HDInsight clusters

Aktivieren von Azure Monitor-Protokollen mit der Azure PowerShellEnable Azure Monitor logs by using Azure PowerShell

Sie können die Azure Monitor-Protokolle im Azure PowerShell Az-Modul mit dem Cmdlet Enable-AzHDInsightOperationsManagementSuite aktivieren.You can enable Azure Monitor logs using the Azure PowerShell Az module Enable-AzHDInsightOperationsManagementSuite cmdlet.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace -ResourceGroupName $resourceGroup -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace -ResourceGroupName $resourceGroup -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables Operations Management Suite
Enable-AzHDInsightOperationsManagementSuite -ResourceGroupName $resourceGroup -Name $cluster -WorkspaceId $WorkspaceId -PrimaryKey $PrimaryKey

Zum Deaktivieren verwenden Sie das Cmdlet Disable-AzHDInsightOperationsManagementSuite:To disable, the use the Disable-AzHDInsightOperationsManagementSuite cmdlet:

Disable-AzHDInsightOperationsManagementSuite -Name "<your-cluster>"

Installieren von HDInsight-ClusterverwaltungslösungenInstall HDInsight cluster management solutions

HDInsight bietet clusterspezifische Verwaltungslösungen, die Sie zu Azure Monitor-Protokollen hinzufügen können.HDInsight provides cluster-specific management solutions that you can add for Azure Monitor logs. Verwaltungslösungen erweitern den Funktionsumfang von Azure Monitor-Protokollen und stellen zusätzliche Daten und Analysetools bereit.Management solutions add functionality to Azure Monitor logs, providing additional data and analysis tools. Diese Lösungen sammeln wichtige Leistungsmetriken aus Ihrem HDInsight-Cluster und stellen die Tools bereit, um die Metriken zu durchsuchen.These solutions collect important performance metrics from your HDInsight clusters and provide the tools to search the metrics. Außerdem bieten diese Lösungen Visualisierungen und Dashboards für die meisten in HDInsight unterstützten Clustertypen.These solutions also provide visualizations and dashboards for most cluster types supported in HDInsight. Anhand der mit der Lösung erfassten Kennzahlen können Sie benutzerdefinierte Überwachungsregeln und -warnungen erstellen.By using the metrics that you collect with the solution, you can create custom monitoring rules and alerts.

Dies sind die verfügbaren HDInsight-Lösungen:These are the available HDInsight solutions:

  • HDInsight Hadoop-ÜberwachungHDInsight Hadoop Monitoring
  • HDInsight HBase-ÜberwachungHDInsight HBase Monitoring
  • HDInsight Interactive Query-ÜberwachungHDInsight Interactive Query Monitoring
  • HDInsight Kafka-ÜberwachungHDInsight Kafka Monitoring
  • HDInsight Spark-ÜberwachungHDInsight Spark Monitoring
  • HDInsight Storm-ÜberwachungHDInsight Storm Monitoring

Die Anleitung zum Installieren einer Verwaltungslösung finden Sie unter Verwaltungslösungen in Azure.For the instructions to install a management solution, see Management solutions in Azure. Installieren Sie zum Experimentieren eine HDInsight Hadoop-Überwachungslösung.To experiment, install a HDInsight Hadoop Monitoring solution. Wenn der Vorgang abgeschlossen ist, wird unter Zusammenfassung die Kachel HDInsightHadoop angezeigt.When it is done, you see an HDInsightHadoop tile listed under Summary. Wählen Sie die Kachel HDInsightHadoop aus.Select the HDInsightHadoop tile. Die HDInsightHadoop-Lösung sieht wie folgt aus:The HDInsightHadoop solution looks like:

HDInsight-Überwachungslösung – Ansicht

Im Bericht werden keine Aktivitäten angezeigt, da es sich um einen brandneuen Cluster handelt.Because the cluster is a brand new cluster, the report doesn't show any activities.

Nächste SchritteNext steps