Verwenden von Azure Monitor-Protokollen zum Überwachen von HDInsight-Clustern

  • Artikel

In diesem Artikel erfahren Sie, wie Sie Azure Monitor-Protokolle zum Überwachen von Hadoop-Clustervorgängen in HDInsight verwenden. Außerdem erfahren Sie, wie Sie eine HDInsight-Überwachungslösung hinzufügen.

Bei Azure Monitor-Protokollen handelt es sich um einen Azure Monitor-Dienst, der Ihre Cloud- und lokalen Umgebungen überwacht. Die Überwachung dient der Aufrechterhaltung der Verfügbarkeit und Leistung Ihrer Umgebungen. Der Dienst sammelt Daten, die von Ressourcen in Ihrer Cloud- und in Ihrer lokalen Umgebung generiert werden, sowie von anderen Überwachungstools. Die Daten werden verwendet, um Analysen für mehrere Quellen bereitstellen zu können.

Hinweis

Dieser Artikel wurde kürzlich aktualisiert, um den Begriff Azure Monitor-Protokolle anstelle von Log Analytics aufzunehmen. Protokolldaten werden immer noch in einem Log Analytics-Arbeitsbereich gespeichert und weiterhin mit dem gleichen Log Analytics-Dienst erfasst und analysiert. Die Terminologie hat sich geändert, um der Rolle von Protokollen in Azure Monitor besser Rechnung zu tragen. Weitere Informationen finden Sie unter Terminologieänderungen bei Azure Monitor.

Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.

Wichtig

Die neue Azure Monitor-Benutzeroberfläche ist in allen Regionen als Previewfunktion verfügbar.

Voraussetzungen

  • Einen Log Analytics-Arbeitsbereich Sie können sich diesen Arbeitsbereich als einzigartige Azure Monitor-Protokollumgebung mit eigenem Datenrepository, eigenen Datenquellen und eigenen Lösungen vorstellen. Eine Anleitung hierzu finden Sie unter Erste Schritte mit einem Log Analytics-Arbeitsbereich.

  • Ein Azure HDInsight-Cluster. Derzeit können Sie Azure Monitor-Protokolle mit den folgenden HDInsight-Clustertypen verwenden:

    • Hadoop
    • hbase
    • Interactive Query
    • Kafka
    • Spark

    Anweisungen zum Erstellen von HDInsight-Clustern finden Sie unter Hadoop-Tutorial: Erste Schritte bei der Verwendung von Hadoop in HDInsight.

  • Bei Verwendung von PowerShell benötigen Sie das Az-Modul. Stellen Sie sicher, dass Sie über die aktuelle Version verfügen. Führen Sie gegebenenfalls Update-Module -Name Az aus.

  • Wenn Sie die Azure-Befehlszeilenschnittstelle verwenden möchten, diese aber noch nicht installiert haben, lesen Sie Installieren der Azure CLI.

Hinweis

Die neue Azure Monitor-Benutzeroberfläche ist in allen Regionen nur als Previewfunktion verfügbar. Es wird empfohlen, sowohl den HDInsight-Cluster als auch den Log Analytics-Arbeitsbereich in derselben Region anzuordnen, um die Leistung zu erhöhen.

Aktivieren von Azure Monitor über das Portal

In diesem Abschnitt konfigurieren Sie einen vorhandenen HDInsight Hadoop-Cluster zur Verwendung eines Azure Log Analytics-Arbeitsbereichs, z. B. zum Überwachen von Aufträgen und Debugprotokollen.

  1. Wählen Sie im Azure-Portal Ihren Cluster aus. Der Cluster wird auf einer neuen Portalseite geöffnet.

  2. Wählen Sie links unter „Überwachung“ die Monitor-Integration aus.

  3. Wählen Sie in der Hauptansicht unter Azure Monitor für HDInsight-Clusterintegration die Option Aktivieren aus.

  4. Wählen Sie in der Dropdownliste Arbeitsbereich auswählen einen vorhandenen Log Analytics-Arbeitsbereich aus.

  5. Wählen Sie Speichern aus. Das Speichern der Einstellung dauert einige Zeit.

    Enable monitoring for HDInsight clusters.

Wenn Sie Azure Monitor deaktivieren möchten, können Sie dies auch in diesem Portal tun.

Aktivieren von Azure Monitor mit Azure PowerShell

Sie können die Azure Monitor-Protokolle im Azure PowerShell Az-Modul mit dem Cmdlet Enable-AzHDInsightAzureMonitor aktivieren.

# Enter user information
$resourceGroup = "<your-resource-group>"
$cluster = "<your-cluster>"
$LAW = "<your-Log-Analytics-workspace>"
# End of user input

# obtain workspace id for defined Log Analytics workspace
$WorkspaceId = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW).CustomerId

# obtain primary key for defined Log Analytics workspace
$PrimaryKey = (Get-AzOperationalInsightsWorkspace `
                    -ResourceGroupName $resourceGroup `
                    -Name $LAW | Get-AzOperationalInsightsWorkspaceSharedKeys).PrimarySharedKey

# Enables monitoring and relevant logs will be sent to the specified workspace.
Enable-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster `
    -WorkspaceId $WorkspaceId `
    -PrimaryKey $PrimaryKey

# Gets the status of monitoring installation on the cluster.
Get-AzHDInsightAzureMonitor `
    -ResourceGroupName $resourceGroup `
    -ClusterName $cluster

Zum Deaktivieren verwenden Sie das Cmdlet Disable-AzHDInsightAzureMonitor:

Disable-AzHDInsightAzureMonitor -ResourceGroupName $resourceGroup `
-ClusterName $cluster

Aktivieren von Azure Monitor mit der Azure-Befehlszeilenschnittstelle

Sie können Azure Monitor-Protokolle mit dem Azure CLI-Befehl az hdinsight azure-monitor enable aktivieren.

# set variables
export resourceGroup=RESOURCEGROUPNAME
export cluster=CLUSTERNAME
export LAW=LOGANALYTICSWORKSPACENAME

# Enable the Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor enable --name $cluster --resource-group $resourceGroup --workspace $LAW

# Get the status of Azure Monitor logs integration on an HDInsight cluster.
az hdinsight azure-monitor show --name $cluster --resource-group $resourceGroup

Zum Deaktivieren verwenden Sie den Befehl az hdinsight monitor disable.

az hdinsight azure-monitor disable --name $cluster --resource-group $resourceGroup

Verwenden der sofort einsatzbereiten HDInsight-Erkenntnisse zum Überwachen eines einzelnen Clusters

HDInsight bietet workloadspezifische Arbeitsmappen, mit denen Sie schnell Erkenntnisse gewinnen können. Diese Arbeitsmappe erfasst wichtige Leistungsmetriken aus Ihrem HDInsight-Cluster und stellt die Visualisierungen und Dashboards für die gängigsten Szenarien bereit. Die vordefinierten Erkenntnisse bieten eine vollständige Ansicht eines einzelnen HDInsight-Clusters, einschließlich Ressourcennutzung und Anwendungsstatus.

Verfügbare HDInsight-Arbeitsmappen:

  • HDInsight Spark-Arbeitsmappe
  • HDInsight Kafka-Arbeitsmappe
  • HDInsight HBase-Arbeitsmappe
  • HDInsight Hive/LLAP-Arbeitsmappe

Screenshot der Spark-Arbeitsmappe Spark workbook screenshot.

Konfigurieren von Leistungsindikatoren

Azure Monitor unterstützt das Sammeln und Analysieren von Leistungsmetriken für die Knoten in Ihrem Cluster. Weitere Informationen finden Sie unter Leistungsindikatoren von Linux.

Clusterüberwachung

HDInsight unterstützt die Clusterüberwachung mit Azure Monitor-Protokollen, indem die folgenden Protokolltypen importiert werden:

  • log_gateway_audit_CL: Diese Tabelle enthält Überwachungsprotokolle von Clustergatewayknoten, in denen erfolgreiche und fehlerhafte Anmeldeversuche aufgezeichnet sind.
  • log_auth_CL: Diese Tabelle enthält SSH-Protokolle mit erfolgreichen und fehlerhaften Anmeldeversuchen.
  • log_ambari_audit_CL: Diese Tabelle enthält Überwachungsprotokolle von Ambari.
  • log_ranger_audti_CL: Diese Tabelle enthält Überwachungsprotokolle von Apache Ranger auf Clustern mit Enterprise-Sicherheitspaket.

Aktualisieren des von der HDInsight Azure Monitor Integration verwendeten Log Analytics-Agents (OMS)

Wenn Azure Monitor Integration in einem Cluster aktiviert ist, wird der Log Analytics-Agent oder OMS-Agent (Operations Management Suite) im Cluster installiert und nicht aktualisiert, es sei denn, Sie deaktivieren und aktivieren Azure Monitor Integration erneut. Führen Sie die folgenden Schritte aus, wenn Sie den OMS-Agent im Cluster aktualisieren müssen. Wenn Sie sich hinter einer Firewall befinden, müssen Sie möglicherweise die Voraussetzungen für Cluster hinter einer Firewall erfüllen, bevor Sie diese Schritte ausführen.

  1. Wählen Sie im Azure-Portal Ihren Cluster aus. Der Cluster wird auf einer neuen Portalseite geöffnet.
  2. Wählen Sie links unter Überwachung die Option Azure Monitor aus.
  3. Notieren Sie sich den Namen Ihres aktuellen Log Analytics-Arbeitsbereichs.
  4. Deaktivieren Sie in der Hauptansicht unter Azure Monitor Integration den Umschalter, und wählen Sie dann Speichern aus.
  5. Nachdem die Einstellung gespeichert wurde, aktivieren Sie den Umschalter für Azure Monitor Integration erneut, und stellen Sie sicher, dass derselbe Log Analytics-Arbeitsbereich ausgewählt ist, und wählen Sie dann Speichern aus.

Wenn Sie Azure Monitor Integration in einem Cluster aktiviert haben, wird beim Aktualisieren des OMS-Agents auch die OMI-Version (Open Management Infrastructure) aktualisiert. Sie können die OMI-Version im Cluster überprüfen, indem Sie den folgenden Befehl ausführen:

 sudo /opt/omi/bin/omiserver –version

Nächste Schritte