Analysieren von Protokollen für Apache Kafka in HDInsightAnalyze logs for Apache Kafka on HDInsight

Erfahren Sie, wie Sie mithilfe von Azure Monitor-Protokollen in Apache Kafka generierte Protokolle in HDInsight analysieren.Learn how to use Azure Monitor logs to analyze logs generated by Apache Kafka on HDInsight.

Hinweis

Dieser Artikel wurde kürzlich aktualisiert, um den Begriff Azure Monitor-Protokolle anstelle von Log Analytics aufzunehmen.This article was recently updated to use the term Azure Monitor logs instead of Log Analytics. Protokolldaten werden immer noch in einem Log Analytics-Arbeitsbereich gespeichert und weiterhin mit dem gleichen Log Analytics-Dienst erfasst und analysiert.Log data is still stored in a Log Analytics workspace and is still collected and analyzed by the same Log Analytics service. Die Terminologie hat sich geändert, um der Rolle von Protokollen in Azure Monitor besser Rechnung zu tragen.We are updating the terminology to better reflect the role of logs in Azure Monitor. Weitere Informationen finden Sie unter Terminologieänderungen bei Azure Monitor.See Azure Monitor terminology changes for details.

Azure Monitor-Protokolle für Apache Kafka aktivierenEnable Azure Monitor logs for Apache Kafka

Die Schritte zum Aktivieren von Azure Monitor-Protokollen für HDInsight sind für alle HDInsight-Cluster identisch.The steps to enable Azure Monitor logs for HDInsight are the same for all HDInsight clusters. Verwenden Sie die folgenden Links, um zu verstehen, wie die erforderlichen Dienste erstellt und konfiguriert werden:Use the following links to understand how to create and configure the required services:

  1. Erstellen Sie einen Log Analytics-Arbeitsbereich.Create a Log Analytics workspace. Weitere Informationen finden Sie im Dokument Protokolle in Azure Monitor.For more information, see the Logs in Azure Monitor document.

  2. Erstellen Sie ein Kafka-Cluster im HDInsight-Cluster.Create a Kafka on HDInsight cluster. Weitere Informationen finden Sie unter Einstieg in Apache Kafka in HDInsight.For more information, see the Start with Apache Kafka on HDInsight document.

  3. Konfigurieren Sie den Kafka-Cluster für die Verwendung von Azure Monitor-Protokollen.Configure the Kafka cluster to use Azure Monitor logs. Weitere Informationen finden Sie im Dokument Verwenden von Azure Monitor-Protokollen zum Überwachen von HDInsight.For more information, see the Use Azure Monitor logs to monitor HDInsight document.

Wichtig

Es dauert ca. 20 Minuten, bis die Daten für Azure Monitor-Protokolle zur Verfügung stehen.It may take around 20 minutes before data is available for Azure Monitor logs.

AbfrageprotokolleQuery logs

  1. Wählen Sie im Azure-Portal Ihren Log Analytics-Arbeitsbereich aus.From the Azure portal, select your Log Analytics workspace.

  2. Wählen Sie im linken Menü unter Allgemein die Option Protokolle aus.From the left menu, under General, select Logs. In dieser Ansicht können Sie die von Kafka gesammelten Daten suchen.From here, you can search the data collected from Kafka. Geben Sie eine Abfrage im Abfragefenster ein, und wählen Sie dann Ausführen aus.Enter a query in the query window and then select Run. Nachfolgend sehen Sie einige Beispielsuchen:The following are some example searches:

  • Datenträgerauslastung:Disk usage:

    Perf 
    | where ObjectName == "Logical Disk" and CounterName == "Free Megabytes" and InstanceName == "_Total" and ((Computer startswith_cs "hn" and Computer contains_cs "-") or (Computer startswith_cs "wn" and Computer contains_cs "-")) 
    | summarize AggregatedValue = avg(CounterValue) by Computer, bin(TimeGenerated, 1h)
    
  • CPU-Auslastung:CPU usage:

    Perf 
    | where CounterName == "% Processor Time" and InstanceName == "_Total" and ((Computer startswith_cs "hn" and Computer contains_cs "-") or (Computer startswith_cs "wn" and Computer contains_cs "-")) 
    | summarize AggregatedValue = avg(CounterValue) by Computer, bin(TimeGenerated, 1h)
    
  • Eingehende Nachrichten pro Sekunde:Incoming messages per second:

    metrics_kafka_CL 
    | where ClusterName_s == "your_kafka_cluster_name" and InstanceName_s == "kafka-BrokerTopicMetrics-MessagesInPerSec-Count" 
    | summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_MessagesInPerSec_Count_value_d) by HostName_s, bin(TimeGenerated, 1h)
    
  • Eingehende Bytes pro Sekunde:Incoming bytes per second:

    metrics_kafka_CL 
    | where HostName_s == "wn0-kafka" and InstanceName_s == "kafka-BrokerTopicMetrics-BytesInPerSec-Count" 
    | summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_BytesInPerSec_Count_value_d) by bin(TimeGenerated, 1h)
    
  • Ausgehende Bytes pro Sekunde:Outgoing bytes per second:

    metrics_kafka_CL 
    | where ClusterName_s == "your_kafka_cluster_name" and InstanceName_s == "kafka-BrokerTopicMetrics-BytesOutPerSec-Count" 
    | summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_BytesOutPerSec_Count_value_d) by bin(TimeGenerated, 1h)
    

    Wichtig

    Ersetzen Sie die Abfragewerte durch die jeweiligen Informationen Ihres Clusters.Replace the query values with your cluster specific information. Beispielsweise muss ClusterName_s auf den Namen Ihres Clusters festgelegt werden.For example, ClusterName_s must be set to the name of your cluster. HostName_s muss auf den Domänennamen eines Workerknotens im Cluster festgelegt werden.HostName_s must be set to the domain name of a worker node in the cluster.

    Sie können auch * eingeben, um alle protokollierte Typen zu suchen.You can also enter * to search all types logged. Derzeit sind folgende Protokolle für Abfragen verfügbar:Currently the following logs are available for queries:

    ProtokolltypLog type BESCHREIBUNGDescription
    log_kafkaserver_CLlog_kafkaserver_CL server.log des Kafka-BrokersKafka broker server.log
    log_kafkacontroller_CLlog_kafkacontroller_CL controller.log des Kafka-BrokersKafka broker controller.log
    metrics_kafka_CLmetrics_kafka_CL Kafka-JMX-MetrikenKafka JMX metrics

    Abbildung der Suche nach der CPU-Auslastung

Nächste SchritteNext steps

Weitere Informationen zu Azure Monitor finden Sie unter Azure Monitor – Übersicht und Abfragen von Azure Monitor-Protokollen zum Überwachen von HDInsight-Clustern.For more information on Azure Monitor, see Azure Monitor overview, and Query Azure Monitor logs to monitor HDInsight clusters.

Weitere Informationen zum Arbeiten mit Apache Kafka finden Sie in den folgenden Dokumenten:For more information on working with Apache Kafka, see the following documents: