Überwachen der Azure Data Explorer-Leistung, -Integrität und -Nutzung mit Metriken

  • Artikel

Azure Data Explorer-Metriken liefern wichtige Hinweise in Bezug auf die Integrität und Leistung der Azure Data Explorer-Clusterressourcen. Verwenden Sie die in diesem Artikel beschriebenen Metriken, um die Nutzung, Integrität und Leistung von Azure Data Explorer-Clustern in Ihrem jeweiligen Szenario als eigenständige Metriken zu überwachen. Sie können Metriken auch als Basis für den Betrieb von Azure-Dashboards und Azure-Warnungen verwenden.

Weitere Informationen zum Azure-Metrik-Explorer finden Sie unter Erste Schritte mit dem Azure-Metrik-Explorer.

Voraussetzungen

Überwachen Ihrer Azure Data Explorer-Ressourcen mithilfe von Metriken

  1. Melden Sie sich beim Azure-Portal an.
  2. Suchen Sie im linken Bereich Ihres Azure Data Explorer-Clusters nach Metriken.
  3. Wählen Sie Metriken aus, um den Bereich „Metriken“ zu öffnen und mit der Analyse Ihres Clusters zu beginnen. Suchen nach und Auswählen von Metriken im Azure-Portal

Verwenden des Bereichs „Metriken“

Wählen Sie im Bereich „Metriken“ bestimmte Metriken für die Nachverfolgung sowie die gewünschte Aggregierung Ihrer Daten aus, und erstellen Sie Metrikdiagramme für die Anzeige auf Ihrem Dashboard.

In der Auswahl für die Ressource und den Metriknamespace ist Ihr Azure Data Explorer-Cluster bereits ausgewählt. Die Zahlen in der folgenden Abbildung entsprechen der nummerierten Liste weiter unten. Sie führen durch die verschiedenen Optionen im Zusammenhang mit der Einrichtung und Anzeige Ihrer Metriken.

Bereich „Metriken“

  1. Wählen Sie zum Erstellen eines Metrikdiagramms den Namen der Metrik und die relevante Aggregation pro Metrik aus. Weitere Informationen zu verschiedenen Metriken finden Sie unter unterstützte Azure Data Explorer-Metriken.
  2. Wählen Sie Metrik hinzufügen aus, um mehrere Metriken im gleichen Diagramm anzuzeigen.
  3. Wählen Sie + Neues Diagramm aus, um mehrere Diagramme in einer einzelnen Ansicht anzuzeigen.
  4. Verwenden Sie die Zeitauswahl, um den Zeitbereich zu ändern (Standardeinstellung: Letzte 24 Stunden).
  5. Verwenden Sie Filter hinzufügen und Teilung anwenden für Metriken, die über Dimensionen verfügen.
  6. Wählen Sie die Option An Dashboard anheften, um Ihre Diagrammkonfiguration den Dashboards hinzuzufügen, damit Sie die Anzeige erneut verwenden können.
  7. Legen Sie die Option Neue Warnungsregel fest, um Ihre Metriken mit den festgelegten Kriterien zu visualisieren. Die neue Warnungsregel enthält Ihre Dimensionen für Zielressource, Metrik, Teilung und Filter aus dem Diagramm. Ändern Sie diese Einstellungen im Bereich für die Erstellung von Warnungsregeln.

Unterstützte Azure Data Explorer-Metriken

Die Azure Data Explorer-Metriken geben Aufschluss über die Gesamtleistung und die Verwendung Ihrer Ressourcen und liefern Informationen zu bestimmten Aktionen wie Erfassung oder Abfrage. Die Metriken in diesem Artikel wurden nach Verwendungstyp gruppiert.

Die Metriktypen umfassen Folgendes:

Eine alphabetische Liste der Azure Monitor-Metriken für Azure Data Explorer finden Sie in den unterstützten Metriken für Azure Data Explorer-Cluster.

Clustermetriken

Die Clustermetriken dienen zum Nachverfolgen der allgemeinen Integrität des Clusters. Hierzu zählen beispielsweise die Ressourcen- und Erfassungsverwendung sowie die Reaktionsfähigkeit.

Metrik Einheit Aggregation Beschreibung der Metrik Dimensionen
Cacheauslastung (veraltet) Percent Avg, Max, Min Prozentsatz der zugewiesenen Cacheressourcen, die derzeit vom Cluster genutzt werden. Cache ist die Größe der SSD, die für die Benutzeraktivität gemäß der definierten Cacherichtlinie zugeordnet wird.

Eine durchschnittliche Cacheauslastung von 80 % oder weniger ist für einen Cluster ein tragbarer Zustand. Wenn die durchschnittliche Cacheauslastung 80 Prozent übersteigt, sollte der Cluster
auf einen datenspeicheroptimierten Tarif hochskaliert oder
auf mehr Instanzen aufskaliert werden. Alternativ hierzu können Sie die Cacherichtlinie anpassen (weniger Tage im Cache). Falls die Cacheauslastung über 100 % liegt, übersteigt die Größe der zwischenzuspeichernden Daten die Gesamtgröße des Caches im Cluster.
Diese Metrik ist veraltet und wird nur zum Zweck der Abwärtskompatibilität bereitgestellt. Verwenden Sie stattdessen die Metrik „Cacheauslastungsfaktor“.		 Keine
Cacheauslastungsfaktor Percent Avg, Max, Min Prozentsatz des genutzten Speicherplatzes, der für den Cache für heiße Daten reserviert ist
100 % bedeutet, dass der für heiße Daten zugewiesene Speicherplatz optimal ausgelastet ist. Es ist keine Aktion erforderlich, und der Cluster ist in Ordnung.
Weniger als 100 % bedeutet, dass der für heiße Daten zugewiesene Speicherplatz nicht vollständig ausgelastet ist.
Mehr als 100 % bedeutet, dass der Speicherplatz des Clusters nicht groß genug für die heißen Daten ist, wie durch Ihre Zwischenspeicherungsrichtlinien definiert. Um sicherzustellen, dass ausreichend Speicherplatz für alle heißen Daten verfügbar ist, muss die Menge der heißen Daten reduziert werden, oder der Cluster muss aufskaliert werden. Es wird empfohlen, die automatische Skalierung zu aktivieren.		 Keine
CPU Percent Avg, Max, Min Prozentsatz der zugewiesenen Computeressourcen, die derzeit von Computern im Cluster genutzt werden.

Eine durchschnittliche CPU-Auslastung von 80 % ist für einen Cluster ein tragbarer Zustand. Der Maximalwert der CPU beträgt 100 %. Dies bedeutet, dass es keine weiteren Computeressourcen zum Verarbeiten von Daten gibt.
Wenn die Leistung eines Clusters nicht gut ist, sollten Sie den Maximalwert der CPU überprüfen, um zu ermitteln, ob bestimmte CPUs blockiert sind.		 Keine
Datenerfassungsauslastung Percent Avg, Max, Min Prozentsatz der tatsächlichen Ressourcen zum Erfassen von Daten von den gesamten Ressourcen, die in der Kapazitätsrichtlinie für die Erfassung zugeordnet sind. Die Standardrichtlinie für die Kapazität umfasst nicht mehr als 512 gleichzeitige Erfassungsvorgänge oder 75 % der Clusterressourcen, die für die Erfassung genutzt werden.

Eine durchschnittliche Erfassungsauslastung von 80 % oder weniger ist für einen Cluster ein tragbarer Zustand. Der Maximalwert der Erfassungsauslastung beträgt 100 %. Dies bedeutet, dass die gesamte Erfassungskapazität des Clusters genutzt wird und unter Umständen eine Erfassungswarteschlange entsteht.		 Keine
InstanceCount Anzahl Avg Gesamtzahl der Instanzen
Keep-Alive Anzahl Avg Dient zum Nachverfolgen der Reaktionsfähigkeit des Clusters.

Für einen Cluster mit höchster Reaktionsfähigkeit wird der Wert 1 zurückgegeben, und für einen blockierten oder getrennten Cluster lautet der Wert 0.
Gesamtanzahl gedrosselter Befehle Anzahl Avg, Max, Min, Sum Die Anzahl der gedrosselten (abgelehnten) Befehle im Cluster, da die maximal zulässige Anzahl gleichzeitiger (paralleler) Befehle erreicht wurde. Keine
Gesamtanzahl von Erweiterungen Anzahl Avg, Max, Min, Sum Gesamtanzahl der Datenerweiterungen im Cluster.

Änderungen an dieser Metrik können massive Datenstrukturänderungen und eine hohe Auslastung des Clusters mit sich bringen, da das Zusammenführen von Datenerweiterungen eine CPU-intensive Aktivität ist.		 Keine
Follower-Latenz Millisekunden Avg, Max, Min Die Follower-Datenbanken synchronisieren Änderungen in den Leader-Datenbanken. Aufgrund der Synchronisierung gibt es bei der Datenverfügbarkeit eine Zeitverzögerung von einigen Sekunden bis zu einigen Minuten.

Diese Metrik misst die Zeitverzögerung. Die Zeitverzögerung hängt von mehreren Faktoren ab: Gesamtgröße und Rate der erfassten Daten in der Leader-Datenbank, Anzahl der Datenbanken, denen gefolgt wird, Rate der internen Vorgänge, die in der Leader-Datenbank ausgeführt werden (Zusammenführen/Neuerstellen).

Dies ist eine Metrik auf Clusterebene: Die Follower erfassen Metadaten aller Datenbanken, denen gefolgt wird. Diese Metrik stellt die Latenz des Prozesses dar.		 Keine

Exportieren von Metriken

Exportmetriken dienen zum Nachverfolgen der allgemeinen Integrität und Leistung von Exportvorgängen anhand von Aspekten wie Verzögerung, Ergebnissen, Anzahl von Datensätzen und Auslastung.

Metrik Einheit Aggregation Beschreibung der Metrik Dimensionen
Fortlaufender Export – Anzahl der exportierten Datensätze Anzahl SUM Die Anzahl exportierter Datensätze in allen Aufträgen mit fortlaufendem Export. ContinuousExportName
Fortlaufender Export – maximale Verzögerung Anzahl Max Die Verzögerung (in Minuten), die von Aufträgen mit fortlaufendem Export im Cluster gemeldet wurde. Keine
Fortlaufender Export – ausstehende Anzahl Anzahl Max Die Anzahl ausstehender Aufträge mit fortlaufendem Export. Diese Aufträge sind ausführungsbereit, befinden sich aber in einer Warteschlange (möglicherweise aufgrund von unzureichender Kapazität).
Fortlaufender Export – Ergebnis Anzahl Anzahl Das Ergebnis (Fehler/Erfolg) der einzelnen Ausführungen des fortlaufenden Exports. ContinuousExportName
Exportauslastung Percent Max Die genutzte Exportkapazität relativ zur Gesamtkapazität im Cluster (zwischen 0 und 100). Keine

Erfassungsmetriken

Erfassungsmetriken dienen zum Nachverfolgen der allgemeinen Integrität und Leistung von Erfassungsvorgängen anhand von Aspekten wie Wartezeit, Ergebnissen und Volumen. Verfeinern Sie Ihre Analyse wie folgt:

  • Wenden Sie Filter auf Diagramme an, um partielle Daten nach Dimensionen darzustellen. Untersuchen Sie beispielsweise die Erfassung in einem bestimmten Database-Element.
  • Wenden Sie die Teilung auf ein Diagramm an, um Daten nach verschiedenen Komponenten zu visualisieren. Dieser Vorgang ist nützlich für die Analyse von Metriken, die in den einzelnen Schritten der Erfassungspipeline gemeldet werden, z. B. Blobs received.
Metrik Einheit Aggregation Beschreibung der Metrik Dimensionen
Batchblob – Anzahl Anzahl Avg, Max, Min Anzahl der Datenquellen in einem abgeschlossenen Batch für die Erfassung Datenbank
Batchdauer Sekunden Avg, Max, Min Dauer der Batchverarbeitungsphase im Erfassungsflow Datenbank
Batchgröße Byte Avg, Max, Min Nicht komprimierte erwartete Datengröße in einem aggregierten Batch für die Erfassung Datenbank
Verarbeitete Batches Anzahl Sum, Max, Min Anzahl der für die Erfassung abgeschlossenen Batches
Batching Type: Der Trigger zum Versiegeln eines Batchs.
Eine vollständige Liste der Batchverarbeitungstypen finden Sie hier.		 Datenbank, Batchverarbeitungstyp
Empfangene Blobs Anzahl Sum, Max, Min Die Anzahl der von einer Komponente aus dem Eingabestream empfangenen Blobs.

Verwenden Sie Teilung anwenden, um die einzelnen Komponenten zu analysieren.		 Datenbank, Komponententyp, Komponentenname
Verarbeitete Blobs Anzahl Sum, Max, Min Die Anzahl der von einer Komponente verarbeiteten Blobs.

Verwenden Sie Teilung anwenden, um die einzelnen Komponenten zu analysieren.		 Datenbank, Komponententyp, Komponentenname
Gelöschte Blobs Anzahl Sum, Max, Min Die Anzahl der von einer Komponente dauerhaft gelöschten Blobs. Für jeden dieser Blobs wird eine Metrik vom Typ Ingestion result mit der Fehlerursache gesendet.

Verwenden Sie Teilung anwenden, um die einzelnen Komponenten zu analysieren.		 Datenbank, Komponententyp, Komponentenname
Wartezeit bei der Ermittlung Sekunden Avg Die Zeit zwischen dem Einreihen von Daten in die Warteschlange und der Erkennung durch die Datenverbindungen. Diese Zeit ist nicht in der Metrik Phasenlatenz oder Erfassungslatenz enthalten.

Die Ermittlungslatenz kann sich in folgenden Situationen erhöhen:
  • Bei Verwendung regionsübergreifender Datenverbindungen

  • In Event Hubs-Datenverbindungen, wenn die Anzahl der Event Hubs-Partitionen nicht für das ausgehende Datenvolume ausreicht.
Komponententyp, Komponentenname
Empfangene Ereignisse Anzahl Sum, Max, Min Anzahl der von den Datenverbindungen aus dem Eingabestream empfangenen Ereignisse Komponententyp, Komponentenname
Verarbeitete Ereignisse Anzahl Sum, Max, Min Anzahl der von den Datenverbindungen verarbeiteten Ereignisse Komponententyp, Komponentenname
Gelöschte Ereignisse Anzahl Sum, Max, Min Anzahl der von den Datenverbindungen dauerhaft gelöschten Ereignisse Für jedes solche Ereignis wird eine Ingestion result Metrik mit einem Fehlergrund gesendet. Komponententyp, Komponentenname
Verarbeitete Ereignisse (für Event/IoT Hubs) (veraltet) Anzahl Max, Min, Sum Gesamtanzahl der Ereignisse, die aus Event Hub/IoT Hub gelesen und vom Cluster verarbeitet werden. Diese Ereignisse können durch die status geteilt werden: Empfangen, Abgelehnt, Verarbeitet.
Diese Metrik ist veraltet und wird nur zum Zweck der Abwärtskompatibilität bereitgestellt. Verwenden Sie stattdessen die Metriken "Empfangene Ereignisse", "Verarbeitete Ereignisse" und "Gelöschte Ereignisse".		 Status
Latenz bei der Erfassung Sekunden Avg, Max, Min Latenz der erfassten Daten ab dem Empfangszeitpunkt der Daten im Cluster bis zu dem Zeitpunkt, zu dem die Daten bereit zum Abfragen sind. Der Zeitraum der Erfassungslatenz richtet sich nach dem Erfassungsszenario.
Ingestion Kind: Streamingerfassung oder Erfassung in Warteschlange		 Erfassungsart
Ergebnis der Datenerfassung Anzahl SUM Gesamtzahl von Quellen mit nicht erfolgreicher bzw. erfolgreicher Erfassung.
Status: Success bei einer erfolgreichen Erfassung, oder die Fehlerkategorie bei Fehlern. Eine vollständige Liste mit den möglichen Fehlerkategorien finden Sie unter Erfassungsfehlercodes in Azure Data Explorer.
Failure Status Type: Gibt an, ob der Fehler dauerhafter oder vorübergehender Art ist. Bei einer erfolgreichen Erfassung wird None für diese Dimension angegeben.

Hinweis:
  • Event Hubs und IoT Hub Erfassungsereignisse werden in einem Blob voraggregatiert und dann als einzelne Quelle behandelt, die erfasst werden soll. Daher werden vorab aggregierte Ereignisse nach der Vorabaggregation als einzelnes Erfassungsergebnis angezeigt.

  • Bei vorübergehenden Fehlern wird intern eine begrenzte Anzahl von Wiederholungen durchgeführt. Jeder vorübergehende Fehler wird als vorübergehendes Erfassungsergebnis gemeldet. Daher kann eine einzelne Erfassung zu mehr als einem Erfassungsergebnis führen.
Status, Fehlerstatustyp
Datenerfassungsvolumen (in MB) Anzahl Max, Sum Die Gesamtgröße der im Cluster erfassten Daten (in MB) vor der Komprimierung. Datenbank
Warteschlangenlänge Anzahl Avg Anzahl ausstehender Nachrichten in der Eingabewarteschlange einer Komponente Die Batchverarbeitungs-Manager-Komponente enthält eine Nachricht pro Blob. Die Erfassungs-Manager-Komponente enthält eine Nachricht pro Blob. Ein Batch ist ein einzelner Erfassungsbefehl mit einem oder mehreren Blobs. Komponententyp
Älteste Nachricht in Warteschlange Sekunden Avg Zeit in Sekunden ab dem Zeitpunkt, zu dem die älteste Nachricht in die Eingabewarteschlange einer Komponente eingefügt wurde Komponententyp
Größe der empfangenen Daten in Bytes Byte Avg, Sum Größe der von den Datenverbindungen aus dem Eingabestream empfangenen Daten Komponententyp, Komponentenname
Phasenlatenz Sekunden Avg Zeit ab dem Zeitpunkt, zu dem eine Nachricht von Azure Data Explorer akzeptiert wird, bis zu dem Zeitpunkt, zu dem ihr Inhalt von einer Erfassungskomponente zur Verarbeitung empfangen wird

Verwenden Sie Filter anwenden , und wählen Sie Komponententyp > StorageEngine aus, um die Gesamteinnahmelatenz anzuzeigen.		 Datenbank, Komponententyp

Streamingerfassungsmetriken

Streamingerfassungsmetriken verfolgen Streamingerfassungsdaten sowie Anforderungsrate, Dauer und Ergebnisse nach.

Metrik Einheit Aggregation Beschreibung der Metrik Dimensionen
Datenrate der Streamingerfassung Anzahl RateRequestsPerSecond Gesamtmenge der im Cluster erfassten Daten. Keine
Dauer der Streamingerfassung Millisekunden Avg, Max, Min Gesamtdauer aller Streamingerfassungsanforderungen. Keine
Anforderungsrate der Streamingerfassung Anzahl Count, Avg, Max, Min, Sum Gesamtanzahl der Streamingerfassungsanforderungen. Keine
Ergebnis der Streamingerfassung Anzahl Avg Gesamtanzahl der Streamingerfassungsanforderungen nach Ergebnistyp. Ergebnis

Abfragemetriken

Abfrageleistungsmetriken verfolgen die Abfragedauer und Gesamtanzahl gleichzeitiger oder gedrosselter Abfragen nach.

Metrik Einheit Aggregation Beschreibung der Metrik Dimensionen
Abfragedauer Millisekunden Avg, Min, Max, Sum Gesamtzeit bis zum Empfangen der Abfrageergebnisse (ohne Netzwerklatenz). QueryStatus
QueryResult Anzahl Anzahl Die Gesamtanzahl der Abfragen. QueryStatus
Gesamtanzahl gleichzeitiger Abfragen Anzahl Avg, Max, Min, Sum Die Anzahl der Abfragen, die im Cluster parallel ausgeführt werden. Diese Metrik ist eine gute Möglichkeit, um die Auslastung des Clusters einzuschätzen. Keine
Gesamtanzahl gedrosselter Abfragen Anzahl Avg, Max, Min, Sum Die Anzahl der gedrosselten (abgelehnten) Abfragen im Cluster. Die maximal zulässige Anzahl gleichzeitiger (paralleler) Abfragen wird in der Richtlinie für die Anforderungsratenbegrenzung definiert. Keine

Metriken der materialisierten Sicht

Metrik Einheit Aggregation Beschreibung der Metrik Dimensionen
MaterializedViewHealth 1, 0 Avg Der Wert ist „1“, wenn die Sicht als fehlerfrei angesehen wird, und andernfalls „0“. Database, MaterializedViewName
MaterializedViewAgeSeconds Sekunden Avg Das Alter (age) der Sicht ist definiert durch den aktuellen Zeitpunkt abzüglich des letzten Erfassungszeitpunkts, der von der Sicht verarbeitet wurde. Der Metrikwert ist die Zeit in Sekunden (je niedriger der Wert, desto „fehlerfreier“ die Sicht). Database, MaterializedViewName
MaterializedViewResult 1 Avg Die Metrik enthält eine Dimension vom Typ Result, die das Ergebnis des letzten Materialisierungszyklus angibt. (Weitere Informationen zu möglichen Werten finden Sie unter MaterializedViewResult-Metrik.) Der Metrikwert ist immer „1“. Database, MaterializedViewName, Result
MaterializedViewRecordsInDelta Anzahl von Datensätzen Avg Die Anzahl von Datensätzen, die sich derzeit im nicht verarbeiteten Teil der Quelltabelle befinden. Weitere Informationen finden Sie im Abschnitt zur Funktionsweise von materialisierten Sichten. Database, MaterializedViewName
MaterializedViewExtentsRebuild Anzahl von Erweiterungen Avg Die Anzahl der Erweiterungen, die Aktualisierungen im Materialisierungszyklus erforderten. Database, MaterializedViewName
MaterializedViewDataLoss 1 Max Die Metrik wird ausgelöst, wenn für nicht verarbeitete Quelldaten demnächst der Aufbewahrungszeitraum beginnt. Gibt an, dass die materialisierte Sicht fehlerhaft ist. Database, MaterializedViewName, Kind

Verwandte Inhalte