Abfragen von kalten Daten mit heißen Fenstern

  • Artikel

Mit heißen Fenstern können Sie kalte Daten effizient abfragen, ohne dass Sie Daten exportieren oder andere Tools verwenden müssen. Verwenden Sie heiße Fenster, wenn die Menge der kalten Daten groß ist und die relevanten Daten von einem beliebigen Zeitpunkt in der Vergangenheit stammen. Heiße Fenster werden in der Cacherichtlinie definiert.

Azure Data Explorer speichert seine Daten in zuverlässiger langfristiger Speicherung und speichert einen Teil dieser Daten auf den Clusterknoten zwischen. Die Cacherichtlinie bestimmt, welche Daten zwischengespeichert werden. Die zwischengespeicherten Daten werden als heiß eingestuft, während es sich bei den restlichen Daten um kalte Daten handelt.

Zum Abfragen kalter Daten wird von Azure Data Explorer ein Schritt für den Ladevorgang verarbeitet, in dessen Rahmen auf eine Speicherebene zugegriffen werden muss, die eine deutlich höhere Latenz als der lokale Datenträger aufweist. Wenn die Abfrage auf ein kurzes Zeitfenster beschränkt ist (häufig als „Zeitpunktabfrage“ bezeichnet), ist die abgerufene Datenmenge normalerweise gering, und die Abfrage kann schnell abgeschlossen werden. Zu dieser Kategorie gehören beispielsweise forensische Analysen, bei denen Telemetriedaten für einen bestimmten Tag in der Vergangenheit abgefragt werden. Es hängt von der aus dem Speicher gepullten Datenmenge ab, wie stark die Abfragedauer beeinträchtigt wird. Diese Beeinträchtigung kann in bestimmten Fällen erheblich ausfallen. Wenn Sie eine große Menge an kalten Daten überprüfen, kann die Abfrageleistung durch die Verwendung heißer Fenster verbessert werden.

In diesem Dokument wird gezeigt, wie Sie mithilfe von heißen Fenstern kalte Daten abfragen.

Voraussetzungen

Konfigurieren der Autoskalierung für einen Cluster

Nach dem Ändern der Cacherichtlinie werden die relevanten Daten vom Cluster automatisch auf seinen Datenträgern zwischengespeichert. Sie müssen den Cluster skalieren, um den zusätzlichen Datenträger abzudecken, der für die neue Cachedefinition erforderlich ist. Wir empfehlen Ihnen, den Cluster so zu konfigurieren, dass die Einstellungen für die Optimierung der Autoskalierung genutzt werden.

  1. Navigieren Sie im Azure-Portal zu Ihrer Azure Data Explorer-Clusterressource. Wählen Sie unter Einstellungen die Option Aufskalieren aus.

  2. Wählen Sie im Fenster Aufskalieren die Option Optimierte Autoskalierung aus.

  3. Wählen Sie eine Mindest- und eine Höchstzahl von Instanzen aus. Die automatische Skalierung des Clusters bewegt sich dann je nach Last zwischen diesen beiden Werten.

  4. Wählen Sie Speichern aus.

    Optimierte Autoskalierung

Nun können Sie während der Verwendung heißer Fenster eine optimale Leistung erwarten.

Festlegen heißer Fenster

Heiße Fenster sind Teil der Syntax für Cacherichtlinienbefehle und werden mit dem Befehl .alter policy caching festgelegt.

Hinweis

Es kann bis zu eine Stunde dauern, bis der Cache für die Clusterdatenträger basierend auf der aktualisierten Definition der Cacherichtlinie vollständig aktualisiert wurde.

  1. Notieren Sie sich die anfängliche Cacherichtlinie mithilfe des Befehls .show policy caching.

    .show table MyDatabase.MyTable policy caching

  2. Ändern Sie die Cacherichtlinie mithilfe der folgenden Syntax. Für eine einzelne Datenbank oder Tabelle können mehrere heiße Fenster definiert werden.

    .alter <entity_type> <database_or_table_or_materialized-view_name> policy caching 
      hot = <timespan> 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      ...

    Hierbei gilt:

    • from: Startzeit des heißen Fensters (datetime)
    • to: Endzeit des heißen Fensters (datetime)

    Beispielsweise werden bei Abfragen, die mit den folgenden Einstellungen ausgeführt werden, die Daten der letzten 14 Tage untersucht. Die zugrunde liegenden Daten werden drei Jahre lang aufbewahrt.

    .alter table MyTable policy caching 
        hot = 14d,
        hot_window = datetime(2021-01-01) .. datetime(2021-02-01),
        hot_window = datetime(2021-04-01) .. datetime(2021-05-01)

Abfrage ausführen

Führen Sie die gewünschten Abfragen über den in den heißen Fenstern angegebenen Zeitraum aus.

Zurücksetzen der Einstellungen

  1. Verwenden Sie die ursprünglichen Cacheeinstellungen, die sie oben unter Festlegen heißer Fenster abgerufen haben.
  2. Setzen Sie die Cacherichtlinie mit dem Befehl .alter policy caching auf die ursprünglichen Einstellungen zurück.

Da Sie die optimierte Autoskalierung für diesen Cluster konfiguriert haben, wird der Cluster auf seine ursprüngliche Größe zurückgesetzt.

Verwandte Inhalte