Was sind gängige Szenarien für die Verwendung von Tabellenupdaterichtlinien?

  • Artikel

In diesem Abschnitt werden einige bekannte Szenarien beschrieben, in denen Updaterichtlinien verwendet werden. Erwägen Sie, diese Szenarien zu übernehmen, wenn Ihre Umstände ähnlich sind.

In diesem Artikel erfahren Sie mehr über die folgenden gängigen Szenarien:

Datenanreicherung der Medallion-Architektur

Aktualisieren von Richtlinien für Tabellen bieten eine effiziente Möglichkeit zum Anwenden schneller Transformationen und sind mit der Medallion Lakehouse-Architektur in Fabric kompatibel.

Wenn Rohdaten in der Medaillonarchitektur in einer Zieltabelle (Bronzeebene) landen, kann eine Updaterichtlinie verwendet werden, um anfängliche Transformationen anzuwenden und die angereicherte Ausgabe in einer Tabelle mit silberner Schicht zu speichern. Dieser Prozess kann kaskadieren, wobei die Daten aus der Tabelle der Silberebene eine weitere Updaterichtlinie auslösen können, um die Daten weiter zu verfeinern und eine Tabelle mit golder Ebene zu hydratisieren.

Das folgende Diagramm zeigt ein Beispiel für eine Datenanreicherungsaktualisierungsrichtlinie namens Get_Values. Die angereicherten Daten werden an eine Tabelle mit Silberebene ausgegeben, die einen berechneten Zeitstempelwert und Suchwerte basierend auf den Rohdaten enthält.

Diagramm des Szenarios für die Datenanreicherung der Medaillonarchitektur mithilfe der Lösung für Updaterichtlinien.

Datenrouting

Ein Sonderfall der Datenanreicherung tritt auf, wenn ein Rohdatenelement Daten enthält, die basierend auf einem oder mehreren Attributen der Daten selbst an eine andere Tabelle weitergeleitet werden müssen.

Betrachten Sie ein Beispiel, das die gleichen Basisdaten wie das vorherige Szenario verwendet, aber dieses Mal gibt es drei Nachrichten. Die erste Nachricht ist eine Gerätetelemetrienachricht, die zweite Nachricht eine Gerätealarmnachricht, und die dritte Nachricht ist ein Fehler.

Um dieses Szenario zu behandeln, werden drei Updaterichtlinien verwendet. Die Get_Telemetry Updaterichtlinie filtert die Gerätetelemetrienachricht, reichert die Daten an und speichert sie in der Device_Telemetry Tabelle. Ebenso speichert die Get_Alarms Updaterichtlinie die Daten in der Device_Alarms Tabelle. Schließlich sendet die Log_Error Updaterichtlinie unbekannte Nachrichten an die Error_Log Tabelle, sodass Operatoren falsch formatierte Nachrichten oder unerwartete Schemaentwicklung erkennen können.

Das folgende Diagramm zeigt das Beispiel mit den drei Updaterichtlinien.

Diagramm, das das Datenroutingszenario mit der Lösung für Updaterichtlinien zeigt.

Optimieren von Datenmodellen

Aktualisierungsrichtlinien für Tabellen werden auf Geschwindigkeit festgelegt. Tabellen entsprechen in der Regel star Schemaentwurf, der die Entwicklung von Datenmodellen unterstützt, die für Leistung und Benutzerfreundlichkeit optimiert sind.

Das Abfragen von Tabellen in einem star Schema erfordert häufig das Verknüpfen von Tabellen. Tabellenjoins können jedoch zu Leistungsproblemen führen, insbesondere beim Abfragen großer Datenmengen. Um die Abfrageleistung zu verbessern, können Sie das Modell vereinfachen, indem Sie denormalisierte Daten zur Erfassungszeit speichern.

Das Verknüpfen von Tabellen zur Erfassungszeit hat den zusätzlichen Vorteil, dass eine kleine Datenmenge verwendet wird, was zu geringeren Berechnungskosten für den Join führt. Dieser Ansatz kann die Leistung von Downstreamabfragen erheblich verbessern.

Sie können beispielsweise Rohtelemetriedaten von einem Gerät anreichern, indem Sie Werte aus einer Dimensionstabelle suchen. Eine Updaterichtlinie kann die Suche zur Erfassungszeit durchführen und die Ausgabe in einer denormalisierten Tabelle speichern. Darüber hinaus können Sie die Ausgabe mit Daten erweitern, die aus einer Verweisdatentabelle stammen.

Das folgende Diagramm zeigt das Beispiel, das eine Updaterichtlinie mit dem Namen Enrich_Device_Data enthält. Sie erweitert die Ausgabedaten mit Daten, die aus der Standortverweis-Datentabelle stammen.

Diagramm des Szenarios für optimierte Datenmodelle mithilfe der Lösung für Updaterichtlinien.

Verwandte Inhalte