Share via


擷取、篩選和轉換即時事件,並將其傳送至 Microsoft Fabric Lakehouse

本教學課程說明如何使用 Microsoft Fabric 事件串流功能來內嵌、篩選和轉換即時事件,並以 Delta Lake 格式從您的 Azure 事件中樞傳送至 Lakehouse。 您也會瞭解如何建置 Power BI 報表,以將事件數據中的商務見解可視化。

在本教學課程中,您會了解如何:

  • 在 Microsoft Fabric 中建立 Eventstream 和 Lakehouse 專案
  • 將 Azure 事件中樞 來源新增至 eventstream
  • 建立事件中樞雲端連線
  • 將 Lakehouse 目的地新增至 eventstream
  • 使用事件處理器定義即時事件處理邏輯
  • 確認 Lakehouse 中的數據
  • 使用內嵌在 Lakehouse 中的事件數據建置 Power BI 報表

必要條件

開始之前,您必須具備:

  • 具有 Eventstream 和 Lakehouse 專案所在許可權的進階工作區的存取權或更高許可權。
  • 具有事件數據和適當許可權的 Azure 事件中樞,可供存取原則密鑰。 事件中樞必須可公開存取,且不得位於防火牆後方或虛擬網路中受到保護。 若要建立事件中樞,請參閱快速入門:使用 Azure 入口網站 建立事件中樞。

建立 Lakehouse 和 eventstream

您可以從 [工作區] 頁面或 [建立中樞] 頁面建立 eventstream 和 lakehouse。 請遵循下列步驟來建立 Lakehouse,然後再一次建立事件串流:

  1. 將網狀架構體驗變更為即時智慧,然後選取 Lakehouse 或 Eventstream,以在工作區或建立中樞中建立這些專案。 (為了獲得最佳結果,請先建立 Lakehouse 專案和第二個 Eventstream 專案。

    • 在 [工作區] 畫面中,選取 [新增],然後選取 [Lakehouse] 或 [Eventstream]:

      顯示工作區 [新增] 功能表中要選取 [Eventstream] 和 [Lakehouse] 位置的螢幕快照。

    • 在 [建立中] 中,選取 [Lakehouse] 或 [Eventstream]:

      螢幕快照,顯示在 [建立中樞] 中選取 [Eventstream] 圖格的位置。

      顯示 [建立] 中樞中要選取 Lakehouse 圖格的位置螢幕快照。

  2. 輸入新事件串流或 Lakehouse 的名稱,然後選取 [ 建立]。 針對本文中的範例,我們會針對 lakehouse 使用 eventstream 和 citypwrdata 的 citypwr-es

    此螢幕快照顯示 [新增事件串流] 對話框中輸入名稱的位置。

成功建立新的 eventstream 和 lakehouse 之後,這些專案會出現在您的工作區中:

  • citypwr-es:Eventstream 專案

  • citypwrdata:Lakehouse 專案、語意模型(預設)專案和 SQL 端點專案。

    此螢幕快照顯示已新增至工作區的四個專案清單。

將 Azure 事件中樞 來源新增至 eventstream

建立 lakehouse 和 eventstream 之後,請遵循下列步驟,將 Azure 事件中樞新增為事件串流來源。

  1. 在主編輯器畫布中選取功能區或 “+” 上的 [新增來源],然後選取 [Azure 事件中樞]。

  2. 輸入新來源的來源名稱,然後選取 [建立 Azure 事件中樞的新連線 ]。

    顯示在來源設定畫面 Azure 事件中樞 上選取 [建立新連線的位置] 的螢幕快照。

  3. 在 [ 新增連線 ] 頁面上填入 Azure 事件中樞的相關信息。

    顯示事件中樞來源中雲端連線的螢幕快照。

    • 事件中樞命名空間:輸入 Azure 事件中樞命名空間的名稱。

    • 事件中樞:在 Azure 入口網站 中輸入 Azure 事件中樞的名稱。

    • 連線 ion 名稱:輸入雲端連線的名稱。

    • 共用存取金鑰名稱和共用存取金鑰:移至您的 Azure 事件中樞,並在 [共用存取原則] 下建立具有 ManageListen 許可權的原則。 然後使用原則名稱和主鍵作為共用存取金鑰名稱和共用存取密鑰

      顯示 Azure 事件中樞的選取位置並輸入驗證資訊的螢幕快照。

  4. 選取取 用者群組 ,以從您的 Azure 事件中樞讀取事件數據,然後 選取 [新增]。

  5. 選取 您想要從 Azure 事件中樞取得之傳入即時事件的數據格式

  6. 成功建立事件中樞來源之後,新的來源節點會出現在畫布中。 選取畫布中的事件中樞節點,然後在 底部窗格中選取 [數據預覽 ] 索引卷標,以檢視事件中樞內的數據。

    顯示事件中樞來源預覽的螢幕快照。

  7. 選取畫布中的 eventstream 節點,然後在 底部窗格中選取 [數據預覽 ] 索引卷標,以檢視事件數據流內的數據。

    顯示 Eventstream 節點中 [數據預覽] 索引標籤的螢幕快照。

  8. 若要尋找數據深入解析詳細數據,請選取 事件中樞來源節點和 Eventstream 節點的 [數據深入解析 ] 索引標籤。

將 Lakehouse 目的地新增至 eventstream

在事件串流內嵌事件中樞事件之後,您可以新增 Lakehouse 目的地以接收來自事件串流的事件。 請遵循下列步驟來新增 Lakehouse 目的地。

  1. 在主編輯器畫布中選取功能區或 “+” 上的 [新增目的地],然後選取 [Lakehouse]。

  2. 輸入 eventstream 目的地的名稱,並填入 lakehouse 的相關信息。

    顯示 Lakehouse 目的地設定畫面的螢幕快照。

    1. Lakehouse:從您指定的工作區中選取現有的 Lakehouse 專案。 我們在範例中選取了新建立的 Lakehouse citypwrdata
    2. 差異數據表:選取現有的差異數據表,或建立新的差異數據表來接收數據。 在此範例中,我們選取了新的差異數據表 citypwrtbl
    3. 輸入數據格式:選取數據的格式。
  3. 如果您不想在擷取事件至 Lakehouse 時處理事件,請選取 [ 新增 ] 以完成 Lakehouse 目的地的設定。 如果您想要處理事件,請跳至 下一節

  4. Lakehouse 目的地節點會出現在畫布上,並顯示旋轉狀態指示器。 系統需要幾分鐘的時間,才能將狀態變更為 嵌。

    顯示兩個 Lakehouse 目的地狀態指標位置的螢幕快照。

  5. 目的地狀態變更為 嵌之後,請選取 底部窗格中的 [數據預覽 ] 索引標籤,以確認事件數據已正確內嵌至 Lakehouse。

    顯示 Lakehouse 目的地預覽索引標籤的螢幕快照。

使用事件處理器定義即時事件處理邏輯

在本節中,當您在上一節中開始新增 Lakehouse 目的地的程序之後,您將使用事件處理器編輯器來定義事件處理邏輯。 在我們的範例中,我們不想將感測器標識符儲存在 Lakehouse 中,因此我們會使用事件處理器來移除數據行。

  1. 從已完成的 Lakehouse 目的地畫面 (尚未選取 [新增]),選取 [開啟事件處理器]。 [ 事件處理編輯器] 畫面隨即開啟。

    顯示 [事件處理編輯器] 畫面的螢幕快照。

  2. 若要新增事件處理邏輯,請選取 功能區中的 [作業] 功能表,然後選取 [ 管理欄位]。

    顯示在 [作業] 功能選取 [管理字段的位置] 的螢幕快照。

  3. 將滑鼠停留在連接線上,然後選取 [+] 按鈕。 下拉式功能表會出現在連接線上,您可以在連接線之間插入 [管理字段 ] 運算符。

    此螢幕快照顯示事件串流與 Lakehouse 之間要選取和刪除操作員連線的位置。

  4. 選取 [ 管理欄位 運算符] 節點。 在 [ 管理欄位 組態] 面板中,選取 [ 新增所有欄位]。 然後將滑鼠停留在感測器數據行上,選取 [...] ,然後 移除 以移除數據行。

    顯示 [管理欄位] 運算符設定的螢幕快照。

  5. 設定 [管理欄位 ] 運算符之後,按兩下 [ 重新整理靜態預覽] 來預覽此運算子所產生的數據。

    此螢幕快照顯示 [管理字段] 運算子的重新整理數據預覽。

  6. 選取 [完成 ] 以儲存事件處理邏輯,並返回 Lakehouse 目的地組態畫面。

  7. 選取 [新增 ] 以完成 Lakehouse 目的地的設定。

  8. Lakehouse 目的地節點會出現在畫布上,並顯示旋轉狀態指示器。 系統需要幾分鐘的時間,才能將狀態變更為 嵌。

    顯示 Lakehouse 目的地狀態指標的螢幕快照。

  9. 目的地狀態變更為 嵌之後,請選取 底部窗格中的 [數據預覽 ] 索引標籤,以確認事件數據已正確內嵌至 Lakehouse。

    顯示 Lakehouse 目的地預覽的螢幕快照。

確認 Lakehouse 中的數據

若要確認新 Lakehouse 中的事件數據,請從工作區開啟 citypwrdata lakehouse,然後選取 citypwrtbl 數據表以檢視其數據。

顯示 Lakehouse 數據表範例的螢幕快照。

使用內嵌的事件數據建置Power BI報表

  1. 移至您的工作區,然後選取 citypwrdata 語意模型,當您建立新的 citypwrdata lakehouse 時,系統會自動新增此模型。

  2. 從功能區的 [ 建立報表] 功能表中,選取 [自動建立 ] 或 [從頭開始]。

    顯示從 [建立報表] 功能選取位置的螢幕快照。

  3. 選取溫度、濕度、WindSpeed 和三個區域的耗電量來調整報告,以便監視這些數據。

    顯示自動產生報表的螢幕快照。

  4. 如果您想要自動重新整理資料,請選取 自動產生的報表中的 [編輯 ] 按鈕。 然後流覽至 [視覺效果] 底下的 [格式化] 頁面,然後選取 [頁面重新整理] 以設定重新整理間隔。

    注意

    • 管理員 間隔會控制最小重新整理間隔。
    • 將事件數據寫入 Lakehouse 的目前間隔為兩分鐘。

    顯示如何啟用自動重新整理的螢幕快照。

  5. 當您完成調整報表時,請選取 [ 儲存 ] 按鈕並輸入名稱加以儲存。

    顯示最終編輯報表的螢幕快照。

在本教學課程中,您已瞭解如何內嵌、篩選和轉換即時事件,並將其從 Azure 事件中樞傳送至 Delta Lake 格式的 Lakehouse。 您也瞭解如何使用 Lakehouse 建置 Power BI 報表,以可視化事件數據中的商務見解。 如果您有興趣探索使用 Fabric 事件串流功能的更進階功能,您可能會發現下列資源很有説明。