擷取、篩選和轉換即時事件,並將其傳送至 Microsoft Fabric Lakehouse
本教學課程說明如何使用 Microsoft Fabric 事件串流功能來內嵌、篩選和轉換即時事件,並以 Delta Lake 格式從您的 Azure 事件中樞傳送至 Lakehouse。 您也會瞭解如何建置 Power BI 報表,以將事件數據中的商務見解可視化。
在本教學課程中,您會了解如何:
- 在 Microsoft Fabric 中建立 Eventstream 和 Lakehouse 專案
- 將 Azure 事件中樞 來源新增至 eventstream
- 建立事件中樞雲端連線
- 將 Lakehouse 目的地新增至 eventstream
- 使用事件處理器定義即時事件處理邏輯
- 確認 Lakehouse 中的數據
- 使用內嵌在 Lakehouse 中的事件數據建置 Power BI 報表
必要條件
開始之前,您必須具備:
- 具有 Eventstream 和 Lakehouse 專案所在許可權的進階工作區的存取權或更高許可權。
- 具有事件數據和適當許可權的 Azure 事件中樞,可供存取原則密鑰。 事件中樞必須可公開存取,且不得位於防火牆後方或虛擬網路中受到保護。 若要建立事件中樞,請參閱快速入門:使用 Azure 入口網站 建立事件中樞。
建立 Lakehouse 和 eventstream
您可以從 [工作區] 頁面或 [建立中樞] 頁面建立 eventstream 和 lakehouse。 請遵循下列步驟來建立 Lakehouse,然後再一次建立事件串流:
將網狀架構體驗變更為即時智慧,然後選取 Lakehouse 或 Eventstream,以在工作區或建立中樞中建立這些專案。 (為了獲得最佳結果,請先建立 Lakehouse 專案和第二個 Eventstream 專案。
輸入新事件串流或 Lakehouse 的名稱,然後選取 [ 建立]。 針對本文中的範例,我們會針對 lakehouse 使用 eventstream 和 citypwrdata 的 citypwr-es。
成功建立新的 eventstream 和 lakehouse 之後,這些專案會出現在您的工作區中:
citypwr-es:Eventstream 專案
citypwrdata:Lakehouse 專案、語意模型(預設)專案和 SQL 端點專案。
將 Azure 事件中樞 來源新增至 eventstream
建立 lakehouse 和 eventstream 之後,請遵循下列步驟,將 Azure 事件中樞新增為事件串流來源。
在主編輯器畫布中選取功能區或 “+” 上的 [新增來源],然後選取 [Azure 事件中樞]。
輸入新來源的來源名稱,然後選取 [建立 Azure 事件中樞的新連線 ]。
在 [ 新增連線 ] 頁面上填入 Azure 事件中樞的相關信息。
選取取 用者群組 ,以從您的 Azure 事件中樞讀取事件數據,然後 選取 [新增]。
選取 您想要從 Azure 事件中樞取得之傳入即時事件的數據格式 。
成功建立事件中樞來源之後,新的來源節點會出現在畫布中。 選取畫布中的事件中樞節點,然後在 底部窗格中選取 [數據預覽 ] 索引卷標,以檢視事件中樞內的數據。
選取畫布中的 eventstream 節點,然後在 底部窗格中選取 [數據預覽 ] 索引卷標,以檢視事件數據流內的數據。
若要尋找數據深入解析詳細數據,請選取 事件中樞來源節點和 Eventstream 節點的 [數據深入解析 ] 索引標籤。
將 Lakehouse 目的地新增至 eventstream
在事件串流內嵌事件中樞事件之後,您可以新增 Lakehouse 目的地以接收來自事件串流的事件。 請遵循下列步驟來新增 Lakehouse 目的地。
在主編輯器畫布中選取功能區或 “+” 上的 [新增目的地],然後選取 [Lakehouse]。
輸入 eventstream 目的地的名稱,並填入 lakehouse 的相關信息。
- Lakehouse:從您指定的工作區中選取現有的 Lakehouse 專案。 我們在範例中選取了新建立的 Lakehouse citypwrdata 。
- 差異數據表:選取現有的差異數據表,或建立新的差異數據表來接收數據。 在此範例中,我們選取了新的差異數據表 citypwrtbl。
- 輸入數據格式:選取數據的格式。
如果您不想在擷取事件至 Lakehouse 時處理事件,請選取 [ 新增 ] 以完成 Lakehouse 目的地的設定。 如果您想要處理事件,請跳至 下一節。
Lakehouse 目的地節點會出現在畫布上,並顯示旋轉狀態指示器。 系統需要幾分鐘的時間,才能將狀態變更為 內嵌。
目的地狀態變更為 內嵌之後,請選取 底部窗格中的 [數據預覽 ] 索引標籤,以確認事件數據已正確內嵌至 Lakehouse。
使用事件處理器定義即時事件處理邏輯
在本節中,當您在上一節中開始新增 Lakehouse 目的地的程序之後,您將使用事件處理器編輯器來定義事件處理邏輯。 在我們的範例中,我們不想將感測器標識符儲存在 Lakehouse 中,因此我們會使用事件處理器來移除數據行。
從已完成的 Lakehouse 目的地畫面 (尚未選取 [新增]),選取 [開啟事件處理器]。 [ 事件處理編輯器] 畫面隨即開啟。
若要新增事件處理邏輯,請選取 功能區中的 [作業] 功能表,然後選取 [ 管理欄位]。
將滑鼠停留在連接線上,然後選取 [+] 按鈕。 下拉式功能表會出現在連接線上,您可以在連接線之間插入 [管理字段 ] 運算符。
選取 [ 管理欄位 運算符] 節點。 在 [ 管理欄位 組態] 面板中,選取 [ 新增所有欄位]。 然後將滑鼠停留在感測器數據行上,選取 [...] ,然後 移除 以移除數據行。
設定 [管理欄位 ] 運算符之後,按兩下 [ 重新整理靜態預覽] 來預覽此運算子所產生的數據。
選取 [完成 ] 以儲存事件處理邏輯,並返回 Lakehouse 目的地組態畫面。
選取 [新增 ] 以完成 Lakehouse 目的地的設定。
Lakehouse 目的地節點會出現在畫布上,並顯示旋轉狀態指示器。 系統需要幾分鐘的時間,才能將狀態變更為 內嵌。
目的地狀態變更為 內嵌之後,請選取 底部窗格中的 [數據預覽 ] 索引標籤,以確認事件數據已正確內嵌至 Lakehouse。
確認 Lakehouse 中的數據
若要確認新 Lakehouse 中的事件數據,請從工作區開啟 citypwrdata lakehouse,然後選取 citypwrtbl 數據表以檢視其數據。
使用內嵌的事件數據建置Power BI報表
移至您的工作區,然後選取 citypwrdata 語意模型,當您建立新的 citypwrdata lakehouse 時,系統會自動新增此模型。
從功能區的 [ 建立報表] 功能表中,選取 [自動建立 ] 或 [從頭開始]。
選取溫度、濕度、WindSpeed 和三個區域的耗電量來調整報告,以便監視這些數據。
如果您想要自動重新整理資料,請選取 自動產生的報表中的 [編輯 ] 按鈕。 然後流覽至 [視覺效果] 底下的 [格式化] 頁面,然後選取 [頁面重新整理] 以設定重新整理間隔。
注意
- 管理員 間隔會控制最小重新整理間隔。
- 將事件數據寫入 Lakehouse 的目前間隔為兩分鐘。
當您完成調整報表時,請選取 [ 儲存 ] 按鈕並輸入名稱加以儲存。
相關內容
在本教學課程中,您已瞭解如何內嵌、篩選和轉換即時事件,並將其從 Azure 事件中樞傳送至 Delta Lake 格式的 Lakehouse。 您也瞭解如何使用 Lakehouse 建置 Power BI 報表,以可視化事件數據中的商務見解。 如果您有興趣探索使用 Fabric 事件串流功能的更進階功能,您可能會發現下列資源很有説明。
意見反應
https://aka.ms/ContentUserFeedback。
即將登場:在 2024 年,我們將逐步淘汰 GitHub 問題作為內容的意見反應機制,並將它取代為新的意見反應系統。 如需詳細資訊,請參閱:提交並檢視相關的意見反應