在 Microsoft Fabric 中 資料工程師 檔

Microsoft Fabric 中的數據工程可讓用戶設計、建置和維護基礎結構與系統，讓組織能夠收集、儲存、處理和分析大量數據。

關於 資料工程師

概觀

• 什麼是數據工程？
• 什麼是 Lakehouse？
• 工作區角色和許可權

開始使用湖屋

開始使用

• 建立 Lakehouse
• 流覽 Lakehouse 總管

操作指南

• 使用筆記本將數據放入 Lakehouse

開始使用筆記本

開始使用

• Microsoft Fabric 筆記本

操作指南

• 建置和管理筆記本
• 使用筆記本探索 Lakehouse 數據
• 將筆記本可視化
• 筆記本原始檔控制和部署
• 在筆記本中使用 MSSparkUtils

Delta Lake

概念

• Lakehouse 和 Delta 數據表

操作指南

• 差異優化和 V 順序
• 載入數據表

Lakehouse 端對端教學課程

概念

• Lakehouse 案例概觀

教學課程

• 步驟 1 - 建立工作區
• 步驟 2 - 建立 Lakehouse
• 步驟 3 - 將數據內嵌至 Lakehouse
• 步驟 4 - 將資料轉換成差異數據表
• 步驟 5 - 建置報表
• 步驟 6 - 清除資源

Apache Spark

概念

• Apache Spark 工作定義
• Spark 監視概觀
• Apache Spark 建議程式

開始使用

• 建立Spark作業定義
• 使用網狀架構 API 建立 Spark 作業定義
• Spark 作業定義 Git 整合

操作指南

• 排程並執行Spark作業定義
• 監視 Spark 應用程式
• 管理 Apache Spark 連結庫
• 如何使用 Fabric MSSparkUtils
• 設定容量設定

VS Code 整合

操作指南

• 從 VS Code 使用筆記本
• 搭配資源使用 VS Code 的筆記本
• 從 VS Code 使用 Spark 作業定義
• 探索 VS Code 的 Lakehouse
• 從 VS Code Web 體驗開發筆記本

開始使用環境

開始使用

• Microsoft Fabric 環境

操作指南

• 管理環境中的Spark計算
• 管理環境中的連結庫
• 將現有的工作區連結庫和Spark屬性移轉至環境