使用 Azure Synapse Apache Spark 集區執行資料工程

中級
資料工程師
Azure Synapse Analytics

Apache Spark 是用於巨量資料分析和轉換的高度可調整的分散式處理解決方案。 可以使用 Spark 集區在 Azure Synapse Analytics 中有效率的調控其功能。

必要條件

開始此學習路徑之前,您應該先熟悉 Azure Synapse Analytics。 請考慮先完成 Azure Synapse Analytics 簡介課程模組。

此學習路徑中的課程模組

Apache Spark 是大規模資料分析的核心技術。 了解如何在 Azure Synapse Analytics 中使用 Spark 來分析和視覺化資料湖中的資料。

資料工程師通常需要轉換大量資料。 Azure Synapse Analytics 中的 Apache Spark 集區提供了分散式處理平台,他們可以使用該平台來實現此目標。

Delta Lake 是 Spark 開放原始碼關聯式儲存區域,可用於在 Azure Synapse Analytics 中實作 Data Lakehouse 架構。