Share via


Fabric 環境中的Spark計算組態設定

Microsoft Fabric 資料工程師 和 資料科學 體驗可在完全受控的 Spark 計算平台上運作。 此平台的設計目的是提供無與倫比的速度和效率。 其中包含入門集區和自定義集區。

Fabric 環境包含組態的集合,包括 Spark 計算屬性,可讓使用者在附加至筆記本和 Spark 作業之後設定 Spark 會話。 透過環境,您有彈性的方式可自定義執行 Spark 作業的計算組態。 在環境中,計算區段可讓您設定 Spark 工作階段層級屬性,以根據工作負載需求自定義執行程式記憶體和核心。

工作區系統管理員可以使用工作區設定畫面中 [資料工程師/Science] 區段中的 [集區] 索引標籤標的 [自定義專案的計算組態] 切換,啟用或停用計算自定義。

工作區管理員可以藉由啟用此設定,委派成員和參與者,以變更 s Fabric 環境中的預設會話層級計算組態。

顯示工作區設定中專案層級計算自定義選項的螢幕快照。

如果工作區管理員在工作區設定中停用此選項,則會停用環境的計算區段,並使用工作區的預設集區計算組態來執行Spark作業。

自定義環境中的會話層級計算屬性

身為使用者,您可以從 [網狀架構] 工作區中可用的集區清單中選取環境的集區。 網狀架構工作區管理員會建立預設入門集區和自定義集區。

此螢幕快照顯示在 [計算] 區段中選取集區的位置。

[計算 ] 區段中選取集區之後,您可以在所選集區的節點大小和限制範圍內調整執行程式的核心和記憶體。

例如:選取節點大小較大的自定義集區,也就是 16 個 Spark 虛擬核心,作為環境集區。 然後,您可以根據您的作業層級需求,選擇驅動程式/執行程式核心為 4、8 或 16。 針對配置給驅動程式和執行程式記憶體的記憶體,您可以選擇 28 g、56 g 或 112 g,這些記憶體全都在大型節點記憶體限制的範圍內。

此螢幕快照顯示在 [計算] 區段中選取核心數目的位置。

如需Spark計算大小及其核心或記憶體選項的詳細資訊,請參閱 什麼是 Microsoft Fabric 中的Spark計算?