集區組態參考

  • 發行項

本文說明使用UI建立集區時的可用設定。 若要瞭解如何使用 Databricks CLI 建立集區，請參閱實例集區 CLI（舊版）。 若要瞭解如何使用 REST API 來建立集區，請參閱 實例集區 API。

集區大小和自動終止

當您建立集區時，若要控制其大小，您可以設定三個參數：最小閑置實例、最大容量和閑置實例自動終止。

最小閑置實例

集區保持閑置的實例數目下限。 不論自動終止設定為何，這些實例都不會終止。 如果叢集從集區取用閑置的實例，Azure Databricks 會布建其他實例以維持最小值。

容量上限

集區可以布建的最大實例數目。 如果設定，這個值會 限制所有實例 （閑置 + 已使用）。 如果在自動調整期間，使用集區的叢集要求比這個數目更多的實例，要求就會失敗併發生INSTANCE_POOL_MAX_CAPACITY_FAILURE錯誤。

此設定是 選擇性的。 Azure Databricks 建議只在下列情況下設定值：

  • 您有必須保留的實例配額。
  • 您要保護一組工作不會影響另一組工作。 例如，假設您的實例配額是 100，而且您有需要執行作業的小組 A 和 B。 您可以建立最大 50 個集區 A，以及最多 50 個集區 B，讓兩個小組公平共用 100 個配額。
  • 您需要限制成本。

閑置實例自動終止

在 [最小閑置實例] 中設定的值前，以分鐘為單位的時間，實例可以在集區終止之前處於閑置狀態。

實例類型

集區是由閑置實例所組成，可供執行叢集使用的新叢集和實例使用。 所有這些實例都是在建立集區時選取的相同實例提供者類型。

無法編輯集區的實例類型。 連結至集區的叢集會針對驅動程式和背景工作角色節點使用相同的實例類型。 不同的實例類型系列適合不同的使用案例，例如需要大量記憶體或大量計算的工作負載。

Azure Databricks 一律會在停止對實例類型的支援之前，提供一年的淘汰通知。

注意

如果您的安全性需求包含 計算隔離，請選取 Standard_F72s_V2 實例作為背景工作角色類型。 這些實例類型代表取用整個實體主機的隔離虛擬機，並提供支援所需的必要隔離等級，例如美國國防部影響等級 5 （IL5） 工作負載。

預先載入的 Databricks 執行時間版本

您可以選取要載入集區中閒置實例的 Databricks 執行時間版本，以加速叢集啟動。 如果使用者在建立集區支援的叢集時選取該運行時間，該叢集會比未使用預先載入 Databricks Runtime 版本的集區支援叢集更快速地啟動。

將此選項設定為 [無 ] 會讓叢集啟動變慢，因為它會導致 Databricks 運行時間版本視需要下載到集區中的閑置實例。 當叢集釋放集區中的實例時，Databricks 運行時間版本仍會保留在這些實例上快取。 使用相同 Databricks 運行時間版本的下一個叢集建立作業可能會受益於此快取行為，但並不保證。

預先載入的 Docker 映像

如果您使用 實例集區 API 來建立集區，則支援 Docker 映像。

集區標籤

集區標籤可讓您輕鬆地監視組織中各種群組所使用的雲端資源成本。 當您建立集區時，您可以將標記指定為索引鍵/值組，而 Azure Databricks 會將這些標籤套用至 VM 和磁碟區等雲端資源，以及 DBU 使用量報告。

為了方便起見，Azure Databricks 會將三個默認標籤套用至每個集區： Vendor、 DatabricksInstancePoolId和 DatabricksInstancePoolCreatorId。 您也可以在建立集區時新增自定義標籤。 您最多可以新增 41 個自訂標記。

自訂標籤

若要將其他標籤新增至集區，請流覽至 [建立集區] 頁面底部的 [索引卷標] 索引標籤。 按兩下 [ + 新增 ] 按鈕，然後輸入機碼/值組。

集區支援的叢集會從集區組態繼承預設和自定義標籤。 如需集區標籤和叢集標籤如何一起運作的詳細資訊，請參閱 使用標記監視使用量。

自動調整本機記憶體

通常很難估計特定作業需要多少磁碟空間。 為了讓您不必估計在建立時要連結至集區的受控磁碟數目，Azure Databricks 會自動在所有 Azure Databricks 集區上啟用自動調整本機記憶體。

使用自動調整本機記憶體，Azure Databricks 會監視集區實例上可用的可用磁碟空間量。 如果實例在磁碟上執行太低，新的受控磁碟會在磁碟空間用盡之前自動連接。 每個虛擬機的磁碟空間總計上限為 5 TB 的磁碟（包括虛擬機的初始本機記憶體）。

只有在虛擬機傳回 Azure 時，才會中斷連結至虛擬機的受控磁碟。 也就是說，只要受控磁碟是集區的一部分，就不會從虛擬機中斷連結。

現成實例

若要節省成本，您可以選取 [所有現成] 單選按鈕，選擇使用現成實例。

集區中的叢集將會針對所有節點、驅動程式和背景工作角色啟動現成實例（而不是非集區叢集的混合式隨選驅動程式和現成實例背景工作角色）。

如果現成實例因無法使用而收回，則隨選實例不會取代收回的實例。