使用增強式自動調整優化差異實時數據表管線的叢集使用率

Databricks 增強式自動調整可藉由根據工作負載磁碟區自動配置叢集資源，以將叢集資源優化，對管線數據處理延遲的影響最小。

增強的自動調整可改善 Azure Databricks 叢集自動調整功能 ，並具有下列功能：

• 增強的自動調整會實作串流工作負載的優化，並新增增強功能來改善批次工作負載的效能。 增強的自動調整可藉由在工作負載變更時新增或移除計算機，將成本優化。
• 增強型自動調整會主動關閉使用量過低的節點，同時保證關機期間沒有失敗的工作。 只有在節點閑置時，現有的叢集自動調整功能才會相應減少節點。

增強型自動調整是當您在 Delta Live Tables UI 中建立新管線時的預設自動調整模式。 您可以編輯 UI 中的管線設定，以啟用現有管線的增強式自動調整。 您也可以使用 Delta Live Tables API 建立或編輯管線時啟用增強式自動調整。

啟用增強型自動調整

若要使用增強型自動調整，請執行下列其中一項動作：

• 當您在 Delta Live Tables UI 中建立管線或編輯管線時，將叢集模式設定為增強的自動調整。
• 設定 autoscale 新增至管線叢集組態，並將欄位設定 mode 為 ENHANCED。 請參閱 設定計算設定。

設定生產管線的增強式自動調整時，請使用下列指導方針：

• Min workers將設定保留為預設值。
• 根據 Max workers 預算和管線優先順序，將 設定為值。

下列範例會設定具有至少5個背景工作角色和最多10個背景工作角色的增強式自動調整叢集。 max_workers 必須大於或等於 min_workers。

注意

• 增強型自動調整 updates 僅適用於叢集。 現有的自動調整功能會用於 maintenance 叢集。
• 組 autoscale 態有兩種模式：
  • LEGACY：使用 叢集自動調整。
  • ENHANCED：使用增強型自動調整。

{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

如果管線設定為持續執行，管線會在自動調整組態變更之後自動重新啟動。 重新啟動之後，預期會有短暫的延遲增加。 在這段短暫的延遲增加期間之後，叢集大小應根據您的 autoscale 設定來更新，而管線延遲會傳回至其先前的延遲特性。

監視已啟用增強的自動調整管線

您可以使用 Delta Live Tables 使用者介面中的事件記錄檔來監視增強型自動調整計量。 增強型自動調整事件具有 autoscale 事件類型。 以下是範例事件：

活動	訊息
叢集重設大小要求已啟動	Scaling [up or down] to <y> executors from current cluster size of <x>
叢集重設大小要求成功	Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED
叢集重設大小要求部分成功	Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED
叢集重設大小要求失敗	Achieved cluster size <x> for cluster <cluster-id> with status FAILED

您也可以直接查詢 事件記錄檔來檢視增強型自動調整事件：

• 若要查詢待辦專案計量的事件記錄檔，請參閱 查詢事件記錄檔來監視數據待辦專案。
• 若要在增強式自動調整作業期間監視叢集調整要求和回應，請參閱 監視事件記錄檔中的增強式自動調整事件。