향상된 자동 크기 조정을 사용하여 Delta Live Tables 파이프라인의 클러스터 사용률 최적화

  • 아티클

Databricks 향상된 자동 크기 조정은 파이프라인의 데이터 처리 대기 시간에 미치는 영향을 최소화하면서 워크로드 볼륨에 따라 클러스터 리소스를 자동으로 할당하여 클러스터 사용률을 최적화합니다.

향상된 자동 크기 조정은 다음 기능을 사용하여 Azure Databricks 클러스터 자동 크기 조정 기능을 개선합니다.

  • 향상된 자동 크기 조정은 스트리밍 워크로드의 최적화를 구현하고, 향상된 기능을 추가하여 일괄 처리 워크로드의 성능을 향상시킵니다. 향상된 자동 크기 조정은 워크로드가 변경될 때 컴퓨터를 추가하거나 제거하여 비용을 최적화합니다.
  • 향상된 자동 크기 조정은 사용률이 저조한 노드를 사전에 종료하는 동시에 종료하는 동안 실패한 작업이 없음을 보장합니다. 기존 클러스터 자동 크기 조정 기능은 노드가 유휴 상태인 경우에만 노드를 축소합니다.

고급 자동 크기 조정은 Delta Live Tables UI에서 새 파이프라인을 만들 때 기본 자동 크기 조정 모드입니다. UI에서 파이프라인 설정을 편집하여 기존 파이프라인에 대해 향상된 자동 크기 조정을 사용하도록 설정할 수 있습니다. Delta Live Tables API를 사용하여 파이프라인을 만들거나 편집할 때 고급 자동 크기 조정을 사용하도록 설정할 수도 있습니다.

향상된 자동 크기 조정 사용

참고 항목

컴퓨팅 리소스는 서버리스 파이프라인에 대해 자동으로 최적화되므로 파이프라인에 대해 서버리스(공개 미리 보기)를 선택하면 Databricks 고급 자동 크기 조정에 대한 설정을 사용할 수 없습니다.

서버리스 DLT 파이프라인을 사용하도록 설정하는 방법을 알아보려면 Azure Databricks 계정 팀에 문의하세요.

향상된 자동 크기 조정을 사용하려면 다음 중 하나를 수행합니다.

  • Delta Live Tables UI에서 파이프라인을 만들거나 파이프라인을 편집할 때 클러스터 모드를 향상된 자동 크기 조정으로 설정합니다.
  • autoscale 파이프라인 클러스터 구성에 설정을 추가하고 필드를 ENHANCED.로 설정합니다mode. 컴퓨팅 설정 구성을 참조하세요.

프로덕션 파이프라인에 대해 향상된 자동 크기 조정을 구성할 때는 다음 지침을 사용합니다.

  • Min workers 설정을 기본값으로 둡니다.
  • Max workers 설정을 예산 및 파이프라인 우선 순위를 기준으로 하는 값으로 설정합니다.

다음 예제에서는 최소 5명의 작업자와 최대 10명의 작업자를 사용하여 향상된 자동 크기 조정 클러스터를 구성합니다. max_workers 는 .보다 크거나 같아야 합니다 min_workers.

참고 항목

  • 향상된 자동 크기 조정은 클러스터에 updates 만 사용할 수 있습니다. 기존 자동 크기 조정 기능은 클러스터에 maintenance 사용됩니다.
  • 구성에는 autoscale 두 가지 모드가 있습니다. 
{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

파이프라인이 연속 실행을 위해 구성된 경우 자동 크기 조정 구성이 변경된 후 파이프라인이 자동으로 다시 시작됩니다. 다시 시작한 후에는 짧은 기간 동안 대기 시간이 증가할 것으로 예상합니다. 짧은 기간 동안 대기 시간이 늘어나면 autoscale 구성에 따라 클러스터 크기를 업데이트해야 하며 파이프라인 대기 시간은 이전 대기 시간 특성으로 반환됩니다.

향상된 자동 크기 조정 사용 파이프라인 모니터링

Delta Live Tables 사용자 인터페이스에서 이벤트 로그를 사용하여 향상된 자동 크기 조정 메트릭을 모니터링할 수 있습니다. 향상된 자동 크기 조정 이벤트에는 autoscale 이벤트 유형이 있습니다. 다음은 예제 이벤트입니다.

이벤트 메시지
클러스터 크기 조정 요청이 시작됨 Scaling [up or down] to <y> executors from current cluster size of <x>
클러스터 크기 조정 요청이 성공함 Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED
클러스터 크기 조정 요청이 부분적으로 성공함 Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED
클러스터 크기 조정 요청이 실패함 Achieved cluster size <x> for cluster <cluster-id> with status FAILED

이벤트 로그를 직접 쿼리하여 향상된 자동 크기 조정 이벤트를 볼 수도 있습니다.

  • 이벤트 로그에서 백로그 메트릭을 쿼리하려면 이벤트 로그를 쿼리하여 데이터 백로그 모니터링을 참조 하세요.
  • 향상된 자동 크기 조정 작업 중에 클러스터 크기 조정 요청 및 응답을 모니터링하려면 이벤트 로그에서 향상된 자동 크기 조정 이벤트 모니터링을 참조 하세요.