Delta Live Tables에 대한 파이프라인 설정 구성

아티클
05/03/2024

이 문서에서는 Delta Live Tables에 대한 파이프라인 설정을 구성하는 방법에 대한 세부 정보를 제공합니다. Delta Live Tables는 파이프라인 설정을 구성하고 편집하기 위한 사용자 인터페이스를 제공합니다. 또한 UI는 JSON에서 설정을 표시하고 편집하는 옵션을 제공합니다.

참고 항목

대부분의 설정은 UI 또는 JSON 사양으로 구성할 수 있습니다. 일부 고급 옵션은 JSON 구성을 통해서만 사용할 수 있습니다.

Databricks는 UI를 사용하여 델타 라이브 테이블 설정을 숙지하는 것이 좋습니다. 필요한 경우 작업 영역에서 JSON 구성을 직접 편집할 수 있습니다. JSON 구성 파일은 파이프라인을 새 환경에 배포하거나 CLI 또는 REST API를 사용하는 경우에도 유용합니다.

Delta Live Tables JSON 구성 설정에 대한 전체 참조는 Delta Live Tables 파이프라인 구성을 참조 하세요.

참고 항목

컴퓨팅 리소스는 서버리스 파이프라인에 대해 완전히 관리되므로 파이프라인에 대해 서버리스(공개 미리 보기)를 선택할 때 고급 자동 크기 조정, 클러스터 정책, 인스턴스 유형 및 클러스터 태그와 같은 컴퓨팅 설정을 사용할 수 없습니다.

여전히 구성 매개 변수를 서버리스 파이프라인에 전달할 수 있지만 JSON 구성의 개체에 clusters 설정된 매개 변수는 무시됩니다.

서버리스 DLT 파이프라인을 사용하도록 설정하는 방법을 알아보려면 Azure Databricks 계정 팀에 문의하세요.

제품 버전 선택

파이프라인 요구 사항에 가장 적합한 기능을 사용하여 Delta Live Tables 제품 버전을 선택합니다. 다음 제품 버전을 사용할 수 있습니다.

Core: 스트리밍 수집 워크로드를 실행합니다. 파이프라인에 Core CDC(변경 데이터 캡처) 또는 Delta Live Tables 예상과 같은 고급 기능이 필요하지 않은 경우 버전을 선택합니다.
Pro: 스트리밍 수집 및 CDC 워크로드를 실행합니다. Pro 제품 버전은 모든 Core 기능을 지원하며 원본 데이터의 변경 내용에 따라 테이블을 업데이트해야 하는 워크로드를 지원합니다.
Advanced: 예상이 필요한 스트리밍 수집 워크로드, CDC 워크로드 및 워크로드를 실행합니다. Advanced 제품 버전은 Core 및 Pro 버전의 기능을 지원하며 Delta Live Tables 기대치에 따라 데이터 품질 제약 조건 적용을 지원합니다.

파이프라인을 만들거나 편집할 때 제품 버전을 선택할 수 있습니다. 각 파이프라인에 대해 다른 버전을 선택할 수 있습니다. Delta Live Tables 제품 페이지를 참조하세요.

참고 항목

파이프라인에 선택한 제품 버전에서 지원되지 않는 기능(예: 예상)이 포함된 경우 오류의 원인과 함께 오류 메시지가 표시됩니다. 그런 다음 파이프라인을 편집하여 적절한 버전을 선택할 수 있습니다.

파이프라인 모드 선택

파이프라인 모드에 따라 파이프라인을 지속적으로 또는 수동 트리거로 업데이트할 수 있습니다. 연속 및 트리거된 파이프라인 실행을 참조하세요.

클러스터 정책 선택

사용자는 Delta Live Tables 파이프라인을 구성하고 업데이트하기 위해 컴퓨팅을 배포할 수 있는 권한이 있어야 합니다. 작업 영역 관리자는 사용자에게 Delta Live Tables의 컴퓨팅 리소스에 대한 액세스 권한을 제공하도록 클러스터 정책을 구성할 수 있습니다. Delta Live Tables 파이프라인 컴퓨팅에 대한 제한 정의를 참조 하세요.

참고 항목

클러스터 정책은 선택 사항입니다. Delta Live Tables에 필요한 컴퓨팅 권한이 없는 경우 작업 영역 관리자에게 문의하세요.
클러스터 정책 기본값이 올바르게 적용되도록 하려면 파이프라인 구성의 클러스터 구성에서 값을 true 설정합니다apply_policy_default_values.
```
{
  "clusters": [
    {
      "label": "default",
      "policy_id": "<policy-id>",
      "apply_policy_default_values": true
    }
  ]
}
```

소스 코드 라이브러리 구성

Delta Live Tables UI의 파일 선택기를 사용하여 파이프라인을 정의하는 소스 코드를 구성할 수 있습니다. 파이프라인 소스 코드는 Databricks Notebook 또는 작업 영역 파일에 저장된 SQL 또는 Python 스크립트에 정의됩니다. 파이프라인을 만들거나 편집할 때 하나 이상의 Notebook 또는 작업 영역 파일 또는 Notebook 및 작업 영역 파일의 조합을 추가할 수 있습니다.

Delta Live Tables는 데이터 세트 종속성을 자동으로 분석하여 파이프라인에 대한 처리 그래프를 생성하므로 소스 코드 라이브러리를 순서대로 추가할 수 있습니다.

작업 영역 파일에 저장된 SQL 및 Python 스크립트에 정의된 Delta Live Tables 소스 코드를 포함하도록 JSON 파일을 수정할 수도 있습니다. 다음 예제에는 Notebook 및 작업 영역 파일이 포함됩니다.

{
  "name": "Example pipeline 3",
  "storage": "dbfs:/pipeline-examples/storage-location/example3",
  "libraries": [
    { "notebook": { "path": "/example-notebook_1" } },
    { "notebook": { "path": "/example-notebook_2" } },
    { "file": { "path": "/Workspace/Users/<user-name>@databricks.com/Apply_Changes_Into/apply_changes_into.sql" } },
    { "file": { "path": "/Workspace/Users/<user-name>@databricks.com/Apply_Changes_Into/apply_changes_into.py" } }
  ]
}

스토리지 위치 지정

Hive 메타스토어에 게시하는 파이프라인의 스토리지 위치를 지정할 수 있습니다. 위치를 지정하는 주된 동기는 파이프라인에서 작성한 데이터의 개체 스토리지 위치를 제어하는 것입니다.

Delta Live Tables 파이프라인에 대한 모든 테이블, 데이터, 검사point 및 메타데이터는 Delta Live Tables에서 완전히 관리되므로 대부분의 델타 라이브 테이블 데이터 세트와의 상호 작용은 Hive 메타스토어 또는 Unity 카탈로그에 등록된 테이블을 통해 수행됩니다.

파이프라인 출력 테이블의 대상 스키마 지정

선택 사항이지만 새 파이프라인에 대한 개발 및 테스트를 넘어 언제든지 파이프라인에서 만든 테이블을 게시할 대상을 지정해야 합니다. 대상에 파이프라인을 게시하면 Azure Databricks 환경의 다른 위치에서 쿼리할 수 있는 데이터 세트를 사용할 수 있습니다. Delta Live Tables에서 Hive 메타스토어로 데이터 게시 또는 Delta Live Tables 파이프라인과 함께 Unity 카탈로그 사용을 참조하세요.

컴퓨팅 설정 구성

참고 항목

컴퓨팅 리소스는 서버리스 파이프라인에 대해 완전히 관리되므로 파이프라인에 대해 서버리스(공개 미리 보기)를 선택하면 컴퓨팅 설정을 사용할 수 없습니다.

각 Delta Live Tables 파이프라인에는 다음과 같은 두 개의 연결된 클러스터가 있습니다.

클러스터는 updates 파이프라인 업데이트를 처리합니다.
클러스터는 maintenance 매일 기본 테넌트 작업을 실행합니다.

이러한 클러스터에서 사용하는 구성은 파이프라인 설정에 clusters 지정된 특성에 따라 결정됩니다.

클러스터 레이블을 사용하여 특정 유형의 클러스터에만 적용되는 컴퓨팅 설정을 추가할 수 있습니다. 파이프라인 클러스터를 구성할 때 사용할 수 있는 세 가지 레이블이 있습니다.

참고 항목

클러스터 구성을 하나만 정의하는 경우 클러스터 레이블 설정을 생략할 수 있습니다. default 레이블에 대한 설정이 제공되지 않으면 레이블이 클러스터 구성에 적용됩니다. 클러스터 레이블 설정은 다른 클러스터 유형에 대한 설정을 사용자 지정해야 하는 경우에만 필요합니다.

레이블은 default 클러스터와 maintenance 클러스터 모두 updates 에 적용할 컴퓨팅 설정을 정의합니다. 두 클러스터에 동일한 설정을 적용하면 필요한 구성(예: 스토리지 위치에 대한 데이터 액세스 자격 증명)이 기본 테넌스 클러스터에 적용되도록 하여 기본 테넌스 실행의 안정성을 향상시킵니다.
레이블은 maintenance 클러스터에만 maintenance 적용할 컴퓨팅 설정을 정의합니다. 레이블을 사용하여 레이블에 maintenance 의해 구성된 설정을 재정의할 default 수도 있습니다.
레이블은 updates 클러스터에만 updates 적용할 설정을 정의합니다. 레이블을 updates 사용하여 클러스터에 적용 maintenance 해서는 안 되는 설정을 구성합니다.

및 updates 레이블을 default 사용하여 정의된 설정 병합되어 클러스터에 대한 최종 구성을 updates 만듭니다. 레이블과 updates 레이블을 모두 default 사용하여 동일한 설정을 정의한 경우 레이블로 updates 정의된 설정이 레이블로 정의된 설정을 재정의 default 합니다.

다음 예제에서는 클러스터의 구성에만 추가되는 Spark 구성 매개 변수를 updates 정의합니다.

{
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    },
    {
      "label": "updates",
      "spark_conf": {
         "key": "value"
      }
    }
  ]
}

Delta Live Tables는 Azure Databricks의 다른 컴퓨팅과 유사한 클러스터 설정 옵션을 제공합니다. 다른 파이프라인 설정과 마찬가지로 클러스터에 대한 JSON 구성을 수정하여 UI에 없는 옵션을 지정할 수 있습니다. 컴퓨팅을 참조하세요.

참고 항목

Delta Live Tables 런타임은 파이프라인 클러스터의 수명 주기를 관리하고 사용자 지정 버전의 Databricks Runtime을 실행하므로 Spark 버전 또는 클러스터 이름과 같은 파이프라인 구성에서 일부 클러스터 설정을 수동으로 설정할 수 없습니다. 사용자 설정이 불가능한 클러스터 특성을 참조 하세요.
Photon을 활용하도록 Delta Live Tables 파이프라인을 구성할 수 있습니다. Photon이란?을 참조하세요.

파이프라인을 실행할 인스턴스 유형 선택

기본적으로 Delta Live Tables는 파이프라인을 실행하는 드라이버 및 작업자 노드에 대한 인스턴스 유형을 선택하지만 인스턴스 유형을 수동으로 구성할 수도 있습니다. 예를 들어 파이프라인 성능을 향상시키거나 파이프라인을 실행할 때 메모리 문제를 해결하기 위해 인스턴스 유형을 선택할 수 있습니다. REST API 또는 Delta Live Tables UI에서 파이프라인을 만들거나 편집할 때 인스턴스 유형을 구성할 수 있습니다.

Delta Live Tables UI에서 파이프라인을 만들거나 편집할 때 인스턴스 유형을 구성하려면 다음을 수행합니다.

설정 단추를 클릭합니다.
파이프라인 설정의 고급 섹션에서 작업자 유형 및 드라이버 유형 드롭다운 메뉴에서 파이프라인의 인스턴스 유형을 선택합니다.

파이프라인의 JSON 설정에서 인스턴스 유형을 구성하려면 JSON 단추를 클릭하고 클러스터 구성에 인스턴스 유형 구성을 입력합니다.

참고 항목

이 예제에서는 클러스터에 불필요한 리소스를 maintenance 할당하지 않도록 레이블을 updates 사용하여 클러스터에 대해서만 updates 인스턴스 유형을 설정합니다. 인스턴스 유형과 maintenance 클러스터 모두 updates 에 인스턴스 유형을 할당하려면 레이블을 default 사용하거나 레이블에 대한 설정을 생략합니다. default 레이블에 대한 설정이 제공되지 않으면 레이블이 파이프라인 클러스터 구성에 적용됩니다. 컴퓨팅 설정 구성을 참조하세요.

{
  "clusters": [
    {
      "label": "updates",
      "node_type_id": "Standard_D12_v2",
      "driver_node_type_id": "Standard_D3_v2",
      "..." : "..."
    }
  ]
}

자동 크기 조정을 사용하여 효율성을 높이고 리소스 사용량 줄이기

향상된 자동 크기 조정을 사용하여 파이프라인의 클러스터 사용률을 최적화합니다. 향상된 자동 크기 조정은 시스템에서 파이프라인 처리 속도를 높여줄 것으로 판단한 경우에만 리소스를 추가합니다. 리소스는 더 이상 필요하지 않을 때 해제되고 모든 파이프라인 업데이트가 완료되는 즉시 클러스터가 종료됩니다.

구성 세부 정보를 포함하여 향상된 자동 크기 조정에 대한 자세한 내용은 향상된 자동 크기 조정을 사용하여 Delta Live Tables 파이프라인의 클러스터 사용률 최적화를 참조하세요.

컴퓨팅 종료 지연

Delta Live Tables 클러스터는 사용하지 않을 때 자동으로 종료되므로 클러스터 구성에서 autotermination_minutes를 설정하는 클러스터 정책을 참조하면 오류가 발생합니다. 클러스터 종료 동작을 제어하려면 개발 또는 프로덕션 모드를 사용하거나 파이프라인 구성에서 설정을 사용할 pipelines.clusterShutdown.delay 수 있습니다. 다음 예제에서는 pipelines.clusterShutdown.delay 값을 60초로 설정합니다.

{
    "configuration": {
      "pipelines.clusterShutdown.delay": "60s"
    }
}

production 모드가 사용되는 경우 pipelines.clusterShutdown.delay의 기본값은 0 seconds다. development 모드가 사용되는 경우 기본값은 2 hours다.

단일 노드 클러스터 만들기

클러스터 설정에서 num_workers를 0으로 설정하면 클러스터가 단일 노드 클러스터로 만들어집니다. 자동 크기 조정 클러스터를 구성하고 min_workers를 0으로, max_workers를 0으로 설정하면 단일 노드 클러스터도 만들어집니다.

자동 크기 조정 클러스터를 구성하고 min_workers만 0으로 설정하면 클러스터가 단일 노드 클러스터로 만들어지지 않습니다. 클러스터에는 종료될 때까지 항상 1명 이상의 활성 작업자가 있습니다.

Delta Live Tables에서 단일 노드 클러스터를 만드는 클러스터 구성 예제:

{
    "clusters": [
      {
        "num_workers": 0
      }
    ]
}

클러스터 태그 구성

클러스터 태그를 사용하여 파이프라인 클러스터의 사용량을 모니터링할 수 있습니다. 파이프라인을 만들거나 편집할 때 또는 파이프라인 클러스터에 대한 JSON 설정을 편집함으로써 Delta Live Tables UI에 클러스터 태그를 추가합니다.

드 스토리지 구성

Azure Storage에 액세스하려면 클러스터 구성의 spark.conf 설정을 사용하여 액세스 토큰을 비롯한 필수 매개 변수를 구성해야 합니다. ADLS Gen2(Azure Data Lake Storage Gen2) 스토리지 계정에 대한 액세스를 구성하는 예제는 파이프라인의 비밀을 사용하여 스토리지 자격 증명에 안전하게 액세스하는 방법을 참조하세요.

파이프라인 매개 변수화

데이터 세트를 정의하는 Python 및 SQL 코드는 파이프라인의 설정에 의해 매개 변수화될 수 있습니다. 매개 변수화를 사용하면 다음과 같은 사용 사례를 사용할 수 있습니다.

코드에서 긴 경로 및 기타 변수를 분리합니다.
테스트 속도를 높이기 위해 개발 또는 스테이징 환경에서 처리되는 데이터의 양을 줄입니다.
동일한 변환 논리를 다시 사용하여 여러 데이터 원본에서 처리합니다.

다음 예제에서는 startDate 구성 값을 사용하여 개발 파이프라인을 입력 데이터의 하위 집합으로 제한합니다.

CREATE OR REFRESH LIVE TABLE customer_events
AS SELECT * FROM sourceTable WHERE date > '${mypipeline.startDate}';

@dlt.table
def customer_events():
  start_date = spark.conf.get("mypipeline.startDate")
  return read("sourceTable").where(col("date") > start_date)

{
  "name": "Data Ingest - DEV",
  "configuration": {
    "mypipeline.startDate": "2021-01-02"
  }
}

{
  "name": "Data Ingest - PROD",
  "configuration": {
    "mypipeline.startDate": "2010-01-02"
  }
}

파이프라인 트리거 간격

pipelines.trigger.interval은 테이블 또는 전체 파이프라인을 업데이트하는 흐름에 대한 트리거 간격을 제어하는 데 사용할 수 있습니다. 트리거된 파이프라인은 각 테이블을 한 번만 pipelines.trigger.interval 처리하므로 연속 파이프라인에서만 사용됩니다.

스트리밍과 일괄 처리 쿼리의 기본값이 다르기 때문에 Databricks에서는 pipelines.trigger.interval을 개별 테이블마다 설정할 것을 권장합니다. 처리 시 전체 파이프라인 그래프에 대한 업데이트를 제어해야 하는 경우에만 파이프라인의 값을 설정합니다.

Python의 spark_conf 또는 SQL의 SET를 사용하여 테이블에 pipelines.trigger.interval을 설정합니다.

@dlt.table(
  spark_conf={"pipelines.trigger.interval" : "10 seconds"}
)
def <function-name>():
    return (<query>)

SET pipelines.trigger.interval=10 seconds;

CREATE OR REFRESH LIVE TABLE TABLE_NAME
AS SELECT ...

파이프라인에 pipelines.trigger.interval을 설정하려면 파이프라인 설정의 configuration 개체에 추가합니다.

{
  "configuration": {
    "pipelines.trigger.interval": "10 seconds"
  }
}

관리자가 아닌 사용자가 Unity 카탈로그 사용 파이프라인에서 드라이버 로그를 볼 수 있도록 허용

기본적으로 파이프라인 소유자 및 작업 영역 관리자만 Unity 카탈로그 사용 파이프라인을 실행하는 클러스터에서 드라이버 로그를 볼 수 있는 권한이 있습니다. 파이프라인 설정의 개체에 다음 Spark 구성 매개 변수 configuration 를 추가하여 CAN MANAGE, CAN VIEW 또는 CAN RUN 권한을 가진 모든 사용자에 대한 드라이버 로그에 대한 액세스를 사용하도록 설정할 수 있습니다.

{
  "configuration": {
    "spark.databricks.acl.needAdminPermissionToViewLogs": "false"
  }
}

파이프라인 이벤트에 대한 메일 알림 추가

다음이 발생할 때 알림을 받도록 하나 이상의 전자 메일 주소를 구성할 수 있습니다.

파이프라인 업데이트가 성공적으로 완료되었습니다.
다시 시도하거나 다시 시도할 수 없는 오류로 파이프라인 업데이트가 실패합니다. 모든 파이프라인 오류에 대한 알림을 받으려면 이 옵션을 선택합니다.
다시 시도할 수 없는(심각한) 오류로 파이프라인 업데이트가 실패합니다. 다시 시도할 수 없는 오류가 발생한 경우에만 알림을 받으려면 이 옵션을 선택합니다.
단일 데이터 흐름이 실패합니다.

파이프라인을 만들거나 편집할 때 메일 알림 구성하려면 다음을 수행합니다.

알림 추가를 클릭합니다.
알림을 받을 전자 메일 주소를 하나 이상 입력합니다.
구성된 전자 메일 주소로 보낼 각 알림 유형에 대한 검사 상자를 클릭합니다.
알림 추가를 클릭합니다.

SCD 유형 1 쿼리에 대한 삭제 표시 관리 제어

다음 설정을 사용하여 SCD 유형 1 처리 중에 이벤트에 대한 DELETE 삭제 표시 관리 동작을 제어할 수 있습니다.

pipelines.applyChanges.tombstoneGCThresholdInSeconds: 순서가 맞지 않은 데이터 간에 예상되는 가장 높은 간격(초)에 일치하도록 이 값을 설정합니다. 기본값은 172800초(2일)입니다.
pipelines.applyChanges.tombstoneGCFrequencyInSeconds: 이 설정은 삭제 표시가 클린 위해 검사 빈도(초)를 제어합니다. 기본값은 1800초(30분)입니다.

APPLY CHANGES API: Delta Live Tables에서 변경 데이터 캡처 간소화를 참조하세요.

파이프라인 권한 구성

파이프라인에 CAN MANAGE 대한 사용 권한을 관리하려면 파이프라인에 대한 사용 권한 또는 IS OWNER 권한이 있어야 합니다.

사이드바에서 델타 라이브 테이블을 클릭합니다.
파이프라인의 이름을 선택합니다.
케밥 메뉴를 클릭하고 사용 권한을 선택합니다.
사용 권한 설정 사용자, 그룹 또는 서비스 주체 선택... 드롭다운 메뉴를 선택한 다음, 사용자, 그룹 또는 서비스 주체를 선택합니다.
권한 드롭다운 메뉴에서 사용 권한을 선택합니다.
추가를 클릭합니다.
저장을 클릭합니다.

델타 라이브 테이블에 대해 RocksDB 상태 저장소 사용

파이프라인을 배포하기 전에 다음 구성을 설정하여 RocksDB 기반 상태 관리를 사용하도록 설정할 수 있습니다.

{
  "configuration": {
     "spark.sql.streaming.stateStore.providerClass": "com.databricks.sql.streaming.state.RocksDBStateStoreProvider"
  }
}

RocksDB에 대한 구성 권장 사항을 포함하여 RocksDB 상태 저장소에 대한 자세한 내용은 Azure Databricks에서 RocksDB 상태 저장소 구성을 참조 하세요.

Delta Live Tables에 대한 파이프라인 설정 구성

제품 버전 선택

파이프라인 모드 선택

클러스터 정책 선택

소스 코드 라이브러리 구성

스토리지 위치 지정

파이프라인 출력 테이블의 대상 스키마 지정

컴퓨팅 설정 구성

파이프라인을 실행할 인스턴스 유형 선택

자동 크기 조정을 사용하여 효율성을 높이고 리소스 사용량 줄이기

컴퓨팅 종료 지연

단일 노드 클러스터 만들기

클러스터 태그 구성

드 스토리지 구성

파이프라인 매개 변수화

파이프라인 트리거 간격

관리자가 아닌 사용자가 Unity 카탈로그 사용 파이프라인에서 드라이버 로그를 볼 수 있도록 허용

파이프라인 이벤트에 대한 메일 알림 추가

SCD 유형 1 쿼리에 대한 삭제 표시 관리 제어

파이프라인 권한 구성

델타 라이브 테이블에 대해 RocksDB 상태 저장소 사용

피드백

피드백

추가 리소스