Delta Live Tables 파이프라인에서 Hive 메타스토어로 데이터 게시

Hive 메타스토어에 데이터 세트를 게시하여 파이프라인의 출력 데이터를 검색 가능하고 쿼리할 수 있도록 할 수 있습니다. 메타스토어에 데이터 세트를 게시하려면 파이프라인을 만들 때 대상 필드에 스키마 이름을 입력합니다. 대상 데이터베이스를 기존 파이프라인에 추가할 수도 있습니다.

기본적으로 Delta Live Tables에서 만든 모든 테이블과 뷰는 파이프라인에 로컬입니다. 테이블이 선언된 파이프라인 외부에서 델타 라이브 테이블 데이터 세트를 쿼리하거나 사용하려면 대상 스키마에 테이블을 게시해야 합니다.

파이프라인에서 Unity 카탈로그로 테이블을 게시하려면 Delta Live Tables 파이프라인에서 Unity 카탈로그 사용을 참조하세요.

델타 라이브 테이블 데이터 세트를 스키마에 게시하는 방법

파이프라인 설정 및 파이프라인 만들기 UI의 대상 스키마 필드를 사용하여 Delta Live Tables 파이프라인의 모든 테이블에 대한 대상 스키마를 선언할 수 있습니다.

값을 설정하여 JSON 구성에서 스키마를 target 지정할 수도 있습니다.

파이프라인에 대한 업데이트를 실행하여 결과를 대상 스키마에 게시해야 합니다.

이 기능을 여러 환경 구성과 함께 사용하여 환경에 따라 다른 스키마에 게시할 수 있습니다. 예를 들어 개발용 dev 스키마와 프로덕션 데이터의 스키마에 prod 게시할 수 있습니다.

Delta Live Tables에서 데이터 세트를 쿼리하는 방법

업데이트가 완료되면 스키마 및 테이블을 보거나, 데이터를 쿼리하거나, 다운스트림 애플리케이션에서 데이터를 사용할 수 있습니다.

게시된 후에는 대상 스키마에 액세스할 수 있는 모든 환경에서 Delta Live Tables 테이블을 쿼리할 수 있습니다. 여기에는 Databricks SQL, Notebook 및 기타 Delta Live Tables 파이프라인이 포함됩니다.

Important

target 구성을 만들 때 테이블 및 관련 메타데이터만 게시됩니다. 보기는 메타스토어에 게시되지 않습니다.

대상 스키마에서 테이블 제외

외부 사용을 위한 것이 아닌 중간 테이블을 계산해야 하는 경우 키워드(keyword) 사용하여 TEMPORARY 스키마에 게시되지 않도록 할 수 있습니다. 임시 테이블은 여전히 Delta Live Tables 의미 체계에 따라 데이터를 저장하고 처리하지만 현재 파이프라인 외부에서 액세스해서는 안 됩니다. 임시 테이블은 생성되는 파이프라인의 수명 동안 유지됩니다. 다음 구문을 사용하여 임시 테이블을 선언합니다.

SQL

CREATE TEMPORARY LIVE TABLE temp_table
AS SELECT ... ;

Python

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")