Delta Live Tables

Delta Live Tables는 안정적이고 유지 관리가 가능하며 테스트할 수 있는 데이터 처리 파이프라인을 빌드하기 위한 프레임워크입니다. 사용자는 데이터에 대해 수행할 변환을 정의하고, Delta Live Tables는 작업 오케스트레이션, 클러스터 관리, 모니터링, 데이터 품질 및 오류 처리를 관리합니다.

여러 가지 Apache Spark 작업을 사용하여 데이터 파이프라인을 정의하는 대신 Delta Live Tables는 각 처리 단계에 대해 사용자가 정의하는 대상 스키마를 기반으로 데이터를 변환하는 방법을 관리합니다. Delta Live Tables 기대치를 사용하여 데이터 품질을 적용할 수도 있습니다. 기대치를 사용하면 예상 데이터 품질을 정의하고 이러한 기대에 실패한 레코드를 처리하는 방법을 지정할 수 있습니다.

Delta Live Tables를 시작하려면:

  • 빠른 시작으로 첫 번째 Delta Live Tables 파이프라인을 개발합니다.
  • 기본적인 Delta Live Tables 개념에 대해 알아봅니다.
  • Delta Live Tables 사용자 인터페이스를 사용하여 파이프라인을 만들기, 실행 및 관리하는 방법을 알아봅니다.
  • Python 또는 SQL을 사용하여 Delta Live Tables 파이프라인을 개발하는 방법을 알아봅니다.
  • 예상으로 Delta Live Tables 파이프라인에서 데이터 품질을 관리하는 방법을 알아봅니다.

Delta Live Tables에 대해 자세히 알아보기:

Delta Live Tables에 대한 답변과 솔루션 찾기:

  • Delta Live Tables 파이프라인에서 일반적인 작업 구현: 쿡북
  • 질문과 대답 및 문제 검토: FAQ