Azure Data Factory 개요

  • 아티클

Azure Data Factory는 데이터 이동과 변환을 오케스트레이션 및 자동화하는 클라우드 기반 데이터 통합 서비스입니다. 다양한 데이터 저장소에서 데이터를 수집하고 변환/처리하며 데이터 저장소에 결과 데이터를 게시할 수 있는 Data Factory 서비스를 사용하여 데이터 통합 솔루션을 만들 수 있습니다.

현재 서비스의 버전 1(V1) 및 버전 2(V2)의 두 가지 버전이 있습니다.

버전 1

Data Factory 버전 1(V1) 서비스를 사용하면 데이터를 이동하고 변환하는 데이터 파이프라인을 만든 다음 지정된 일정(매시간, 매일, 매주 등)에 따라 파이프라인을 실행할 수 있습니다. 또한 데이터 파이프라인 간의 종속성과 계보를 표시하는 다양한 시각화를 제공하며 문제를 쉽고 정확하게 파악하고 모니터링 경고를 설정하는 통합된 단일 보기에서 모든 데이터 파이프라인을 모니터링합니다.

Data Factory V1에서 지원하는 작업 목록은 V1 REST API 참조 를 참조하세요. 서비스에 대한 자세한 내용은 Data Factory V1 소개를 참조하세요.

버전 2

Data Factory 버전 2(V2)는 Data Factory V1을 기반으로 하며 더 광범위한 클라우드 우선 데이터 통합 시나리오 집합을 지원합니다. Data Factory의 추가 기능은 다음과 같습니다.

  • 제어 흐름: 분기, 루핑 및 조건부 처리
  • Azure에서 SSIS(SQL Server Integration Services) 패키지를 배포하고 실행합니다.
  • VNET(가상 네트워크) 환경에 대한 지원.
  • 주문형 처리 능력으로 스케일 아웃합니다.
  • 주문형 Spark 클러스터에 대한 지원.
  • 증분 데이터 로드를 지원하는 유연한 일정.
  • 데이터 파이프라인을 실행하기 위한 트리거입니다.

Data Factory V2에서 지원하는 작업 목록은 V2 REST API 참조 를 참조하세요. 서비스에 대한 자세한 내용은 Data Factory V2 소개를 참조하세요.