Azure Data Factory 또는 Synapse 파이프라인을 사용하여 Azure Synapse Analytics로 데이터 로드
적용 대상:
Azure Data Factory Azure Synapse Analytics
팁
기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!
Azure Synapse Analytics는 대용량 관계형 및 비관계형 데이터를 처리할 수 있는 클라우드 기반 스케일 아웃 데이터베이스입니다. Azure Synapse Analytics는 엔터프라이즈 데이터 웨어하우스 워크로드에 최적화된 MPP(Massively Parallel Processing) 아키텍처를 기반으로 합니다. 스토리지를 확장하고 개별적으로 계산할 수 있는 클라우드 탄력성을 유연하게 제공합니다.
이제 Azure Synapse Analytics로 시작하는 것이 그 어느 때보다 쉬워졌습니다. Azure Synapse 자체 내에 있는 Azure Data Factory와 해당 파이프라인 기능은 완전 관리형 클라우드 기반 데이터 통합 서비스를 제공합니다. 분석 솔루션을 빌드할 때 서비스를 사용하여 Azure Synapse Analytics를 기존 시스템의 데이터로 채우면 시간을 절약할 수 있습니다.
Azure Data Factory 및 Synapse 파이프라인은 Azure Synapse Analytics로 데이터를 로드할 경우 다음과 같은 혜택을 제공합니다.
- 간편한 설정: 스크립팅이 필요 없는 직관적인 5단계 마법사.
- 다양한 데이터 저장소 지원: 다양한 온-프레미스 및 클라우드 기반 데이터 저장소 집합에 대한 기본 제공 지원. 자세한 목록은 지원되는 데이터 저장소 표를 참조하세요.
- 보안 및 규정 준수: 데이터가 HTTPS 또는 ExpressRoute를 통해 전송됩니다. 글로벌 서비스가 제공되므로 데이터가 지리적 경계를 벗어나지 않습니다.
- PolyBase를 사용하여 제공되는 뛰어난 성능: Polybase는 Azure Synapse Analytics로 데이터를 이동시키는 가장 효율적인 방법입니다. 스테이징 Blob 기능을 사용하여 Azure Blob Storage 및 Data Lake Store를 포함하여 모든 유형의 데이터 스토리지에서 높은 로드 속도를 얻습니다. (Polybase는 기본적으로 Azure Blob Storage 및 Data Lake Store를 지원합니다.) 자세한 내용은 복사 작업 성능을 참조하세요.
이 문서에서는 데이터 복사 도구를 사용하여 Azure SQL Database의 데이터를 Azure Synapse Analytics로 로드하는 방법을 설명합니다. 다른 데이터 저장소 유형에서 데이터를 복사할 때도 이와 유사한 단계를 따를 수 있습니다.
참고 항목
자세한 내용은 Azure Synapse Analytics 간에 데이터 복사를 참조하세요.
필수 조건
- Azure 구독: Azure 구독이 아직 없는 경우 시작하기 전에 무료 계정을 만듭니다.
- Azure Synapse Analytics: 데이터 웨어하우스에는 SQL 데이터베이스에서 복사된 데이터를 보관합니다. Azure Synapse Analytics가 없는 경우 Azure Synapse Analytics 만들기의 지침을 참조하세요.
- Azure SQL Database: 이 자습서는 Azure SQL Database의 Adventure Works LT 샘플 데이터 세트에서 데이터를 복사합니다. Azure SQL Database에서 샘플 데이터베이스 만들기의 지침에 따라 SQL Database에서 이 샘플 데이터베이스를 만들 수 있습니다.
- Azure 스토리지 계정: Azure Storage는 대량 복사 작업에서 스테이징 Blob으로 사용됩니다. Azure Storage 계정이 없는 경우 스토리지 계정 만들기의 지침을 참조하세요.
데이터 팩터리 만들기
아직 Data Factory를 만들지 않은 경우 빠른 시작: Azure Portal 및 Azure Data Factory Studio를 사용하여 Data Factory 만들기 단계에 따라 Data Factory를 만듭니다. 만든 후 Azure Portal에서 데이터 팩터리로 이동합니다.
Azure Data Factory Studio 열기 타일에서 열기를 선택하여 별도의 탭에서 데이터 통합 애플리케이션을 시작합니다.
Azure Synapse Analytics에 데이터 로드
Azure Data Factory 또는 Azure Synapse 작업 영역의 홈페이지에서 수집 타일을 선택하여 데이터 복사 도구를 시작합니다. 그런 다음 기본 제공 복사 작업을 선택합니다.
속성 페이지의 작업 유형에서 기본 제공 복사 작업을 선택한 후 다음을 선택합니다.
원본 데이터 저장소 페이지에서 다음 단계를 완료합니다.
팁
이 자습서에서는 SQL 인증을 원본 데이터 저장소의 인증 형식으로 사용하지만 지원되는 다른 인증 방법을 선택할 수 있습니다. 필요한 경우 서비스 주체 및 관리 ID를 선택합니다. 자세한 내용은 이 문서의 해당 섹션을 참조하세요. 데이터 저장소에 대한 비밀을 안전하게 저장하려면 Azure Key Vault를 사용하는 것도 좋습니다. 자세한 그림은 이 문서를 참조하세요.
+새 연결을 선택합니다.
갤러리에서 Azure SQL Database를 선택하고 계속을 선택합니다. 검색 상자에 "SQL"을 입력하여 커넥터를 필터링할 수 있습니다.
새 연결(Azure SQL Database) 페이지의 드롭다운 목록에서 서버 이름과 DB 이름을 선택하고 사용자 이름 및 암호를 지정합니다. 연결 테스트를 선택하여 설정의 유효성을 검사한 후 만들기를 선택합니다.
원본 데이터 저장소 페이지에서 새로 만든 연결을 연결 섹션의 원본으로 선택합니다.
원본 테이블 섹션에서 SalesLT를 입력하여 테이블을 필터링합니다. 복사할 모든 테이블을 사용하려면 (모두 선택) 상자를 선택하고 다음을 선택합니다.
필터 적용 페이지에서 설정을 지정하거나 다음을 선택합니다. 이 페이지의 데이터 미리 보기 단추를 선택하여 데이터를 미리 보고 입력 데이터의 스키마를 볼 수 있습니다.
대상 데이터 저장소 페이지에서 다음 단계를 완료합니다.
팁
이 자습서에서는 SQL 인증을 대상 데이터 저장소의 인증 형식으로 사용하지만 필요한 경우 서비스 주체 및 관리 ID 등의 지원되는 다른 인증 방법을 선택할 수 있습니다. 자세한 내용은 이 문서의 해당 섹션을 참조하세요. 데이터 저장소에 대한 비밀을 안전하게 저장하려면 Azure Key Vault를 사용하는 것도 좋습니다. 자세한 그림은 이 문서를 참조하세요.
+ 새 연결을 선택하여 연결을 추가합니다.
갤러리에서 Azure Synapse Analytics를 선택하고 계속을 선택합니다.
새 연결(Azure Synapse Analytics) 페이지의 드롭다운 목록에서 서버 이름과 DB 이름을 선택하고 사용자 이름 및 암호를 지정합니다. 연결 테스트를 선택하여 설정의 유효성을 검사한 후 만들기를 선택합니다.
대상 데이터 저장소 페이지에서 새로 만든 연결을 연결 섹션의 싱크로 선택합니다.
테이블 매핑 섹션에서 콘텐츠를 검토하고 다음을 선택합니다. 지능형 테이블 매핑이 표시됩니다. 원본 테이블은 테이블 이름에 따라 대상 테이블에 매핑됩니다. 원본 테이블이 대상에 없으면 기본적으로 서비스에서 같은 이름으로 대상 테이블을 만듭니다. 기존 대상 테이블에 원본 테이블을 매핑할 수도 있습니다.
열 매핑 페이지에서 콘텐츠를 검토하고 다음을 선택합니다. 지능형 테이블 매핑은 열 이름을 기반으로 합니다. 서비스에서 테이블을 자동으로 만들도록 하면 원본과 대상 저장소가 서로 호환되지 않을 때 데이터 형식이 변환될 수 있습니다. 원본 및 대상 열 간에 지원되지 않는 데이터 형식 변환이 있는 경우 해당 테이블 옆에 오류 메시지가 표시됩니다.
설정 페이지에서 다음 단계를 완료합니다.
작업 이름 필드에 CopyFromSQLToSQLDW를 지정합니다.
준비 설정 섹션에서 + 새로 만들기를 선택하여 준비 스토리지를 새로 만듭니다. 스토리지는 PolyBase를 사용하여 Azure Synapse Analytics에 로드하기 전에 데이터를 준비하는 데 사용됩니다. 복사가 완료되면 Azure Blob Storage의 임시 데이터가 자동으로 정리됩니다.
새로 연결된 서비스 페이지에서 스토리지 계정과 만들기를 차례로 선택하여 연결된 서비스를 배포합니다.
형식 기본값 사용 옵션 선택을 취소하고 다음을 선택합니다.
요약 페이지에서 설정을 검토하고 다음을 선택합니다.
배포 페이지에서 모니터링을 선택하여 파이프라인(작업)을 모니터링합니다.
왼쪽의 모니터 탭이 자동으로 선택됩니다. 파이프라인 실행이 완료되면 파이프라인 이름 열에서 CopyFromSQLToSQLDW 링크를 선택하여 활동 실행 세부 사항을 보거나 파이프라인을 다시 실행합니다.
파이프라인 실행 보기로 다시 전환하려면 위쪽에서 모든 파이프라인 실행 링크를 선택합니다. 새로 고침을 선택하여 목록을 새로 고칩니다.
복사 작업별로 실행 세부 사항을 모니터링하려면 활동 실행 보기의 작업 이름에서 세부 정보 링크(안경 아이콘)를 선택합니다. 원본에서 싱크로 복사된 데이터 양, 데이터 처리량, 해당 기간의 실행 단계 및 사용된 구성과 같은 세부 정보를 모니터링할 수 있습니다.
관련 콘텐츠
Azure Synapse Analytics 지원에 대해 알아보려면 다음 문서로 계속 진행하세요.