SSIS 커넥터를 사용하여 Azure Blob Storage의 데이터 이동

  • 아티클

Integration Services에 대한 Azure 기능 팩(SSIS)에서는 Azure에 연결하고, Azure와 온-프레미스 데이터 원본 간에 데이터를 전송하며, Azure에 저장된 데이터를 처리하는 구성 요소를 제공합니다.

이 메뉴는 Azure Blob Storage로/로부터 데이터를 이동하기 위해 사용할 수 있는 기술에 연결합니다.

고객이 온-프레미스 데이터를 클라우드로 이동하면 모든 Azure 서비스에서 데이터에 액세스하여 Azure 기술 제품군의 모든 기능을 활용할 수 있습니다. 이후에는 Azure Machine Learning 또는 HDInsight 클러스터에서 데이터를 사용할 수 있습니다.

이러한 Azure 리소스의 사용의 예는 SQL 및 HDInsight 연습에 나와 있습니다.

SSIS를 사용하여 하이브리드 데이터 통합 시나리오에서 일반적인 비즈니스 요구 사항을 충족하는 정식 시나리오에 대한 자세한 내용은 Azure용 SQL Server Integration Services 통합 팩으로 더 많은 작업 수행 블로그를 참조하세요.

참고

Azure Blob Storage에 대한 전체 소개는 Azure Blob 기본 사항 및 Azure Blob Service REST API를 참조하세요.

사전 요구 사항

이 문서에 설명된 작업을 수행하려면 Azure 구독과 Azure Storage 계정을 설정해야 합니다. 데이터를 업로드하거나 다운로드하려면 Azure Storage 계정 이름과 계정 키가 필요합니다.

SSIS 커넥터를 사용하려면 다음을 다운로드해야 합니다.

  • SQL Server 2014 또는 2016 Standard 이상: 설치 파일에 SQL Server Integration Services가 포함되어 있습니다.
  • Azure용 Microsoft SQL Server 2014 또는 2016 Integration Services 기능 팩: 이러한 커넥터는 SQL Server 2014 Integration Services 및 SQL Server 2016 Integration Services에서 각각 다운로드할 수 있습니다.

참고 항목

SSIS는 SQL Server와 함께 설치되지만 Express 버전에는 포함되어 있지 않습니다. 다양한 SQL Server 버전에 포함된 애플리케이션에 대한 자세한 내용은 SQL Server 기술 설명서를 참조 하세요.

SSIS를 설치하려면 Integration Services 설치(SSIS)를 참조하세요.

SISS를 사용하여 실행하여 간단한 ETL(추출, 변환 및 로드) 패키지를 빌드하는 방법에 대한 자세한 내용은 SSIS 자습서: 간단한 ETL 패키지 만들기를 참조하세요.

NYC Taxi 데이터 세트 다운로드

여기에 설명된 예제에서는 Azure 오픈 데이터 세트 및 TLC Trip 레코드 데이터에서 사용할 수 있는 공개적으로 사용 가능한 데이터 세트를 사용합니다. 이 데이터 세트는 2013년 뉴욕 시의 1억 7,300만 건에 달하는 택시 승차 기록으로 구성됩니다. 데이터는 여정 정보 데이터와 요금 데이터의 두 종류가 있습니다.

Blob Storage에 데이터 업로드

온-프레미스에서 Blob Storage로 SSIS 기능 팩을 사용하여 데이터를 이동하려면 다음과 같이 Azure Blob 업로드 태스크의 인스턴스를 사용합니다.

Screenshot that shows Azure Blob Upload Task button.

다음 표에서는 태스크에서 사용하는 매개 변수에 대해 설명합니다.

필드 Description
AzureStorageConnection 기존 Azure Storage 연결 관리자를 지정하거나, blob 파일이 호스트되는 지점을 가리키는 Azure Storage 계정을 참조하는 새 Azure Storage 연결 관리자를 만듭니다.
BlobContainer 업로드된 파일을 blob으로 유지하는 blob 컨테이너의 이름을 지정합니다.
BlobDirectory 업로드한 파일이 블록 blob으로 저장되는 blob 디렉터리를 지정합니다. blob 디렉터리는 가상 계층 구조입니다. 이미 있는 Blob은 업로드한 Blob으로 바뀝니다.
LocalDirectory 업로드할 파일이 포함된 로컬 디렉터리를 지정합니다.
FileName 지정된 이름 패턴의 파일을 선택할 이름 필터를 지정합니다. 예를 들어 MySheet*.xls*에는 MySheet001.xls 및 MySheetABC.xlsx 파일이 포함됩니다.
TimeRangeFrom/TimeRangeTo 시간 범위 필터를 지정합니다. TimeRangeFrom에서 TimeRangeTo 사이에 수정된 파일이 포함됩니다.

참고

전송을 시도하기 전에 AzureStorageConnection 자격 증명이 올바르고 BlobContainer가 있어야 합니다.

Blob Storage에서 데이터 다운로드

SSIS를 사용하여 Blob Storage에서 온-프레미스 스토리지로 데이터를 다운로드하려면 Azure Blob 다운로드 태스크의 인스턴스를 사용합니다.

고급 SSIS Azure 시나리오

SSIS 기능 팩을 사용하면 패키징 작업을 통해 보다 복잡한 흐름을 처리할 수 있습니다. 예를 들어 blob 데이터를 HDInsight 클러스터에 직접 공급하여 해당 출력을 blob로 다시 다운로드한 다음 온-프레미스 스토리지에 다운로드할 수 있습니다. SSIS는 추가 SSIS 커넥터를 사용하여 HDInsight 클러스터에서 Hive 및 Pig 작업을 실행할 수 있습니다.

  • SSIS를 사용하여 Azure HDInsight 클러스터에서 Hive 스크립트를 실행하려면 Azure HDInsight Hive 작업을 사용합니다.
  • SSIS를 사용하여 Azure HDInsight 클러스터에서 Pig 스크립트를 실행하려면 Azure HDInsight Pig 작업을 사용합니다.

참가자

Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.

보안 주체 작성자:

비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인하세요.

다음 단계