Azure Data Factory를 사용하여 Azure Data Explorer로 데이터 복사

  • 아티클

중요

이 커넥터는 Microsoft Fabric 의 실시간 분석 에서 사용할 수 있습니다. 다음 예외를 제외하고 이 문서의 지침을 사용합니다.

Azure Data Explorer는 빠른 완전 관리형 데이터 분석 서비스입니다. 애플리케이션, 웹 사이트 및 IoT 디바이스와 같은 다양한 원본에서 스트리밍되는 대용량 데이터에 대한 실시간 분석을 제공합니다. Azure Data Explorer를 사용하면 데이터를 반복적으로 탐색하고 패턴과 이상을 식별하여 제품을 개선하고, 고객 환경을 향상하고, 디바이스를 모니터링하고, 작업을 강화할 수 있습니다. 새로운 질문을 탐색하고 몇 분 안에 답변을 얻을 수 있습니다.

Azure Data Factory는 완전히 관리되는, 클라우드 기반 데이터 통합 서비스입니다. 이를 사용하여 기존 시스템의 데이터로 Azure Data Explorer 데이터베이스를 채울 수 있습니다. 분석 솔루션을 구축할 때 시간을 절약할 수 있습니다.

Azure Data Explorer에 데이터를 로드하면 Data Factory는 다음과 같은 이점을 제공합니다.

  • 간편한 설정: 스크립팅이 필요 없는 직관적인 5단계 마법사를 사용합니다.
  • 다양한 데이터 저장소 지원: 다양한 온-프레미스 및 클라우드 기반 데이터 저장소 집합에 대한 기본 제공 지원을 받습니다. 자세한 목록은 지원되는 데이터 저장소 표를 참조하세요.
  • 보안 및 규정 준수: 데이터가 HTTPS 또는 Azure ExpressRoute를 통해 전송됩니다. 글로벌 서비스가 제공되므로 데이터가 지리적 경계를 벗어나지 않습니다.
  • 고성능: 데이터 로드 속도는 Azure Data Explorer에 최대 1GBps(초당 기가바이트)입니다. 자세한 내용은 복사 작업 성능을 참조하세요.

이 문서에서는 Data Factory 데이터 복사 도구를 사용하여 Amazon S3(Simple Storage Service)에서 Azure Data Explorer로 데이터를 로드합니다. 유사한 프로세스에 따라 다음과 같은 다른 데이터 저장소에서 데이터를 복사할 수 있습니다.

사전 요구 사항

데이터 팩터리 만들기

  1. Azure Portal에 로그인합니다.

  2. 왼쪽 메뉴에서 리소스>분석>Data Factory를 선택합니다.

    스크린샷은 Azure Portal 데이터 팩터리를 만드는 옵션을 보여줍니다.

  3. 새 데이터 팩터리 창에서 다음 표의 필드 값을 제공합니다.

    “새 데이터 팩터리” 창

    설정 입력할 값
    이름 상자에 데이터 팩터리의 전역 고유 이름을 입력합니다. 데이터 팩터리 이름 "LoadADXDemo"를 사용할 수 없습니다라는 오류가 발생하면 데이터 팩터리에 다른 이름을 입력합니다. Data Factory 아티팩트에 대한 명명 규칙은 Data Factory 이름 지정 규칙을 참조하세요.
    구독 드롭다운 목록에서 데이터 팩터리를 만들 Azure 구독을 선택합니다.
    리소스 그룹 새로 만들기를 선택하고 새 리소스 그룹의 이름을 입력합니다. 리소스 그룹이 이미 있는 경우 기존 사용을 선택합니다.
    Version 드롭다운 목록에서 V2를 선택합니다.
    위치 드롭다운 목록에서 데이터 팩터리의 위치를 선택합니다. 지원되는 위치만 목록에 표시됩니다. 데이터 팩터리에서 사용하는 데이터 저장소는 다른 위치나 지역에 있을 수 있습니다.

  4. 만들기를 선택합니다.

  5. 만들기 프로세스를 모니터링하려면 도구 모음에서 알림을 선택합니다. 데이터 팩터리를 만든 후 선택합니다.

    Data Factory 창이 열립니다.

    데이터 팩터리 창.

  6. 별도의 창에서 애플리케이션을 열려면 작성자 및 모니터 타일을 선택합니다.

Azure Data Explorer에 데이터 로드

다양한 유형의 데이터 저장소에서 Azure Data Explorer로 데이터를 로드할 수 있습니다. 이 문서에서는 Amazon S3에서 데이터를 로드하는 방법에 대해 설명합니다.

다음 방법 중 하나로 데이터를 로드할 수 있습니다.

Amazon S3(원본)에서 데이터 복사

  1. 시작하기 창에서 데이터 복사를 선택하여 데이터 복사 도구를 엽니다.

    데이터 복사 도구 단추.

  2. 속성 창의 작업 이름 상자에 이름을 입력하고 다음을 선택합니다.

    데이터 복사 속성 창.

  3. 원본 데이터 저장소 창에서 새 연결 만들기를 선택합니다.

    데이터 복사

  4. Amazon S3, 계속을 차례로 선택합니다.

    새 연결된 서비스 창.

  5. 새 연결된 서비스(Amazon S3) 창에서 다음을 수행합니다.

    Amazon S3 연결 서비스를 지정합니다.

    a. 이름 상자에 새로 연결된 서비스의 이름을 입력합니다.

    b. 통합 런타임을 통해 연결 드롭다운 목록에서 값을 선택합니다.

    c. 액세스 키 ID 상자에 값을 입력합니다.

    참고

    Amazon S3에서 액세스 키를 찾으려면 탐색 모음에서 Amazon 사용자 이름을 선택한 다음 내 보안 자격 증명을 선택합니다.

    d. 비밀 액세스 키 상자에 값을 입력합니다.

    e. 만든 연결된 서비스 연결을 테스트하려면 연결 테스트를 선택합니다.

    f. 완료를 선택합니다.

    원본 데이터 저장소 창에 새 AmazonS31 연결이 표시됩니다.

  6. 다음을 선택합니다.

    원본 데이터 저장소에 만들어진 연결.

  7. 입력 파일 또는 폴더 선택 창에서 다음 단계를 수행합니다.

    a. 복사할 파일 또는 폴더를 찾은 다음 선택합니다.

    b. 원하는 복사 동작을 선택합니다. 이진 복사 확인란이 선택 취소되었는지 확인합니다.

    c. 다음을 선택합니다.

    입력 파일 또는 폴더를 선택합니다.

  8. 파일 형식 설정 창에서 파일에 대한 관련 설정을 선택합니다. 다음을 선택합니다.

Azure Data Explorer(대상)에 데이터 복사

이 섹션에 지정된 Azure Data Explorer 대상 테이블(싱크)에 데이터를 복사하기 위해 새로운 Azure Data Explorer 연결된 서비스가 만들어집니다.

참고

Azure Data Factory 명령 작업을 사용하여 Azure Data Explorer 관리 명령을 실행하고 와 같은 .set-or-replace쿼리 명령에서 수집을 사용합니다.

Azure Data Explorer 연결된 서비스 만들기

Azure Data Explorer 연결된 서비스를 만들려면 다음 단계를 수행합니다.

  1. 기존 데이터 저장소 연결을 사용하거나 새 데이터 저장소를 지정하려면 대상 데이터 저장소 창에서 새 연결 만들기를 선택합니다.

    대상 데이터 저장소 창.

  2. 새 연결된 서비스 창에서 Azure Data Explorer를 선택한 다음 계속을 선택합니다.

    새 연결된 서비스 창.

  3. 새 연결된 서비스(Azure Data Explorer) 창에서 다음 단계를 수행합니다.

    Azure Data Explorer 새 연결된 서비스 창.

    1. 이름 상자에 Azure Data Explorer 연결된 서비스의 이름을 입력합니다.

    2. 인증 방법에서 시스템 할당 관리 ID 또는 서비스 주체를 선택합니다.

      • 관리 ID를 사용하여 인증하려면 관리 ID 이름 또는 관리 ID 개체 ID를 사용하여 관리 ID에 데이터베이스 액세스 권한을 부여합니다.

      • 서비스 주체를 사용하여 인증하려면:

        1. 테넌트 상자에 테넌트 이름을 입력합니다.
        2. 서비스 주체 ID 상자에 서비스 주체 ID를 입력합니다.
        3. 서비스 주체 키를 선택한 다음 서비스 주체 키 상자에 키 값을 입력합니다.

      참고

      • 서비스 주체는 Azure Data Factory에서 Azure Data Explorer 서비스에 액세스하는 데 사용됩니다. 서비스 주체를 만들려면 Microsoft Entra 서비스 주체 만들기로 이동합니다.
      • 관리 ID 또는 서비스 주체에 권한을 할당하려면 권한 관리를 참조하세요.
      • Azure Key Vault 방법 또는 사용자 할당 관리 ID를 사용하지 마세요.

    3. 계정 선택 방법에서 다음 옵션 중 하나를 선택합니다.

      • Azure 구독에서를 선택한 다음 드롭다운 목록에서 Azure 구독과 클러스터를 선택합니다.

        참고

        • 클러스터 드롭다운 컨트롤에는 구독과 연결된 클러스터만 나열됩니다.
        • 클러스터에는 최상의 성능을 위해 적절한 SKU가 있어야 합니다.

      • 수동 입력을 선택한 다음 엔드포인트를 입력합니다.

    4. 데이터베이스 드롭다운 목록에서 데이터베이스 이름을 선택합니다. 또는 수정 확인란을 선택한 다음 데이터베이스 이름을 입력합니다.

    5. 만든 연결된 서비스 연결을 테스트하려면 연결 테스트를 선택합니다. 연결된 서비스에 연결할 수 있는 경우 창에 녹색 확인 표시와 연결 성공 메시지가 표시됩니다.

    6. 만든 연결된 서비스 연결을 테스트하려면 연결 테스트를 선택합니다. 연결된 서비스에 연결할 수 있는 경우 창에 녹색 확인 표시와 연결 성공 메시지가 표시됩니다.

    7. 만들기를 선택하여 연결된 서비스 만들기를 완료합니다.

Azure Data Explorer 데이터 연결 구성

연결된 서비스 연결을 만든 후 대상 데이터 저장소 창이 열리고 만든 연결을 사용할 수 있습니다. 연결을 구성하려면 다음 단계를 수행합니다.

  1. 다음을 선택합니다.

    Azure Data Explorer

  2. 테이블 매핑 창에서 대상 테이블 이름을 설정하고 다음을 선택합니다.

    대상 데이터 세트

  3. 열 매핑 창에서 다음 매핑이 수행됩니다.

    a. 첫 번째 매핑은 Azure Data Factory 스키마 매핑에 따라 Azure Data Factory에서 수행됩니다. 다음을 수행합니다.

    • Azure Data Factory 대상 테이블에 대한 열 매핑을 설정합니다. 기본 매핑은 원본에서 Azure Data Factory 대상 테이블로 표시됩니다.

    • 열 매핑을 정의할 필요가 없는 열 선택을 취소합니다.

    b. 두 번째 매핑은 이 테이블 형식 데이터가 Azure Data Explorer로 수집될 때 발생합니다. 매핑은 CSV 매핑 규칙에 따라 수행됩니다. 원본 데이터가 CSV 형식이 아니더라도 Azure Data Factory는 데이터를 표 형식으로 변환합니다. 따라서 CSV 매핑은 이 단계에서 유일한 관련 매핑입니다. 다음을 수행합니다.

    • (선택 사항) Azure Data Explorer(Kusto) 싱크 속성에서 열 매핑을 사용할 수 있도록 관련 수집 매핑 이름을 추가합니다.

    • 수집 매핑 이름을 지정하지 않으면 열 매핑 섹션에 정의된 이름별 매핑 순서가 사용됩니다. 이름별 매핑이 실패하면 Azure Data Explorer는 열별 위치 순서로 데이터 수집을 시도합니다(즉, 기본적으로 위치별로 매핑됨).

    • 다음을 선택합니다.

    대상 데이터 세트

  4. 설정 창에서 다음 단계를 수행합니다.

    a. 내결함성 설정에서 관련 설정을 입력합니다.

    b. 성능 설정에서 스테이징 사용은 적용되지 않으며 고급 설정에는 비용 고려 사항이 포함됩니다. 특정 요구 사항이 없으면 이 설정을 그대로 둡니다.

    c. 다음을 선택합니다.

    데이터 복사

  5. 요약 페이지에서 설정을 검토하고 다음을 선택합니다.

    데이터 복사

  6. 배포 완료 창에서 다음을 수행합니다.

    a. 모니터 탭으로 전환하고 파이프라인의 상태(즉, 진행률, 오류 및 데이터 흐름)를 보려면 모니터를 선택합니다.

    b. 연결된 서비스, 데이터 세트 및 파이프라인을 수정하려면 파이프라인 편집을 선택합니다.

    c. 마침을 선택하여 데이터 복사 작업을 완료합니다.

관련 콘텐츠