Azure Data Lake Gen 2를 사용하도록 데이터 흐름 스토리지 구성

  • 아티클

Power BI에 사용되는 데이터는 기본적으로 Power BI에서 제공하는 내부 스토리지에 저장됩니다. 데이터 흐름 및 ADLS Gen2(Azure Data Lake Storage Gen 2)를 통합하면 조직의 Azure Data Lake Storage Gen2 계정에 데이터 흐름을 저장할 수 있습니다. 이 기능을 사용하면 본질적으로 Power BI 데이터 흐름에 “사용자 고유 스토리지를 가져와” 테넌트 또는 작업 영역 수준에서 연결을 설정할 수 있습니다.

ADLS Gen 2 작업 영역 또는 테넌트 연결을 사용하는 이유

데이터 흐름을 연결하면 Power BI는 참조를 구성하고 저장하므로 사용자는 고유의 ADLS Gen 2에 데이터를 쓰고 읽을 수 있습니다. Power BI는 데이터 흐름 자체에서 생성된 실제 데이터 외에도 사용자 데이터에 대한 메타데이터를 캡처하는 CDM(공통 데이터 모델) 형식으로 데이터를 저장합니다. 이 기능은 많은 강력한 기능을 해제하고 사용자 데이터 및 CDM 형식의 관련 메타데이터를 사용하여 확장성, 자동화, 모니터링 및 백업 시나리오를 제공합니다. 사용자 환경에서 이러한 데이터를 사용 가능하고 광범위하게 액세스할 수 있도록 만들면 조직 내에서 생성된 인사이트 및 데이터를 보편적으로 사용되도록 할 수 있습니다. 또한 다양한 복잡성으로 추가 솔루션을 만들 수 있는 기능도 제공합니다. 솔루션은 Power Platform, Azure 및 파트너 및 ISV(독립 소프트웨어 공급업체) 에코시스템을 통해 사용할 수 있는 CDM 인식 사용자 지정 애플리케이션 및 솔루션일 수 있습니다. 또는 CSV를 읽을 애플리케이션을 만들 수 있습니다. 이제 데이터 엔지니어, 데이터 과학자, 분석가는 ADLS Gen 2에서 엄선된 공통 데이터 세트로 작업하고 사용 및 재사용할 수 있습니다.

사용할 ADLS Gen 2 저장소를 구성하는 방법은 두 가지입니다. 테넌트에서 할당된 ADLS Gen 2 계정을 사용하거나 작업 영역 수준에서 자체 ADLS Gen 2 저장소를 가져오는 것입니다.

필수 조건

  • 자체 ADLS Gen 2 계정을 가져오려면 스토리지 계정 계층에서 소유자 권한이 있어야 합니다. 리소스 그룹 또는 구독 수준의 사용 권한은 작동하지 않습니다. 관리자인 경우에도 자신에게 소유자 권한을 할당해야 합니다. 현재 방화벽 뒤의 ADLS Gen2 스토리지 계정은 지원하지 않습니다.

  • 스토리지 계정은 HNS(계층 구조 네임 스페이스)를 사용하도록 설정된 상태에서 만들어야 합니다.

  • 스토리지 계정은 Power BI 테넌트와 동일한 Microsoft Entra 테넌트에 만들어야 합니다.

  • 사용자는 스토리지 계정 수준에서 Storage Blob 데이터 소유자 역할, Storage Blob 데이터 판독기 역할, 소유자 역할이 있어야 합니다(범위는 이 리소스여야 하며 상속되지 않아야 함). 적용된 역할 변경 내용을 동기화하는 데 몇 분 정도 걸릴 수 있으며, Power BI 서비스에서 다음 단계를 완료하기 전에 동기화해야 합니다.

  • Power BI 작업 영역 테넌트 지역은 스토리지 계정 지역과 동일해야 합니다.

  • 엔드포인트를 보호하려면 TLS(전송 계층 보안) 버전 1.2 이상이 필요합니다. TLS 1.2 이전 버전을 사용하는 웹 브라우저 및 기타 클라이언트 응용 프로그램은 연결할 수 없습니다.

  • MFA(다단계 인증) 뒤에 ADLS Gen 2를 사용하여 데이터 흐름을 연결하는 것은 지원되지 않습니다.

  • 마지막으로, 관리 포털에서 모든 ADLS Gen 2에 연결할 수 있지만, 작업 영역에 직접 연결하는 경우 연결하기 전에 먼저 작업 영역에 데이터 흐름이 없는지 확인해야 합니다.

참고 항목

Bring Your Own Storage(Azure Data Lake Gen 2)는 미국용 Power BI 서비스에서 사용할 수 없습니다. 정부 GCC 고객. 사용할 수 있는 기능과 사용할 수 없는 기능에 대한 자세한 내용은 미국 정부 고객을 위한 Power BI 기능 사용 가능 여부를 참조하세요. 정부 고객.

다음 표에서는 ADLS 그리고 ADLS Gen 2 및 Power BI에 필요한 Power BI에 대한 사용 권한에 대해 설명합니다.

작업 ADLS 사용 권한 최소 Power BI 사용 권한
ADLS Gen 2를 Power BI 테넌트에 연결 담당자 Power BI 관리자
ADLS Gen 2를 작업 영역에 연결 담당자 작업 영역 관리자
연결된 ADLS 계정으로 다시 쓰는 Power BI 데이터 흐름 만들기 해당 없음 작업 영역 기여자
Power BI 데이터 흐름 사용 해당 없음 작업 영역 뷰어

작업 영역 수준에서 Azure Data Lake Gen 2에 연결

데이터 흐름이 없는 작업 영역으로 이동합니다. 작업 영역 설정을 선택합니다. Azure 연결 탭을 선택한 다음, 스토리지 섹션을 선택합니다.

Screenshot of the Workspace settings pane on the Azure connections tab.

관리자가 테넌트가 할당된 ADLS Gen 2 계정을 이미 구성한 경우 기본 Azure 연결 사용 옵션이 표시됩니다. 이때 다음 두 가지 방법을 사용할 수 있습니다.

  • 기본 Azure 연결 사용 상자를 선택하여 테넌트에서 구성된 ADLS Gen 2 계정을 사용하거나
  • 새 Azure Storage 계정을 가리키도록 Azure에 연결을 선택합니다.

Azure에 연결을 선택하면 Power BI는 액세스 권한이 있는 Azure 구독 목록을 검색합니다. 드롭다운을 입력하세요. 그런 다음 ADLS Gen2 플래그를 나타내는 계층 구조 네임스페이스 옵션이 사용되는 유효한 Azure 구독, 리소스 그룹, 스토리지 계정을 선택합니다. Azure에 연결하는 데 사용되는 개인 계정은 초기 연결을 설정하고 Power BI 서비스 계정에 데이터를 읽고 쓸 수 있는 권한을 부여하기 위해 한 번만 사용되며, 그 후에는 연결을 활성 상태로 유지하기 위해 원래 사용자 계정이 더 이상 필요하지 않습니다.

Screenshot of the Settings window after choosing Connecting to Azure.

선택한 후 저장을 선택하면, 이제 작업 영역을 자체 ADLS Gen2 계정에 성공적으로 연결했습니다. Power BI는 필요한 권한으로 스토리지 계정을 자동으로 구성하고 데이터가 기록될 Power BI 파일 시스템을 설정합니다. 이 시점에서 이 작업 영역 내의 모든 데이터 흐름 데이터는 다른 Azure 서비스와 함께 사용할 수 있는 이 파일 시스템에 직접 기록됩니다. 이제 모든 조직 또는 부서별 데이터에 대한 단일 원본이 있습니다.

Azure 연결 구성

Azure 연결 구성은 선택적으로 설정할 수 있는 추가 속성을 사용하는 선택적 설정입니다.

  • 기본값을 설정할 수 있는 테넌트 수준 스토리지
  • 작업 영역별 연결을 지정할 수 있는 작업 영역 수준 스토리지

중앙 집중식 데이터 레이크만 사용하거나 해당 스토리지를 기본 옵션으로 설정하려는 경우 테넌트 수준 스토리지를 선택적으로 구성할 수 있습니다. 사용자에게 구성 유연성을 허용하기 위해 자동으로 기본값을 사용하여 시작하지 않으므로 필요에 따라 이 연결을 사용하는 작업 영역을 유연하게 구성할 수 있습니다. 테넌트가 할당된 ADLS Gen 2 계정을 구성하는 경우에도 이 기본 옵션을 사용하도록 각 작업 영역을 구성해야 합니다.

선택적으로나 추가로 작업 영역 수준 스토리지 권한을 별도의 옵션으로 구성할 수 있으므로, 작업 영역별로 특정 ADLS Gen 2 계정을 원하는 대로 설정할 수 있습니다.

요약하면 테넌트 수준 스토리지와 작업 영역 수준 스토리지 권한이 허용되는 경우 작업 영역 관리자가 필요에 따라 기본 ADLS 연결을 사용하거나 기본값과 별도로 다른 스토리지 계정을 구성할 수 있습니다. 테넌트 스토리지를 설정하지 않은 경우 작업 영역 관리자는 필요에 따라 작업 영역별로 ADLS 계정을 구성할 수 있습니다. 마지막으로 테넌트 수준 스토리지가 선택되어 있고 작업 영역 수준 스토리지가 허용되지 않는 경우 작업 영역 관리자는 이 연결을 사용하도록 데이터 흐름을 선택적으로 구성할 수 있습니다.

ADLS Gen 2 작업 영역 연결의 구조 및 형식

ADLS Gen 2 스토리지 계정에서 모든 데이터 흐름은 파일 시스템의 powerbi 컨테이너에 저장됩니다.

powerbi 컨테이너의 구조는 다음과 같습니다. <workspace name>/<dataflow name>/model.json, <workspace name>/<dataflow name>/model.json.snapshots/<all snapshots> 및 <workspace name>/<dataflow name>/<table name>/<tablesnapshots>

데이터 흐름이 ADLS Gen 2의 폴더 계층 구조에서 데이터를 저장하는 위치는 작업 영역이 공유 용량에 있는지, 프리미엄 용량에 있는지에 관계없이 동일합니다.

다음 예제에서는 Northwind Odata 샘플의 Orders 테이블을 사용합니다.

Screenshot of the file explorer showing an example using the Orders table of the Northwind Odata sample.

이전 이미지에서 다음이 진행됩니다.

  • model.json은 데이터 흐름의 최신 버전입니다.
  • model.json.snapshots는 데이터 흐름의 모든 이전 버전입니다. 이 기록은 이전 버전의 매시업 또는 증분 설정이 필요한 경우에 유용합니다.
  • tablename은 데이터 흐름 새로 고침이 완료된 후 결과 데이터를 포함하는 폴더입니다.

이 스토리지 계정에만 작성하며, 현재는 데이터를 삭제하지 않습니다. 따라서 분리 후에도 ADLS 계정에서 삭제되지 않으므로 이전 목록에 언급된 모든 파일은 계속 저장됩니다.

참고 항목

데이터 흐름을 사용하면 다른 데이터 흐름에서 테이블 형식을 연결하거나 참조할 수 있습니다. 이러한 데이터 흐름에서 model.json 파일은 동일하거나 다른 작업 영역에 있는 다른 데이터 흐름에 있는 다른 model.json을 참조할 수 있습니다.

ADLS Gen 2 스토리지 계정 간/내 파일 이동

한 ADLS Gen2 스토리지 계정에서 다른 스토리지 계정으로 데이터 흐름을 이동하는 경우 model.json 파일의 경로가 새 위치를 반영하도록 업데이트되었는지 확인해야 합니다. 이는 model.json 파일에 데이터 흐름의 경로와 데이터 경로가 포함되어 있기 때문입니다. 경로를 업데이트하지 않으면 데이터 흐름에서 데이터를 찾을 수 없으며 사용 권한 오류가 발생합니다. 경로를 업데이트하려면 다음 단계를 사용할 수 있습니다.

  • 텍스트 편집기에서 model.json 파일을 엽니다.
  • 스토리지 계정 URL을 찾아 새 스토리지 계정 URL로 대체합니다.
  • 파일을 저장합니다.
  • ADLS Gen2 스토리지 계정에서 기존 model.json 파일을 덮어씁다.

ADLS Gen 2 작업 영역 연결을 위한 확장성

ADLS Gen 2를 Power BI에 연결하는 경우 작업 영역 또는 테넌트 수준에서 이 작업을 수행할 수 있습니다. 액세스 수준이 올바른지 확인합니다. 필수 조건에서 자세히 알아보세요.

스토리지 구조는 Common Data Model 형식을 따릅니다. 분석 데이터 흐름을 위한 스토리지 구조와 Common Data Model을 사용하여 Azure Data Lake Storage Gen2 최적화를 방문하여 스토리지 구조와 CDM에 대해 자세히 알아보세요.

제대로 구성되면 데이터와 메타데이터를 제어할 수 있습니다. 많은 애플리케이션이 CDM을 알고 있으며 Azure, PowerApps 및 PowerAutomate를 사용하여 데이터를 확장할 수 있습니다. 형식을 준수하거나 원시 데이터를 읽어 타사 에코시스템을 사용할 수도 있습니다.

작업 영역 또는 테넌트에서 Azure Data Lake Gen 2 분리

작업 영역 수준에서 연결을 제거하려면 먼저 작업 영역의 모든 데이터 흐름이 삭제되었는지 확인해야 합니다. 모든 데이터 흐름이 제거되면 작업 영역 설정에서 연결 끊기를 선택합니다. 테넌트에도 동일하게 적용되지만, 테넌트 수준에서 연결을 끊으려면 먼저 테넌트 스토리지 계정에서 모든 작업 영역의 연결이 끊어졌는지 확인해야 합니다.

Azure Data Lake Gen2 사용 안 함

관리 포털의 데이터 흐름에서 사용자가 해당 기능을 사용하는 액세스 권한을 사용하지 않도록 설정할 수 있고 작업 영역 관리자가 자체 Azure Storage를 가져오도록 허용하지 않을 수 있습니다.

Azure Data Lake Gen 2에서 되돌리기

데이터 흐름 스토리지가 Azure Data Lake Gen 2를 사용하도록 구성된 후에는 자동으로 되돌릴 방법이 없습니다. Power BI 관리형 스토리지로 반환하는 프로세스는 수동입니다.

Gen 2에 대한 마이그레이션을 되돌리려면 데이터 흐름을 삭제하고 동일한 작업 영역에서 다시 만들어야 합니다. 그런 다음, ADLS Gen 2에서 데이터를 삭제하지 않으므로 리소스 자체로 이동하여 데이터를 정리합니다. 이 작업에는 다음 단계가 포함됩니다.

  1. Power BI에서 데이터 흐름의 복사본을 내보냅니다. 또는 model.json 파일을 복사합니다. model.json 파일은 ADLS에 저장됩니다.

  2. 데이터 흐름을 삭제합니다.

  3. ADLS를 분리합니다.

  4. 가져오기를 사용하여 데이터 흐름을 다시 만듭니다. 가져오기 전에 증분 새로 고침 데이터(해당하는 경우)를 삭제해야 합니다. 이 작업은 model.json 파일에서 관련 파티션을 삭제합니다.

  5. 새로 고침을 구성하고 증분 새로 고침 정책을 다시 만드세요.

ADLS Gen 2 커넥터를 사용하여 데이터에 연결

이 문서 범위에서는 Power BI ADLS Gen 2 커넥터가 아닌 ADLS Gen 2 데이터 흐름 연결에 대해 설명합니다. ADLS Gen 2 커넥터를 사용한 작업은 별도로 추가할 수 있는 시나리오입니다. ADLS 커넥터는 ADLS를 datasource로만 사용합니다. 따라서 Power Query Online을 사용하여 해당 데이터에’대해 쿼리하는 것이 CDM 형식일 필요가 없으며 고객이 원하는 데이터 형식일 수 있습니다. 자세한 내용은 Azure Data Lake Storage Gen2을 참조하세요.

관련 콘텐츠

다음 문서에서는 데이터 흐름 및 Power BI에 관한 자세한 정보를 제공합니다.