Profisee 및 Azure Data Factory를 사용하여 마스터 데이터 관리

이 아키텍처 패턴은 분석 및 운영 의사 결정에 사용되는 데이터의 품질을 개선하기 위해 AZURE 데이터 서비스 에코시스템에 MDM을 통합하는 방법을 보여 줍니다. MDM은 다음을 비롯한 몇 가지 일반적인 문제를 해결합니다.

• 중복 데이터 식별 및 관리(일치 및 병합).
• 데이터 품질 문제 플래그 지정 및 해결
• 데이터 표준화 및 보강
• 데이터 관리자가 데이터를 사전에 관리하고 개선할 수 있도록 허용합니다.

이 패턴은 MDM에 대한 최신 접근 방식을 제공합니다. 모든 기술은 컨테이너를 통해 배포하고 Azure Kubernetes Service를 사용하여 관리할 수 있는 Profisee를 포함하여 Azure에서 기본적으로 배포할 수 있습니다.

아키텍처

이 아키텍처에 사용되는 다이어그램의 Visio 파일을 다운로드합니다.

데이터 흐름

다음 데이터 흐름은 이전 다이어그램에 해당합니다.

1. 원본 데이터 로드: 비즈니스 애플리케이션의 원본 데이터는 Azure Data Lake에 복사되어 추가 변환을 위해 저장되고 다운스트림 분석에서 사용됩니다. 원본 데이터는 일반적으로 다음 세 가지 범주 중 하나에 속합니다.

   • 정형 마스터 데이터 - 고객, 제품, 위치 등을 설명하는 정보입니다. 마스터 데이터는 볼륨이 적고 복잡성이 높으며 시간이 지남에 따라 느리게 변경됩니다. 조직에서 데이터 품질 측면에서 가장 많은 어려움을 겪는 경우가 많습니다.
   • 정형 트랜잭션 데이터 – 주문, 청구서 또는 상호 작용처럼 특정 시점에 발생하는 비즈니스 이벤트입니다. 트랜잭션에는 해당 트랜잭션에 대한 메트릭(예: 판매 가격)과 마스터 데이터(예: 구매와 관련된 제품 및 고객)에 대한 참조가 포함됩니다. 트랜잭션 데이터는 일반적으로 대용량이며 복잡성이 낮으며 시간이 지남에 따라 변경되지 않습니다.
   • 구조화되지 않은 데이터 – 문서, 이미지, 비디오, 소셜 미디어 콘텐츠 및 오디오를 포함할 수 있는 데이터입니다. 최신 분석 플랫폼은 구조화되지 않은 데이터를 점점 더 많이 사용하여 새로운 인사이트를 학습할 수 있습니다. 구조화되지 않은 데이터는 소셜 미디어 계정과 연결된 고객 또는 이미지와 연결된 제품과 같은 마스터 데이터와 종종 연결됩니다.

2. 원본 마스터 데이터 로드: 원본 비즈니스 애플리케이션의 마스터 데이터는 전체 계보 정보와 최소한의 변환을 통해 "있는 그대로" MDM 애플리케이션으로 로드됩니다.

3. 자동화된 MDM 처리: MDM 솔루션은 자동화된 프로세스를 사용하여 주소 데이터와 같은 데이터를 표준화, 확인 및 보강합니다. 또한 이 솔루션은 데이터 품질 문제를 식별하고, 중복 레코드(예: 중복 고객)를 그룹화하고, 마스터 레코드("골든 레코드"라고도 함)를 생성합니다.

4. 데이터 관리: 필요에 따라 데이터 관리자는 다음을 수행할 수 있습니다.

   • 일치하는 레코드 그룹 검토 및 관리
   • 데이터 관계 만들기 및 관리
   • 누락된 정보 입력
   • 데이터 품질 문제를 해결합니다.

   데이터 관리자는 필요에 따라 제품 계층 구조와 같은 여러 대체 계층 롤업을 관리할 수 있습니다.

5. 관리형 마스터 데이터 로드: 고품질 마스터 데이터는 다운스트림 분석 솔루션으로 흐릅니다. 이 작업은 데이터 통합에 더 이상 데이터 품질 변환이 필요하지 않으므로 프로세스를 간소화합니다.

6. 트랜잭션 및 비구조적 데이터 로드: 트랜잭션 및 비정형 데이터는 고품질 마스터 데이터와 결합되는 다운스트림 분석 솔루션으로 로드됩니다.

7. 시각화 및 분석: 데이터가 모델링되어 비즈니스 사용자가 분석에 사용할 수 있게 됩니다. 고품질 마스터 데이터는 일반적인 데이터 품질 문제를 제거하므로 인사이트가 향상됩니다.

구성 요소

• Azure Data Factory 는 ETL 및 ELT 워크플로를 만들고 예약하고 오케스트레이션할 수 있는 하이브리드 데이터 통합 서비스입니다.

• Azure Data Lake는 분석 데이터를 저장할 수 있는 무제한 스토리지를 제공합니다.

• Profisee 는 Microsoft 에코시스템과 쉽게 통합되도록 설계된 확장 가능한 MDM 플랫폼입니다.

• Azure Synapse Analytics 는 대규모 병렬 처리 아키텍처를 사용하여 데이터를 탄력적으로 독립적으로 확장, 컴퓨팅 및 저장할 수 있는 빠르고 유연하며 신뢰할 수 있는 클라우드 데이터 웨어하우스입니다.

• Power BI는 조직 전체에 인사이트를 전달하는 비즈니스 분석 도구 모음입니다. 수백 개의 데이터 원본에 연결하고, 데이터 준비를 간소화하며, 임시 분석을 수행합니다. 멋진 보고서를 작성한 다음, 조직이 웹 및 모바일 디바이스에서 사용할 수 있도록 보고서를 게시합니다.

대안

특별히 빌드된 MDM 애플리케이션이 없으면 Azure 에코시스템 내에서 MDM 솔루션을 빌드하는 데 필요한 몇 가지 기술 기능을 찾을 수 있습니다.

• 데이터 품질 - 분석 플랫폼에 로드할 때 통합 프로세스에 데이터 품질을 빌드할 수 있습니다. 예를 들어 하드 코딩된 스크립트를 사용하여 Azure Data Factory 파이프라인에서 데이터 품질 변환을 적용합니다.
• 데이터 표준화 및 보강 - Azure 지도 Azure Functions 및 Azure Data Factory에서 사용할 수 있는 주소 데이터에 대한 데이터 확인 및 표준화를 제공합니다. 다른 데이터를 표준화하려면 하드 코딩된 스크립트를 개발해야 할 수 있습니다.
• 중복 데이터 관리 - Azure Data Factory를 사용하여 정확한 일치에 충분한 식별자를 사용할 수 있는 행 을 중복 제거할 수 있습니다. 여기서 적절한 Survivorship과 일치하는 병합 논리에는 사용자 지정 하드 코드된 스크립트가 필요할 수 있습니다.
• 데이터 관리 - Power Apps를 사용하여 검토, 워크플로, 경고 및 유효성 검사에 적합한 사용자 인터페이스와 함께 Azure에서 데이터를 관리하는 간단한 데이터 관리 솔루션을 신속하게 개발합니다.

시나리오 정보

많은 디지털 변환 프로그램은 Azure를 핵심으로 사용합니다. 그러나 비즈니스 애플리케이션, 데이터베이스, 데이터 피드 등과 같은 여러 원본의 데이터의 품질과 일관성에 따라 달라집니다. 또한 비즈니스 인텔리전스, 분석, 기계 학습 등을 통해 가치를 제공합니다. Profisee의 MDM(Master 데이터 관리) 솔루션은 여러 원본의 데이터를 "정렬하고 결합"하는 실용적인 방법으로 Azure 데이터 자산을 완료합니다. 일치, 병합, 표준화, 확인 및 수정과 같은 원본 데이터에 일관된 데이터 표준을 적용하여 이 작업을 수행합니다. Azure Data Factory 및 기타 Azure Data Services와의 네이티브 통합은 Azure 비즈니스 혜택 제공을 가속화하기 위해 이 프로세스를 더욱 간소화합니다.

MDM 솔루션이 작동하는 핵심 원리는 여러 소스의 데이터를 결합하여 각 레코드에 대해 가장 잘 알려지고 신뢰할 수 있는 데이터가 포함된 "골든 레코드 마스터"를 만드는 것입니다. 이 구조는 요구 사항에 따라 do기본-by-do기본 구축되지만, 거의 항상 여러 기본 필요합니다. 일반적인 기본 고객, 제품 및 위치입니다. 그러나 기본 참조 데이터에서 계약 및 약물 이름에 이르기까지 모든 것을 나타낼 수 있습니다. 일반적으로 광범위한 Azure 데이터 요구 사항에 비해 빌드할 수 있는 기본 적용 범위가 더 좋습니다.

MDM 통합 파이프라인

이 아키텍처의 Visio 파일을 다운로드합니다.

위의 이미지는 Profisee MDM 솔루션과 통합하기 위한 세부 정보를 보여줍니다. Azure Data Factory 및 Profisee에는 경량 및 최신 통합을 제공하는 네이티브 REST 통합 지원이 포함됩니다.

1. MDM에 원본 데이터 로드: Azure Data Factory는 데이터 레이크에서 데이터를 추출하고, 마스터 데이터 모델과 일치하도록 변환하고, REST 싱크를 통해 MDM 리포지토리로 스트리밍합니다.

2. MDM 처리: MDM 플랫폼은 데이터를 확인, 표준화 및 보강하고 데이터 품질 프로세스를 실행하는 일련의 활동을 통해 원본 마스터 데이터를 처리합니다. 마지막으로 MDM은 중복 레코드를 식별하고 그룹화하고 마스터 레코드를 만들기 위해 일치 및 생존자를 수행합니다. 필요에 따라 데이터 관리자는 다운스트림 분석에 사용할 마스터 데이터 집합을 생성하는 작업을 수행할 수 있습니다.

3. 분석할 마스터 데이터 로드: Azure Data Factory는 REST 원본을 사용하여 Profisee에서 Azure Synapse Analytics로 마스터 데이터를 스트리밍합니다.

Profisee에 대한 Azure Data Factory 템플릿

Profisee는 Microsoft와 협업을 통해 Profisee를 Azure Data Services 에코시스템에 더 빠르고 쉽게 통합할 수 있는 Azure Data Factory 템플릿 세트를 개발했습니다. 이러한 템플릿은 Azure Data Factories REST 데이터 원본 및 데이터 싱크를 사용하여 Profisee의 REST Gateway API에서 데이터를 읽고 씁니다. Profisee에서 읽고 쓰는 템플릿을 제공합니다.

예제 Data Factory 템플릿: REST를 통해 JSON에서 Profisee로 복제

다음 스크린샷은 Azure Data Lake의 JSON 파일에서 REST를 통해 Profisee로 데이터를 복사하는 Azure Data Factory 템플릿을 보여줍니다.

템플릿은 원본 JSON 데이터를 복사합니다.

그런 다음, 데이터는 REST를 통해 Profisee와 동기화됩니다.

자세한 내용은 Profisee에 대한 Azure Data Factory 템플릿을 참조하세요.

MDM 처리

분석 MDM 사용 사례에서 데이터는 종종 MDM 솔루션을 통해 자동으로 처리되어 분석을 위해 데이터를 로드합니다. 다음 섹션에서는 이 컨텍스트에서 고객 데이터에 대한 일반적인 프로세스를 보여줍니다.

1. 원본 데이터 로드

원본 데이터는 계보 정보를 포함하여 원본 시스템에서 MDM 솔루션으로 로드됩니다. 이 경우 CRM과 ERP 애플리케이션에서 하나씩 두 개의 원본 레코드가 있습니다. 시각적 검사 시 두 레코드는 모두 동일한 사람을 나타내는 것으로 표시됩니다.

2. 데이터 확인 및 표준화

확인 및 표준화 규칙 및 서비스는 주소, 이름 및 전화 번호 정보를 표준화하고 확인하는 데 도움이 됩니다.

3. 매칭

데이터가 표준화되면 일치가 발생하여 그룹의 레코드 간 유사성을 식별합니다. 이 시나리오에서는 두 레코드의 이름 및 전화 번호가 정확히 일치하고, 다른 유사 항목의 이름 및 주소가 일치합니다.

4. 서바이버십

그룹이 구성되면 서바이버십은 그룹을 나타내는 마스터 레코드("골든 레코드"라고도 함)를 만들고 채웁니다.

이 마스터 레코드는 향상된 원본 데이터 및 계보 정보와 함께 트랜잭션 데이터에 연결되는 다운스트림 분석 솔루션으로 로드됩니다.

이 예제에서는 기본, 자동화된 MDM 처리를 보여 있습니다. 데이터 품질 규칙을 사용하여 값을 자동으로 계산 및 업데이트하고 데이터 관리자가 확인할 수 있도록 누락되거나 잘못된 값에 플래그를 지정할 수도 있습니다. 데이터 관리자는 데이터의 계층적 롤업 관리를 포함하여 데이터를 관리하는 데 도움을 줍니다.

MDM이 통합 복잡성에 미치는 영향

앞서 설명한 것처럼 MDM은 데이터를 분석 솔루션에 통합할 때 발생하는 몇 가지 일반적인 문제를 해결합니다. 여기에는 데이터 품질 문제 수정, 데이터 표준화 및 보강, 중복 데이터 합리화가 포함됩니다. MDM을 분석 아키텍처에 통합하면 통합 프로세스에서 하드 코딩된 논리를 제거하고 MDM 솔루션으로 오프로드하여 데이터 흐름을 근본적으로 변경하므로 통합이 크게 간소화됩니다. 다음 표에서는 MDM을 사용 또는 사용하지 않는 통합 프로세스의 몇 가지 일반적인 차이점을 간략하게 설명합니다.

MDM 사용 사례

MDM에 대한 수많은 사용 사례가 있지만, 몇 가지 사용 사례는 대부분의 실제 MDM 구현을 다룹니다. 이러한 사용 사례는 단일 작업기본 중점적으로 사용되지만, 그렇게 기본 빌드할 가능성은 거의 없습니다. 즉, 이러한 중요 사용 사례조차도 여러 마스터 데이터 도메인을 포함할 가능성이 큽니다.

고객 360

분석을 위해 고객 데이터를 통합하는 것이 가장 일반적인 MDM 사용 사례입니다. 조직은 점점 더 많은 애플리케이션에서 고객 데이터를 캡처하여 애플리케이션 내부 및 전체에서 불일치가 있는 중복 고객 데이터를 만듭니다. 이러한 품질이 낮은 고객 데이터는 최신 분석 솔루션의 가치를 실현하기 어렵게 만듭니다. 증상은 다음과 같습니다.

• "최고의 고객은 누구인가?" 및 "몇 명의 신규 고객이 있습니까?"와 같은 기본적인 비즈니스 질문에 대답하기 어렵기 때문에 상당한 수동 노력이 필요합니다.
• 고객 정보가 누락되고 부정확하므로, 데이터에 롤업하거나 드릴다운하기가 어렵습니다.
• 조직 및 시스템 경계를 넘어 고객을 고유하게 식별할 수 없기 때문에 시스템 또는 사업부에서 고객 데이터를 분석할 수 없는 경우
• 입력 데이터의 품질이 낮아서 AI 및 기계 학습의 인사이트 품질도 낮습니다.

제품 360

제품 데이터는 종종 ERP, PLM 또는 전자 상거래와 같은 여러 엔터프라이즈 애플리케이션에 분산됩니다. 결과적으로 제품의 이름, 설명 및 특성과 같은 속성에 대한 정의가 일관되지 않은 제품의 전체 카탈로그를 이해해야 한다는 문제가 발생합니다. 그리고 참조 데이터의 다양한 정의는 이 상황을 더욱 복잡하게 만듭니다. 증상은 다음과 같습니다.

• 제품 분석을 위한 다른 대체 계층적 롤업 및 드릴다운 경로를 지원할 수 없습니다.
• 완제품 또는 재료 재고 여부, 손에 있는 제품을 정확히 파악하는 데 어려움, 제품을 구매하는 공급업체 및 중복된 제품으로 인해 재고가 초과됩니다.
• 충돌하는 정의로 인해 제품을 합리화하는 데 어려움이 있으므로 분석에서 누락되거나 부정확한 정보가 발생합니다.

Reference data 360

분석의 컨텍스트에서 참조 데이터는 다른 마스터 데이터 집합을 더 자세히 설명하는 데 도움이 되는 수많은 데이터 목록으로 존재합니다. 참조 데이터에는 국가 및 지역, 통화, 색, 크기 및 측정 단위 목록이 포함될 수 있습니다. 일관적이지 않은 참조 데이터는 다운스트림 분석에서 명백한 오류를 유발합니다. 증상은 다음과 같습니다.

• 동일한 항목이 여러 방식으로 표시됩니다. 예를 들어 조지아 주에서는 "GA" 및 "조지아"로 표시되므로 데이터를 일관되게 집계하고 드릴다운하기가 어렵습니다.
• 시스템 간에 참조 데이터 값을 이동할 수 없기 때문에 여러 애플리케이션에서 데이터를 집계하는 데 어려움이 있습니다. 예를 들어 빨간색은 ERP 시스템에서는 "R"로, PLM 시스템에서는 "빨강"으로 표시됩니다.
• 데이터 분류를 위해 합의된 참조 데이터 값의 차이로 인해 조직 전체에서 숫자를 일치시키는 데 어려움이 있습니다.

Finance 360

금융 조직은 월별, 분기별 및 연간 보고와 같은 중요한 활동에 대한 데이터에 크게 의존합니다. 재무 및 회계 시스템이 여러 개 있는 조직에는 여러 일반 원장에 걸쳐 재무 데이터가 있는 경우가 많으며, 재무 보고서를 생성하기 위해 통합됩니다. MDM은 계정, 비용 센터, 비즈니스 엔터티 및 기타 재무 데이터 세트를 통합 보기에 매핑하고 관리할 수 있는 중앙 집중식 위치를 제공할 수 있습니다. 증상은 다음과 같습니다.

• 여러 시스템의 재무 데이터를 통합된 보기로 집계하는 데 어려움이 있습니다.
• 금융 시스템에서 새 데이터 요소를 추가하고 매핑하는 프로세스가 부족합니다.
• 기간 종료 재무 보고서 생성 지연.

고려 사항

이러한 고려 사항은 워크로드의 품질을 향상시키는 데 사용할 수 있는 일단의 지침 원칙인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Microsoft Azure Well-Architected Framework를 참조하세요.

안정성

안정성은 애플리케이션이 고객에 대한 약속을 충족할 수 있도록 합니다. 자세한 내용은 안정성 핵심 요소 개요를 참조하세요.

Profisee는 Azure Kubernetes Service 및 Azure SQL Database에서 기본적으로 실행됩니다. 두 서비스 모두 고가용성을 지원하는 기본 기능을 제공합니다.

성능 효율성

성능 효율성은 사용자가 배치된 요구 사항을 효율적인 방식으로 충족하기 위해 워크로드의 크기를 조정할 수 있는 기능입니다. 자세한 내용은 성능 효율성 핵심 요소 개요를 참조하세요.

Profisee는 Azure Kubernetes Service 및 Azure SQL Database에서 기본적으로 실행됩니다. 필요에 따라 Profisee를 확장 및 확장하도록 Azure Kubernetes Service를 구성할 수 있습니다. 다양한 구성으로 Azure SQL Database를 배포하여 성능, 확장성 및 비용의 균형을 맞출 수 있습니다.

보안

우수한 보안은 중요한 데이터 및 시스템에 대한 고의적인 공격과 악용을 방어합니다. 자세한 내용은 보안 요소의 개요를 참조하세요.

Profisee는 OAuth 2.0 인증 흐름을 구현하는 OpenID 커넥트 통해 사용자를 인증합니다. 대부분의 조직에서는 Microsoft Entra ID에 대해 사용자를 인증하도록 Profisee를 구성합니다. 이 프로세스를 통해 인증에 대한 엔터프라이즈 정책이 적용되고 적용됩니다.

비용 최적화

비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 높이는 방법을 찾는 것입니다. 자세한 내용은 비용 최적화 핵심 요소 개요를 참조하세요.

실행 비용은 소프트웨어 라이선스 및 Azure 사용량으로 구성됩니다. 자세한 내용을 보려면 Profisee에 문의하세요.

시나리오 배포

이 시나리오를 배포하려면 다음을 수행합니다.

1. ARM 템플릿을 사용하여 Azure에 Profisee를 배포합니다.
2. Azure Data Factory를 만듭니다.
3. Git 리포지토리에 연결하도록 Azure Data Factory를 구성합니다.
4. Profisee의 Azure Data Factory 템플릿을 Azure Data Factory Git 리포지토리에 추가합니다.
5. 템플릿을 사용하여 새 Azure Data Factory 파이프라인을 만듭니다.

참가자

Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.

보안 주체 작성자:

• Sunil Sabat | 수석 프로그램 관리자

비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인하세요.

다음 단계

• Azure Data Factory의 REST Copy Connector 기능을 이해합니다.
• Azure에서 기본적으로 실행되는 Profisee에 대해 자세히 알아봅니다.
• ARM 템플릿을 사용하여 Profisee를 Azure에 배포하는 방법을 알아봅니다.
• Profisee Azure Data Factory 템플릿을 봅니다.

관련 리소스

아키텍처 가이드

• ETL(추출, 변환 및 로드)
• Azure Data Factory의 통합 런타임
• Azure의 데이터 파이프라인 오케스트레이션 기술 선택

참조 아키텍처

• 자동화된 엔터프라이즈 BI
• 기본프레임 및 미드레인지 데이터 현대화
• 최신 데이터 웨어하우스를 위한 DataOps
• 데이터 웨어하우징 및 분석