다음 아키텍처는 Azure Synapse Analytics 시나리오를 사용하여 분석을 엔드 투 엔드로 확장 합니다 . 이를 통해 사용자 지정 ML(기계 학습) 모델을 Azure Machine Learning에서 학습하고 Microsoft Power Platform을 사용하여 빌드된 사용자 지정 애플리케이션으로 구현할 수 있습니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
워크플로
워크플로는 다음 단계로 구성됩니다.
- 수집
- 저장
- 모델 학습 및 배포
- 사용
수집
Azure Synapse Pipelines를 사용하여 온-프레미스 및 클라우드의 다양한 원본에서 일괄 처리 데이터를 가져옵니다. 이 람다 아키텍처에는 스트리밍 및 일괄 처리라는 두 가지 데이터 수집 흐름이 있습니다. 여기에 설명된 내용은 다음과 같습니다.
- 스트리밍: 이전 아키텍처 다이어그램의 상반부에는 스트리밍 데이터 흐름(예: 빅 데이터 스트림 및 IoT 디바이스)이 있습니다.
- Azure Event Hubs 또는 Azure IoT Hub를 사용하여 클라이언트 애플리케이션 또는 IoT 디바이스에서 생성된 데이터 스트림을 수집할 수 있습니다. Event Hubs 또는 IoT Hub는 스트리밍 데이터를 수집하고 저장하여 수신된 이벤트 시퀀스를 유지합니다. 소비자는 허브 엔드포인트에 연결하여 처리할 메시지를 검색할 수 있습니다.
- 일괄 처리: 아키텍처 다이어그램의 아래쪽 절반에서 데이터는 다음과 같은 일괄 처리로 수집되고 처리됩니다.
구조화되지 않은 데이터(예: 비디오, 이미지, 오디오 및 자유 텍스트)
반구조화된 데이터(예: JSON, XML, CSV 및 로그)
구조적 데이터(예: 관계형 데이터베이스 및 Azure Data Services)
Azure Synapse Link를 통해 Microsoft Azure Cosmos DB와 Azure Synapse Analytics가 긴밀하게 통합됩니다. Azure Synapse Pipelines는 미리 정의된 일정에 따라 또는 이벤트에 대한 응답으로 트리거할 수 있습니다. REST API를 호출하여 트리거될 수도 있습니다.
저장
수집된 데이터는 원시 형식으로 직접 착륙한 다음 Azure Data Lake에서 변환될 수 있습니다. 큐레이팅되고 관계형 구조로 변환된 데이터는 Azure Synapse Analytics에서 사용할 수 있도록 표시될 수 있습니다.
모델 학습 및 배포
Machine Learning 은 모델을 더 빠르게 빌드하고 배포하기 위한 엔터프라이즈급 ML 서비스를 제공합니다. 모든 기술 수준의 사용자에게 낮은 코드 디자이너, 자동화된 ML 및 호스팅된 Jupyter Notebook 환경을 제공합니다. 모델은 Azure Kubernetes Service의 실시간 엔드포인트 또는 Machine Learning 관리형 엔드포인트로 배포할 수 있습니다. ML 모델의 일괄 유추를 위해 Machine Learning 파이프라인을 사용할 수 있습니다.
사용
Machine Learning에 게시된 일괄 처리 또는 실시간 모델은 하위 코드 Power Apps 플랫폼을 사용하여 빌드된 사용자 지정 애플리케이션에서 사용할 수 있는 REST 엔드포인트를 생성할 수 있습니다. 또한 Power BI 보고서에서 실시간 Machine Learning 엔드포인트를 호출하여 비즈니스 보고서에 예측을 포함할 수도 있습니다.
참고
Machine Learning 및 Power Platform 스택에는 데이터를 직접 수집할 수 있도록 하는 다양한 기본 제공 커넥터가 있습니다. 이러한 커넥터는 MVP(일회성 최소 실행 가능 제품)에 유용할 수 있습니다. 그러나 아키텍처의 "수집" 및 "저장" 섹션에서는 다양한 원본의 데이터를 대규모로 소싱하고 저장하기 위해 표준화된 데이터 파이프라인의 역할에 대해 조언합니다. 이러한 패턴은 일반적으로 엔터프라이즈 데이터 플랫폼 팀에 의해 구현되고 유지 관리됩니다.
구성 요소
다음 구성 요소를 사용할 수 있습니다.
Power Platform 서비스
- Power Platform: 데이터 분석, 솔루션 빌드, 프로세스 자동화 및 가상 에이전트 만들기를 위한 도구 집합입니다. 여기에는 Power Apps, Power Automate, Power BI 및 Power Virtual Agents가 포함됩니다.
- Power Apps: 앱, 서비스, 커넥터 및 데이터 플랫폼 모음입니다. 비즈니스 요구 사항에 맞는 사용자 지정형 앱을 빌드할 수 있는 신속한 애플리케이션 개발 환경을 제공합니다.
- Power Automate: 즐겨 사용하는 앱과 서비스 간에 자동화된 워크플로를 만드는 데 도움이 되는 서비스입니다. 파일 동기화, 알림 받기, 데이터 수집 등에 사용합니다.
- Power BI: 관련 없는 데이터 원본을 일관되고 시각적으로 몰입형 대화형 인사이트로 전환하기 위해 함께 작동하는 소프트웨어 서비스, 앱 및 커넥터의 컬렉션입니다.
Azure 서비스
- Machine Learning: 모델을 신속하게 빌드하고 배포하기 위한 엔터프라이즈급 ML 서비스입니다. 모든 기술 수준의 사용자에게 낮은 코드 디자이너, 자동화된 ML 및 호스팅된 Jupyter Notebook 환경을 제공하여 개인이 선택한 IDE를 지원합니다.
- Machine Learning 관리 엔드포인트: 기본 인프라를 만들고 관리할 필요 없이 모델을 배포할 수 있는 온라인 엔드포인트입니다.
- Azure Kubernetes Service: ML은 다양한 컴퓨팅 대상에서 다양한 지원을 제공합니다. Azure Kubernetes Service는 엔터프라이즈급 실시간 모델 엔드포인트에 매우 적합한 대상 중 하나입니다.
- Azure Data Lake: Hadoop 호환 파일 시스템입니다. 통합된 계층 구조 네임스페이스와 Azure Blob Storage의 대규모 확장성과 경제성이 있습니다.
- Azure Synapse Analytics: 데이터 통합, 엔터프라이즈 데이터 웨어하우징 및 빅데이터 분석을 결합하는 무제한 분석 서비스입니다.
- Event Hubs 및 IoT Hub: 두 서비스 모두 클라이언트 애플리케이션 또는 IoT 디바이스에서 생성된 데이터 스트림을 수집합니다. 그런 다음 수신된 이벤트의 순서를 보존하면서 스트리밍 데이터를 수집 및 저장합니다. 소비자는 허브 엔드포인트에 연결하여 처리할 메시지를 검색할 수 있습니다.
플랫폼 서비스
Azure 솔루션의 품질을 개선하려면 Azure Well-Architected Framework의 권장 사항 및 지침을 따릅니다. 이 프레임워크는 다음과 같이 뛰어난 아키텍처의 5가지 핵심 요소로 이루어져 있습니다.
- 비용 최적화
- 운영 우수성
- 성능 효율성
- 안정성
- 보안
이러한 권장 사항을 준수하는 디자인을 만들려면 다음 서비스를 고려합니다.
- Microsoft Entra ID: Azure 워크로드에서 ID 서비스, Single Sign-On 및 다단계 인증.
- Azure Cost Management 및 청구: Azure 워크로드에 대한 재무 거버넌스.
- Azure Key Vault: 보안 자격 증명 및 인증서 관리.
- Azure Monitor: Azure 리소스의 원격 분석에 대한 컬렉션, 분석 및 표시. 모니터를 사용하여 문제를 사전에 식별하여 성능과 안정성을 최대화합니다.
- 클라우드용 Microsoft Defender: Azure 워크로드의 보안 태세를 강화하고 모니터링합니다.
- Azure DevOps 및 GitHub: Azure Synapse Analytics 및 Machine Learning을 위한 워크로드 개발 및 배포 파이프라인의 자동화 및 규정 준수를 적용하는 DevOps 사례를 구현합니다.
- Azure Policy: 리소스 일관성, 규정 준수, 보안, 비용 및 관리를 위한 조직 표준 및 거버넌스를 구현합니다.
대안
기계 학습 MVP는 속도에서 결과까지 이점을 누릴 수 있습니다. 경우에 따라 미리 학습된 Azure Cognitive Services 또는 Azure 앱lied AI Services를 통해 사용자 지정 모델의 요구 사항을 충족할 수 있습니다. 다른 경우에는 Power Apps AI Builder 가 목적 모델에 적합할 수 있습니다.
시나리오 정보
일반적인 기술 추세를 살펴보면 시민 AI 역할의 인기가 높아지고 있습니다. 이러한 역할은 ML 및 AI 기술의 적용을 통해 비즈니스 프로세스를 개선하려는 비즈니스 실무자입니다. 이러한 추세에 크게 기여한 것은 ML 모델을 개발하기 위한 낮은 코드 도구의 성숙도와 가용성이 증가하고 있다는 사실입니다.
이러한 이니셔티브에 대해 잘 알려진 높은 실패율로 인해 실제 설정에서 AI 애플리케이션을 신속하게 프로토타입하고 유효성을 검사하는 기능은 장애 조치(fail-fast) 접근 방식의 핵심 인에이블러가 됩니다. 프로세스를 최신화하고 혁신적인 결과를 이끌어내는 모델을 개발하기 위한 두 가지 핵심 도구가 있습니다.
- 모든 기술 수준을 위한 ML 도구 키트
- 완전히 코딩된 ML 개발에 대한 코드 없음 지원
- 유연한 낮은 코드 GUI 보유
- 사용자가 데이터를 신속하게 소싱 및 준비 가능
- 사용자가 모델을 신속하게 빌드 및 배포 가능
- ML 알고리즘 개발을 위한 고급 자동화된 ML 기능 보유
- 낮은 코드 애플리케이션 개발 도구 키트
- 사용자가 사용자 지정형 애플리케이션 및 자동화 워크플로를 빌드할 수 있도록 합니다.
- 소비자 및 업무 프로세스가 ML 모델과 상호 작용할 수 있도록 워크플로를 만듭니다.
Machine Learning 은 ML 개발을 위한 하위 코드 GUI의 역할을 수행합니다. 일괄 처리 또는 실시간 엔드포인트에 대한 자동화된 ML 및 배포가 있습니다. Power Apps 및 Power Automate를 포함하는 Power Platform은 ML 알고리즘을 구현하는 사용자 지정 애플리케이션 및 워크플로를 신속하게 빌드하는 도구 키트를 제공합니다. 이제 비즈니스 사용자는 프로덕션 수준의 ML 애플리케이션을 빌드하여 레거시 비즈니스 프로세스를 변환할 수 있습니다.
잠재적인 사용 사례
이러한 도구 키트는 업무 프로세스에서 ML 모델의 이점을 프로토타이핑하는 데 필요한 시간과 노력을 최소화합니다. 프로토타입을 프로덕션 등급 애플리케이션으로 쉽게 확장할 수 있습니다. 이러한 기술의 용도는 다음과 같습니다.
- 오래된 결정적 예측을 사용하는 레거시 애플리케이션이 있는 제조 운영. 이러한 상황은 ML 모델의 개선된 정확도의 이점을 얻을 수 있습니다. 개선된 정확도를 입증하려면 온-프레미스 레거시 시스템과 통합하기 위한 모델 및 개발 노력이 모두 필요합니다.
- 데이터가 드리프트되는 경우조정되지 않는 레거시 애플리케이션을 사용하여 센터 Ops를 호출합니다. 자동으로 재학습하는 모델은 변동 예측 또는 위험 프로파일링 정확도가 크게 향상될 수 있습니다. 유효성 검사를 수행하려면 기존 고객 관계 관리 및 티켓 관리 시스템과 통합해야 합니다. 통합 비용이 많이 들 수 있습니다.
고려 사항
이러한 서비스를 사용하여 개념 증명 또는 MVP를 만들면 완료되지 않습니다. 프로덕션 솔루션을 만들기 위해서는 더 많은 작업이 필요합니다. 잘 설계된 프레임워크와 같은 프레임워크는 아키텍처에 적용할 참조 지침 및 모범 사례를 제공합니다.
가용성
이 예제 시나리오에서 사용되는 대부분의 구성 요소는 자동으로 크기가 조정되는 관리되는 서비스입니다. 이 예에서 사용된 서비스의 가용성은 지역에 따라 다릅니다.
ML 기반 앱에는 일반적으로 학습용 리소스 세트와 제공용 리소스 세트가 각각 필요합니다. 학습에 필요한 리소스는 일반적으로 라이브 프로덕션 요청이 이러한 리소스에 직접 영향을 미치지 않기 때문에 고가용성이 필요하지 않습니다. 요청을 처리하는 데 필요한 리소스에는 고가용성이 필요합니다.
DevOps
DevOps 사례는 이 예에서 사용된 엔드투엔드 접근 방식을 오케스트레이션하는 데 사용됩니다. 조직이 DevOps를 처음 사용하는 경우라면 DevOps 검사 목록이 시작하는 데 도움이 될 수 있습니다.
Machine Learning DevOps 가이드는 Machine Learning을 사용하는 기업에서 MLOps(ML 작업)을 채택하는 방법에 대한 모범 사례와 학습 내용을 제공합니다.
이 예시에서 제공하는 Power Platform 솔루션에 DevOps 자동화를 적용할 수 있습니다. Power Platform DevOps에 대한 자세한 내용은 Azure DevOps용 Power Platform 빌드 도구: Power Platform을 참조하세요.
비용 최적화
비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 높이는 방법을 찾는 것입니다. 자세한 내용은 비용 최적화 핵심 요소 개요를 참조하세요.
Azure 가격 책정: Azure의 자사 IaaS(Infrastructure as a Service) 및 PaaS(Platform as a Service) 서비스는 소비 기반 가격 책정 모델을 사용합니다. 라이선스나 구독료가 필요하지 않습니다. 일반적으로 Azure 가격 계산기를 사용하여 비용을 예측합니다. 다른 고려 사항은 Well-Architected Framework의 비용 최적화를 참조하세요.
Power Platform 가격 책정:Power Apps, Power Automate 및 Power BI 는 SaaS 애플리케이션이며 앱 플랜 및 사용자별을 비롯한 자체 가격 책정 모델을 포함합니다.
시나리오 배포
이 비즈니스 시나리오를 고려합니다. 현장 에이전트는 자동차의 시장 가격을 예측하는 앱을 사용합니다. Machine Learning을 사용하여 이 앱의 ML 모델을 빠르게 프로토타이핑할 수 있습니다. 낮은 코드 디자이너와 ML 기능을 사용하여 모델을 만든 다음 실시간 REST 엔드포인트로 배포합니다.
모델은 개념을 증명할 수 있지만 사용자는 REST API로 구현된 모델을 쉽게 사용할 수 없습니다. Power Platform은 여기에 표시된 대로 이 마지막 마일을 닫는 데 도움이 될 수 있습니다.
다음은 Power Apps에서 제공하는 낮은 코드 인터페이스를 사용하여 Power Apps에서 만든 앱을 위한 사용자 인터페이스입니다.
Power Automate를 통해 낮은 코드 워크플로를 빌드하여 사용자 입력을 구문 분석하고 Machine Learning 엔드포인트에 전달하고 예측을 검색할 수 있습니다. 또한 Power BI를 사용하여 Machine Learning 모델과 상호 작용하고 사용자 지정 비즈니스 보고서 및 대시보드를 만들 수 있습니다.
이 엔드 투 엔드 예제를 배포하려면 Car Price Predictor - Azure ML + Power App Solution의 단계별 지침을 따릅니다.
확장된 시나리오
다음과 같은 시나리오를 고려해 보세요.
Teams에 배포
앞의 예제에서 제공된 샘플 앱도 Microsoft Teams에 배포할 수 있습니다. Teams는 앱을 위한 훌륭한 배포 채널을 제공하고 사용자에게 협업하기 용이한 앱 환경을 제공합니다. Power Apps를 사용하여 Teams에 앱을 배포하는 방법에 대한 자세한 내용은 Teams: Power Apps에서 Power Apps를 사용하여 앱 게시를 참조하세요.
여러 앱 및 자동화에서 API 사용
이 예제에서는 REST 엔드포인트를 HTTP 작업으로 사용하도록 Power Automate 클라우드 흐름을 구성합니다. 대신 REST 엔드포인트에 대한 사용자 지정 커넥터를 설정하고 Power Apps 또는 Power Automate에서 직접 사용할 수 있습니다. 이 접근 방식은 여러 앱이 동일한 엔드포인트를 사용하도록 할 때 유용합니다. 또한 Power Platform 관리 센터에서 커넥터 DLP(데이터 손실 방지) 정책을 사용하여 거버넌스를 제공합니다. 사용자 지정 커넥터를 만들려면 Power Apps 앱에서 사용자 지정 커넥터 사용을 참조하세요. Power Platform 커넥터 DLP에 대한 자세한 내용은 데이터 손실 방지 정책인 Power Platform을 참조하세요.
참가자
Microsoft에서 이 문서를 유지 관리합니다. 그것은 원래 에 의해 작성되었습니다 :
- Vyas Dev Venugopalan | Sr. Specialist - Azure Data & AI