빅 데이터 아키텍처에 대한 실시간 분석

Analysis Services
Event Hubs
Synapse Analytics

솔루션 아이디어

잠재적인 사용 사례, 대체 서비스, 구현 고려 사항 또는 가격 책정 지침과 같은 추가 정보를 사용하여 이 문서를 확장하려는 경우 GitHub 피드백을통해 알려주세요!

편리 하 게 라이브 스트리밍 데이터에서 통찰력을 얻습니다. IoT 장치에서 데이터를 계속 캡처 하거나 웹 사이트 클릭 스트림에서 로그를 기록 하 고 거의 실시간으로 처리 합니다.

Architecture

Azure Data Lake Storage Gen2, Event Hub, Azure Analysis Services, Azure Cosmos DB 및 Power BI를 사용 하 여 Azure Synapse analytics를 사용 하는 빅 데이터 아키텍처에 대 한 실시간 분석을 다이어그램으로 만듭니다.

이 아키텍처의 SVG 를 다운로드 합니다.

데이터 흐름

  1. Azure Event Hubs을 사용 하 여 응용 프로그램에 대 한 라이브 스트리밍 데이터를 쉽게 수집 합니다.
  2. Synapse Pipelines를 사용 하 여 모든 구조화 된 데이터를 통합 Azure Blob Storage 합니다.
  3. Apache Spark 풀을 활용 하 여 스트리밍 데이터를 정리, 변환 및 분석 하 고 운영 데이터베이스 또는 데이터 웨어하우스의 구조화 된 데이터와 결합 합니다.
  4. 확장 가능한 기계 학습/심층 학습 기술을 사용 하 여 Apache Spark 풀에서 노트북 환경으로 Python, Scala 또는 .NET을 사용 하 여이 데이터에서 보다 심층적인 정보를 얻을 수 있습니다.
  5. Azure Synapse Analytics에서 Apache Spark pool 및 Synapse Pipelines를 적용 하 여 대규모로 데이터를 액세스 하 고 이동 합니다.
  6. 전용 SQL 풀에 분석 대시보드 및 포함 된 보고서를 작성 하 여 조직 내에서 정보를 공유 하 고 Azure Analysis Services를 사용 하 여 수천 명의 사용자에 게이 데이터를 제공 합니다.
  7. Apache Spark 풀의 정보를 Cosmos DB 하 여 실시간 앱을 통해 액세스할 수 있도록 합니다.

구성 요소

  • Azure Synapse Analytics 는 유연 하 고 유연 하며 신뢰할 수 있는 클라우드 데이터 웨어하우스로, 대규모 병렬 처리 아키텍처를 사용 하 여 탄력적으로를 독립적으로 확장, 계산 및 저장할 수 있습니다.
  • Synapse Pipelines 설명서 를 사용 하 여 ETL/ELT 워크플로를 만들고 예약 하 고 오케스트레이션 할 수 있습니다.
  • Azure Data Lake Storage: Azure Blob Storage 대규모 확장 가능 하 고 안전한 Data Lake 기능을 제공 합니다.
  • Azure Synapse Analytics Spark 풀 은 빠르고 쉬우며 공동 작업 Apache Spark 기반 분석 플랫폼입니다.
  • Azure azure Event Hubs 설명서 는 빅 데이터 스트리밍 플랫폼 및 이벤트 수집 서비스입니다.
  • Azure Cosmos DB는 전 세계에 배포된 다중 모델 데이터베이스 서비스입니다. 그런 다음, 다양 한 Azure 지역에 걸쳐 데이터를 복제 하 고 저장소와 독립적으로 처리량 크기를 조정 하는 방법을 알아봅니다.
  • Azure Cosmos DB 용 azure Synapse 링크 를 사용 하면 azure Synapse SQL 작업 영역에서 사용할 수 있는 두 가지 분석 엔진 ( 서버 리스 서버Spark 풀)을 사용 하 여 트랜잭션 워크 로드에 대 한 성능 또는 비용에 영향 을 주지 않고 Azure Cosmos DB에서 작업 데이터에 대해 거의 실시간으로 분석을 실행할 수 있습니다.
  • Azure Analysis Services 은 BI 솔루션을 안전 하 게 제어, 배포, 테스트 및 제공할 수 있도록 하는 엔터프라이즈급 분석 서비스로 서,
  • Power BI는 조직 전체에 인사이트를 전달하는 비즈니스 분석 도구 모음입니다. 수백 개의 데이터 원본에 커넥트 하 고, 데이터 준비를 간소화 하 고, 계획 되지 않은 분석을 구동 합니다. 멋진 보고서를 생성 한 다음 조직에서 웹 및 모바일 장치에서 사용할 수 있도록 게시 합니다.

대안

  • Synapse 링크 는 Cosmos DB 데이터를 기반으로 분석을 위해 Microsoft에서 선호 하는 솔루션입니다.

가격 책정

다음 단계