ビッグ データ アーキテクチャにおけるリアルタイム分析Real Time Analytics on Big Data Architecture

ソリューションのアイデア Solution Idea

さらなる情報、実装の詳細、価格ガイダンス、コード例を追加してこの記事を拡張することをお望みの場合は、GitHub のフィードバックでご連絡ください。If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

ライブ ストリーミング データから簡単に分析情報を取得します。Get insights from live streaming data with ease. 任意の IoT デバイスから継続的にデータをキャプチャするか、Web サイトのクリックストリームからログをキャプチャして、凖リアルタイムで処理します。Capture data continuously from any IoT device, or logs from website clickstreams, and process it in near-real time.

ArchitectureArchitecture

アーキテクチャ図 このアーキテクチャの SVG をダウンロードしてください。Architecture Diagram Download an SVG of this architecture.

Data FlowData Flow

  1. Azure HDInsight の Apache Kafka クラスターを使用して、アプリケーションのライブ ストリーミング データを簡単に取り込みます。Easily ingest live streaming data for an application using Apache Kafka cluster in Azure HDInsight.
  2. Azure Data Factory を使用して、Azure Blob Storage にすべての構造化データをまとめます。Bring together all your structured data using Azure Data Factory to Azure Blob Storage.
  3. Azure Databricks を利用してストリーミング データのクリーニング、変換、分析を行い、オペレーション データベースまたはデータ ウェアハウスの構造化データと結合させます。Take advantage of Azure Databricks to clean, transform, and analyze the streaming data, and combine it with structured data from operational databases or data warehouses.
  4. スケーラブルな機械学習/ディープ ラーニング手法を使用して、Azure Databricks に組み込まれているノートブック エクスペリエンスで、Python、R、または Scala を使用してこのデータから詳細な分析情報を導き出します。Use scalable machine learning/deep learning techniques, to derive deeper insights from this data using Python, R or Scala, with inbuilt notebook experiences in Azure Databricks.
  5. Azure Databricks と Azure Synapse Analytics 間のネイティブ コネクタを利用して、大規模なデータのアクセスや移動を行います。Leverage native connectors between Azure Databricks and Azure Synapse Analytics to access and move data at scale.
  6. Azure Data Warehouse の上に分析ダッシュボードと埋め込みレポートを構築して、組織内で分析情報を共有し、Azure Analysis Services を使用してこのデータを数千人のユーザーに提供します。Build analytical dashboards and embedded reports on top of Azure Data Warehouse to share insights within your organization and use Azure Analysis Services to serve this data to thousands of users.
  7. パワー ユーザーは、Azure Databricks と Azure HDInsight の組み込み機能を利用して、根本原因の特定と生データの分析を実行します。Power users take advantage of the inbuilt capabilities of Azure Databricks and Azure HDInsight to perform root cause determination and raw data analysis.
  8. Azure Databricks から Cosmos DB に分析情報を取り込み、リアルタイム アプリによってアクセスできるようにします。Take the insights from Azure Databricks to Cosmos DB to make them accessible through real time apps.

ComponentsComponents

  • Azure Synapse Analytics は、高速で柔軟性のある、信頼性の高いクラウド データ ウェアハウスです。これにより、超並列処理アーキテクチャを使用して、弾力的かつ個別にスケーリング、計算、格納を行うことができます。Azure Synapse Analytics is the fast, flexible and trusted cloud data warehouse that lets you scale, compute and store elastically and independently, with a massively parallel processing architecture.
  • Azure Data Factory は、ETL/ELT ワークフローを作成、スケジュール、調整できるハイブリッド データ統合サービスです。Azure Data Factory is a hybrid data integration service that allows you to create, schedule and orchestrate your ETL/ELT workflows.
  • Azure Data Lake Storage:Azure Blob Storage 上に構築された、非常にスケーラブルで安全なデータ レイク機能です。Azure Data Lake Storage: Massively scalable, secure data lake functionality built on Azure Blob Storage
  • Azure Databricks は、高速で使いやすい、コラボレーション対応の Apache Spark ベースの分析プラットフォームです。Azure Databricks is a fast, easy, and collaborative Apache Spark-based analytics platform.
  • Azure HDInsight は、Hadoop、Spark、Hive、LLAP、Kafka、Storm、R などの一般的なオープンソース フレームワークを対象とした、あらゆる領域をカバーするオープンソースのフル マネージド分析サービスです。Azure HDInsight is a fully managed, full spectrum open-source analytics service for popular open-source frameworks such as Hadoop, Spark, Hive, LLAP, Kafka, Storm, R & more.
  • Azure Cosmos DB は、グローバル分散型のマルチモデル データベース サービスです。Azure Cosmos DB is a globally distributed, multi-model database service. 任意の数の Azure リージョンにデータをレプリケートし、ストレージから独立してスループットをスケーリングする方法について確認してください。Then learn how to replicate your data across any number of Azure regions and scale your throughput independent from your storage.
  • Azure Analysis Services は、サービスとしてのエンタープライズ グレードの分析です。これにより、BI ソリューションを自信を持って管理、デプロイ、テスト、配信できます。Azure Analysis Services is an enterprise grade analytics as a service that lets you govern, deploy, test, and deliver your BI solution with confidence.
  • Power BI は、組織全体に分析情報を提供できるビジネス分析ツール スイートです。Power BI is a suite of business analytics tools that deliver insights throughout your organization. 数百のデータ ソースに接続し、データの準備を簡素化して、アドホック分析を促進できます。Connect to hundreds of data sources, simplify data prep, and drive ad hoc analysis. 優れたレポートを生成し、組織に公開して、Web やモバイル デバイスで使用できます。Produce beautiful reports, then publish them for your organization to consume on the web and across mobile devices.

次のステップNext steps

料金計算ツールPricing Calculator