ディスカバリー ハブとクラウド スケールの分析

Analysis Services
Data Lake Storage
Databricks
Synapse Analytics

ソリューションのアイデア Solution Idea

さらなる情報、実装の詳細、価格ガイダンス、コード例を追加してこの記事を拡張することをお望みの場合は、GitHub のフィードバックでご連絡ください。If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

ディスカバリー ハブを使用して、メタデータ リポジトリに格納されている定義とグラフィカル ユーザー インターフェイスによりデータ資産を定義します。Use Discovery Hub to define a data estate using a graphical user interface, with definitions stored in a metadata repository. データ資産を構築するためのコードは自動的に生成されますが、完全にカスタマイズできます。Code for building the data estate is generated automatically while remaining fully customizable. 完成した最新のデータ ウェアハウスは、クラウド スケール分析と AI をサポートする準備ができています。The resulting modern data warehouse is ready to support cloud scale analytics and AI.

ArchitectureArchitecture

アーキテクチャ図 このアーキテクチャの SVG をダウンロードしてください。Architecture Diagram Download an SVG of this architecture.

Data FlowData Flow

  1. ディスカバリー ハブの Data Engineering パイプラインと数百のネイティブ データ コネクタを使用して、Azure Data Lake Storage のすべての構造化データと半構造化データを結合します。Combine all your structured and semi-structured data in Azure Data Lake Storage using Discovery Hub's data engineering pipeline with hundreds of native data connectors.
  2. Azure Databricks の優れた分析機能と計算機能を使用して、データをクリーンアップおよび変換します。Clean and transform data using the powerful analytics and computational ability of Azure Databricks.
  3. クレンジングおよび変換されたデータを Azure Synapse Analytics に移動し、すべてのデータ用に 1 つのハブを作成します。Move cleansed and transformed data to Azure Synapse Analytics, creating one hub for all your data. Azure Databricks (PolyBase) と Azure Synapse Analytics 間のネイティブ コネクタを利用して、規模に応じてデータへのアクセスおよび移動を行います。Take advantage of native connectors between Azure Databricks (PolyBase) and Azure Synapse Analytics to access and move data at scale.
  4. SQL Database 上に運用レポートと分析ダッシュボードを作成して、データから分析情報を引き出し、Azure Analysis Services を使用してデータを提供します。Build operational reports and analytical dashboards on top of SQL Database to derive insights from the data and use Azure Analysis Services to serve the data.
  5. Azure Databricks 内のデータに対してアドホック クエリを直接実行します。Run ad-hoc queries directly on data within Azure Databricks.

ComponentsComponents

  • Azure Data Lake Storage:Azure Blob Storage 上に構築された、非常にスケーラブルで安全なデータ レイク機能Azure Data Lake Storage: Massively scalable, secure data lake functionality built on Azure Blob Storage
  • Azure Databricks:高速で使いやすい、コラボレーション対応の Apache Spark ベースの分析プラットフォームAzure Databricks: Fast, easy, and collaborative Apache Spark-based analytics platform
  • Azure Synapse Analytics:分析情報を得る時間の点で比類のない無制限の分析サービス (以前の SQL Data Warehouse)Azure Synapse Analytics: Limitless analytics service with unmatched time to insight (formerly SQL Data Warehouse)
  • Azure Analysis Services:サービスとしてのエンタープライズ グレードの分析エンジンAzure Analysis Services: Enterprise-grade analytics engine as a service
  • Power BI Embedded:完全対話式で魅力的なデータの視覚エフェクトをアプリケーションに組み込むPower BI Embedded: Embed fully interactive, stunning data visualizations in your applications

次のステップNext steps