クラウド スケール分析での TimeXtender

Azure Analysis Services
Azure Data Lake Storage
Azure Databricks
Azure Synapse Analytics

ソリューションのアイデア

このアーティクルはソリューションのアイデアです。 このコンテンツにさらに多くの情報 (想定されるユース ケース、代替サービス、実装に関する考慮事項、価格ガイダンスなど) の掲載をご希望の方は、GitHub のフィードバックでお知らせください。

このソリューションのアイデアでは、TimeXtender グラフィカル インターフェイスを使用してデータ資産を定義する方法について説明します。

アーキテクチャ

クラウド規模の分析ソリューションを使用した TimeXtender のデータフローを示す図。

このアーキテクチャの Visio ファイルをダウンロードします。

データフロー

  1. TimeXtender' の Data Engineering パイプラインと数百のネイティブ データ コネクタを使用して、Azure Data Lake Storage のすべての構造化と半構造化のデータを結合します。
  2. Azure Databricks の優れた分析機能と計算機能を使用して、データをクリーンアップおよび変換します。
  3. クレンジングおよび変換されたデータを Azure Synapse Analytics に移動し、すべてのデータ用に 1 つのハブを作成します。 Azure Databricks (PolyBase) と Azure Synapse Analytics 間のネイティブ コネクタを利用して、規模に応じてデータへのアクセスおよび移動を行います。
  4. SQL Database 上に運用レポートと分析ダッシュボードを作成して、データから分析情報を引き出し、Azure Analysis Services を使用してデータを提供します。
  5. Azure Databricks 内のデータに対してアドホック クエリを直接実行します。

Components

  • Azure Data Lake Storage:Azure Blob Storage 上に構築された、非常にスケーラブルで安全なデータ レイク機能
  • Azure Databricks:高速で使いやすい、コラボレーション対応の Apache Spark ベースの分析プラットフォーム
  • Azure Synapse Analytics:分析情報を得る時間の点で比類のない無制限の分析サービス (以前の SQL Data Warehouse)
  • Azure Analysis Services:サービスとしてのエンタープライズ グレードの分析エンジン
  • Power BI Embedded:完全対話式で魅力的なデータの視覚エフェクトをアプリケーションに組み込む

シナリオの詳細

TimeXtender を使用して、グラフィカル ユーザー インターフェイスによりデータ資産を定義できます。 定義はメタデータ リポジトリに格納されます。 データ資産を構築するためのコードは自動的に生成されますが、完全にカスタマイズできます。 結果は、クラウド スケール分析と AI をサポートする準備ができている最新のデータ ウェアハウスです。

考えられるユース ケース

  • インフラストラクチャの問題やメンテナンスが発生しない
  • 一貫したパフォーマンス
  • アーキテクチャとデータ パイプライン、データ モデル、セマンティック モデルの両方をデプロイして管理する

次のステップ