編集

Azure Data Explorer による対話型分析

Azure Data Explorer
Azure Data Factory
Azure Event Hubs
Azure IoT Hub
Azure Storage

ソリューションのアイデア

このアーティクルはソリューションのアイデアです。 このコンテンツにさらに多くの情報 (想定されるユース ケース、代替サービス、実装に関する考慮事項、価格ガイダンスなど) の掲載をご希望の方は、GitHub のフィードバックでお知らせください。

このソリューションのアイデアは、Azure Data Explorerで対話型分析を使用する方法を示しています。 簡単に作成できる対話型で高速のクエリを使用して、構造化、半構造化、非構造化のデータを調べる方法について説明します。

Jupyter は、各社の商標です。 このマークを使用することは、保証を意味するものではありません。 Apache® および Apache Kafka® は、米国およびその他の国における Apache Software Foundation の登録商標または商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。

Architecture

Azure Data Explorer を使用した対話型分析。

このアーキテクチャの Visio ファイルをダウンロードします。

データフロー

  1. あらゆる種類のログ、ビジネス イベント、ユーザー アクティビティなど、生の構造化、半構造化、非構造化 (フリー テキスト) データを、さまざまなソースから Azure Data Explorer に取り込むことができます。 さまざまな方法を使用して、ストリーミング モードまたはバッチ モードでデータを取り込みます。
  2. Azure Data Factory、Azure Event Hubs、Azure IoT Hub、Kafka などに対応するコネクタを使用して、低遅延、高スループットで Azure Data Explorer にデータを取り込みます。 代わりに、Azure Storage (Blob または ADLS Gen2) からデータを取り込み、Azure Event Grid を使用して、Azure Data Explorer へのインジェスト パイプラインをトリガーします。 また、「継続的データ エクスポートの概要」で詳述するように、圧縮され、パーティション分割された parquet 形式でデータを Azure Storage に継続的にエクスポートし、そのデータのクエリをシームレスに実行することもできます。
  3. ネイティブの Azure Data Explorer ツールまたは任意の代替ツールを使用して、少量から非常に大量のデータに対して対話型クエリを実行します。 Azure Data Explorer では、多くのプラグインと、データ プラットフォーム エコシステムの残りの部分との統合を提供しています。 次のツールと統合のいずれかを使用します。
  4. Azure Data Explorer プラグインを使用して、SQL データベースと Azure Cosmos DB のデータを組み合わせることで、フェデレーション クエリを実行するデータを強化します。

コンポーネント

  • Azure Event Hubs: シンプルで信頼性とスケーラビリティに優れた、フル マネージドのリアルタイム データ インジェスト サービスです。
  • Azure IoT Hub:IoT デバイスと Azure 間の双方向通信を可能にするマネージド サービスです。
  • HDInsight 上の Kafka: Apache Kafka を使用したオープンソース分析のための手軽でコスト効率に優れたエンタープライズ レベルのサービスです。
  • Azure Data Factory: 大規模な ETL を簡素化するハイブリッド データ統合サービスです。
  • Azure Data Explorer: アプリケーション、Web サイト、IoT デバイスなどからの大量のデータ ストリーミングをリアルタイムで分析するための、高速でスケーラビリティに優れたフル マネージドのデータ分析サービスです。
  • Azure Data Explorer ダッシュボード: Web UI で確認された Kusto クエリを、最適化されたダッシュボードにネイティブにエクスポートします。
  • Azure Cosmos DB:あらゆる規模に対応するオープン API を備え、最新のアプリ開発に対応する、フル マネージドの高速 NoSQL データベース サービスです。
  • Azure SQL DB: クラウドで管理されたインテリジェントな SQL を使用して、ビジネスのペースに合わせてスケーリングするアプリを構築します。

シナリオの詳細

このソリューションのアイデアは、少量から非常に大量のデータに対する即席の対話型高速クエリを使用してデータを探索するための、Azure Data Explorer での対話型分析の使用方法を示しています。 このデータ探索は、ネイティブの Azure Data Explorer ツールまたは任意の代替ツールを使用して実行できます。 このソリューションは、Azure Data Explorer とデータ プラットフォーム エコシステムの残りの部分との統合に重点を置いています。

考えられるユース ケース

Microsoft のお客様は、ユーザー アクティビティの追跡、ユーザー プロファイルの管理、ユーザー セグメンテーションのシナリオで、このソリューションを使用しています。

共同作成者

この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。

プリンシパル作成者:

  • Ornat Spodek | シニア コンテンツ マネージャー

次のステップ

詳細については、Azure Data Explorer のドキュメントをご覧ください。