HDInsight での対話型クエリ

Data Factory
Data Lake Storage
HDInsight
Power BI

ソリューションのアイデア Solution Idea

さらなる情報、実装の詳細、価格ガイダンス、コード例を追加してこの記事を拡張することをお望みの場合は、GitHub のフィードバックでご連絡ください。If you'd like to see us expand this article with more information, implementation details, pricing guidance, or code examples, let us know with GitHub Feedback!

Azure HDInsight 上の Apache Hive LLAP を使用して、構造化データまたは非構造化データに対し、高速で対話型の SQL に似たクエリを大規模に実行します。Perform fast, interactive SQL like queries at scale over structured or unstructured data with Apache Hive LLAP on Azure HDInsight.

アーキテクチャArchitecture

アーキテクチャ図 このアーキテクチャの SVG をダウンロードしてください。Architecture Diagram Download an SVG of this architecture.

Data FlowData Flow

  1. Azure Data Factory を使用して、Azure クラウドまたは他の Azure 以外のクラウドの間でデータを移動しますMove data between Azure cloud or any other non Azure cloud using Azure Data Factory
  2. Azure Data Lake Gen2 サービスを使用して、データ ランディング ゾーンを作成します。これは、Azure HDInsights Hadoop クラスター用のプライマリ ストレージ アカウントでもありますCreate a data landing zone using Azure Data Lake Gen2 service, which is also the primary storage account for the Azure HDInsights hadoop cluster
  3. Azure Data Factory または Hive を使用して ELT プロシージャを実行し、HDFS の受信データを変換しますRun ELT procedures using Azure Data Factory or Hive to transform incoming data in HDFS
  4. HDFS 内のこのデータを使用して、Hive に外部テーブルを作成しますCreate external tables in Hive using this data in HDFS
  5. Power BI を使用してこのデータを解釈し、新しい視覚エフェクトを作成しますUse Power BI to interpret this data and create new visualizations

コンポーネントComponents

  • Azure Data Factory は、ETL/ELT ワークフローの作成、スケジュール設定、調整を行うことができるハイブリッド データ統合サービスです。Azure Data Factory is a hybrid data integration service that allows you to create, schedule and orchestrate your ETL/ELT workflows.
  • Azure Data Lake Storage は、ファイル システム セマンティクスや、Azure Blob Storage を基に構築されたビッグ データ分析専用のファイル レベル セキュリティなどの一連の機能です。Azure Data Lake Storage is a set of capabilities such as file system semantics, and file-level security dedicated to big data analytics built on Azure Blob storage.
  • Azure HDInsight により、大量のデータを簡単かつ迅速に高いコスト効率で処理できるようになります。Azure HDInsight makes it easy, fast, and cost-effective to process massive amounts of data. Hadoop、Spark、Hive、LLAP、Kafka、Storm、R など、最もよく使用されているオープンソースのフレームワークを使用することができます。You can use the most popular open-source frameworks such as Hadoop, Spark, Hive, LLAP, Kafka, Storm, R, and more.
  • Power BI は、組織全体に分析情報を提供できるビジネス分析ツール スイートです。Power BI is a suite of business analytics tools that deliver insights throughout your organization. 数百のデータ ソースに接続し、データの準備を簡素化して、アドホック分析を促進できます。Connect to hundreds of data sources, simplify data prep, and drive adhoc analysis.

参照See Also