使用 HDInsight 進行互動式查詢

Data Factory
Data Lake Storage
HDInsight
Power BI

解決方案構想

如果您想要瞭解如何使用詳細資訊來擴充本文,例如可能的使用案例、替代服務、實行考慮或定價指引,請讓我們知道 GitHub 的意見反應!

使用 Azure HDInsight 上的 Apache Hive LLAP,執行快速、互動式的 SQL,例如大規模的結構化或非結構化資料的查詢。

架構

架構圖表會 下載此架構的SVG

資料流程

  1. 使用 Azure Data Factory 在 Azure 雲端或任何其他非 Azure 雲端之間移動資料
  2. 使用 Azure Data Lake Gen2 服務建立資料登陸區域,也就是 Azure HDInsights hadoop 叢集的主要儲存體帳戶
  3. 使用 Azure Data Factory 或 Hive 執行 ELT 程式來轉換 HDFS 中的傳入資料
  4. 使用 HDFS 中的此資料在 Hive 中建立外部資料表
  5. 使用 Power BI 來解讀此資料並建立新的視覺效果

單元

  • Azure Data Factory 是混合式資料整合服務,可讓您建立、排程及協調 ETL/ELT 工作流程。
  • Azure Data Lake Storage是一組功能,例如檔案系統的語法,以及以 Azure Blob 儲存體為基礎的大型資料分析專用的檔案層級安全性。
  • Azure HDInsight 可讓您輕鬆、快速且符合成本效益的方式處理大量資料。 您可以使用最熱門的開放原始碼架構,例如 Hadoop、Spark、Hive、LLAP、Kafka、Storm、R 等等。
  • Power BI 是商務分析工具套件,可將見解提供給整個組織。 連線到數百個數據源,簡化資料準備,並驅動臨機操作分析。

另請參閱