解決方案構想
本文是解決方案概念。 如果您想要使用詳細資訊來擴充內容,例如潛在的使用案例、替代服務、實作考慮或定價指引,請提供 GitHub 意見反應讓我們知道。
本文提供 Azure 中企業數據倉儲的解決方案:
- 將所有數據結合在一起,不論縮放比例或格式為何。
- 提供所有使用者透過分析儀錶板、操作報告和進階分析從數據取得見解的方法。
Apache 和 Apache® Spark 是 美國 和/或其他國家/地區的 Apache Software Foundation 註冊商標或商標。 Apache Software Foundation 不會隱含使用這些標記。
架構
資料流程
- Azure Synapse Analytics 管線將結構化、非結構化和半結構化數據整合在一起,例如記錄、檔案和媒體。 管線會將數據儲存在 Azure Data Lake 儲存體。
- Azure Synapse Analytics 中的 Apache Spark 集區會清除並轉換 Data Lake 儲存體 數據。
- Azure Synapse Analytics 結合了已處理的數據與現有的結構化數據,建立一個統一的數據中樞。
- 專用 SQL 集區可讓數據用於衍生深入解析的作業報表和分析儀錶板。 Azure Analysis Services 會將報表和儀錶板服務給數千個終端使用者。
元件
- Azure Synapse Analytics 是適用於數據倉儲和巨量數據系統的分析服務。 此工具會使用大量平行處理架構,並與 Azure 服務深入整合。
- Azure Synapse Analytics 管線 可讓您建立、排程及協調工作流程,例如擷取、載入、轉換 (ELT) 和擷取、轉換、載入 (ETL) 工作流程。
- Azure Blob 儲存體 可為任何類型的非結構化數據提供可大幅調整、符合成本效益的物件記憶體,例如影像、視訊、音訊、檔等等。
- Data Lake 儲存體 是儲存其原生原始格式大量數據的記憶體存放庫。 Data Lake 儲存體 建置在 Blob 儲存體 之上。 因此,Data Lake 儲存體 提供 Blob 儲存體 的延展性、階層式記憶體、高可用性和災害復原功能。
- Azure Synapse Analytics Spark 集 區提供平行處理架構,可支援記憶體內部處理,以提升巨量數據分析應用程式的效能。
- Analysis Services 是企業級分析引擎,可讓用戶輕鬆執行臨機操作數據分析。 您可以使用 Analysis Services 大規模控管、測試及提供商務解決方案。
- Power BI 是一套商務分析工具,可在整個組織中提供深入解析。 您可以使用Power BI 連線到數百個數據源、簡化數據準備,以及驅動臨機操作分析。 您也可以產生美觀的報表,併發佈報表,讓您的組織在 Web 和行動裝置之間取用。
案例詳細資料
不論來源、格式或規模為何,企業數據倉儲都會將所有數據整合在一起。 數據倉儲也可讓您對數據執行高效能分析,因此您可以透過分析儀錶板、操作報告和進階分析來取得見解。
此解決方案會建立數據倉儲,以便:
- 這是數據的單一事實來源。
- 整合關係型數據源與其他非結構化數據集。
- 使用語意模型化和功能強大的視覺效果工具進行更簡單的數據分析。
為了將數據整合到統一平臺中,此解決方案會使用 Azure Synapse Analytics 管線。 這些管線提供 ELT 和 ETL 功能。 具體而言,您可以使用管線在數據驅動工作流程中移動數據。 管線會使用各種數據格式和結構。
管線會將數據儲存在 Data Lake 儲存體,其建置在 Blob 儲存體 上。 此記憶體服務可以處理大量的非結構化數據。
Azure Synapse Analytics Spark 集區會形成解決方案的重要部分。 這些集區會清除並轉換儲存在 Azure 中的數據。 其平行處理架構支援記憶體內部處理,以提升速度和效率。 集區也支持自動調整,因此可以視需要新增或移除節點。
專用 SQL 集區可讓已處理的數據可供高效能分析使用。 此集區會將數據儲存在具有單欄式記憶體的關係型數據表中,這是可大幅降低數據儲存成本的格式。 其也會改善查詢效能,因此您可以大規模執行分析。
潛在的使用案例
您可以在涉及大量資料的案例中使用此解決方案:
- IoT 裝置整合
- 客戶數據平臺
- 自然語言處理
- 機器學習演算法
定價
若要檢視此解決方案成本的估計值,請參閱 定價計算機中的定價範例。
下一步
- Azure Synapse Analytics 文件
- Azure Synapse Analytics 管線檔
- Azure 中物件記憶體簡介
- Azure Synapse Analytics Spark 集區
- Analysis Services 檔
- Power BI 文件