你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

大数据体系结构实时分析

Azure Analysis Services
Azure 事件中心
Azure Synapse Analytics

解决方案构想

本文是一种解决方案构想。 如果你希望我们在内容中扩充更多信息,例如潜在用例、备用服务、实现注意事项或定价指南,请通过提供 GitHub 反馈来告知我们。

此解决方案构想介绍了如何从实时流式处理数据获取见解。 持续从所有 IoT 设备或网站点击流日志捕获数据,并近乎实时地处理数据。

体系结构

使用 Azure Synapse Analytics 以及 Azure Data Lake Storage、事件中心、Azure Analysis Services、Azure Cosmos DB 和 Power BI 的大数据体系结构的实时分析解决方案示意图。

下载此体系结构的 Visio 文件

数据流

  1. 使用 Azure 事件中心轻松引入应用程序的实时传送视频流数据。
  2. 使用 Synapse Pipelines,将所有结构化数据汇聚到 Azure Blob 存储。
  3. 利用 Apache Spark 池清理、转换和分析流式数据,并将其与操作数据库或数据仓库中的结构化数据相结合。
  4. 使用可缩放的机器学习/深度学习技术,通过利用 Python、Scala 或 .NET 并结合 Apache Spark 池中的笔记本体验,从这些数据中获得更深入的见解。
  5. 在 Azure Synapse Analytics 中应用 Apache Spark 池和 Synapse Pipelines,以大规模访问和移动数据。
  6. 在专用 SQL 池中构建分析仪表板和嵌入式报表,以在组织内共享见解,并使用 Azure Analysis Services 将这些数据提供给数千名用户。
  7. 将 Apache Spark 池中的见解引入 Azure Cosmos DB,以便可通过实时应用访问这些见解。

组件

  • Azure Synapse Analytics 是快速、灵活且受信任的云数据仓库,可让你使用大规模并行处理体系结构以弹性且独立的方式缩放、计算和存储。
  • Synapse Pipelines 文档允许你创建、计划和协调 ETL/ELT 工作流。
  • Azure Data Lake Storage:基于 Azure Blob 存储构建的可大规模缩放的安全数据湖功能
  • Azure Synapse Analytics Spark 池是一个基于 Apache Spark 的快速、简单、协作型分析平台。
  • Azure Azure 事件中心文档是一个大数据流式处理平台和事件引入服务。
  • Azure Cosmos DB 是一种全球分布式多模型数据库服务。 然后了解如何在任意数量的 Azure 区域之间复制数据,以及如何缩放吞吐量而不受你的存储影响。
  • Azure Synapse Link for Azure Cosmos DB,可以使用 Azure Synapse 工作区中提供的两个分析引擎 (SQL 无服务器Spark 池)对 Azure Cosmos DB 中的操作数据运行近实时分析,“而不会影响事务工作负荷的性能或成本”
  • Azure Analysis Services 是一种企业级服务型分析,让你能够自信地治理、部署、测试和交付 BI 解决方案。
  • Power BI 是一套业务分析工具,用于在整个组织内提供见解。 连接数百个数据源、简化数据准备工作、加快计划外的分析。 生成美观的报表,然后发布它们,供组织在 Web 和移动设备上使用。

备选方法

  • Synapse Link 是 Microsoft 首选的基于 Azure Cosmos DB 数据的分析解决方案。
  • 可以使用 Azure IoT 中心代替 Azure 事件中心。 IoT 中心是托管在云中的托管服务,充当中央消息中心,用于 IoT 应用程序及其连接设备之间的通信。 可以安全可靠地连接数百万台设备及其后端解决方案。 几乎任何设备都可以连接到 IoT 中心。

方案详细信息

此方案演示了如何从实时流式处理数据获取见解。 可以持续从所有 IoT 设备或网站点击流日志捕获数据,并近乎实时地处理数据。

可能的用例

此解决方案非常适合媒体和娱乐行业。 此方案通过实时传送视频流数据生成分析。

注意事项

这些注意事项实施 Azure 架构良好的框架的支柱原则,即一套可用于改善工作负载质量的指导原则。 有关详细信息,请参阅 Microsoft Azure 架构良好的框架

成本优化

成本优化是关于寻找减少不必要的费用和提高运营效率的方法。 有关详细信息,请参阅成本优化支柱概述

可以使用 Azure 定价计算器获取自定义的定价估算结果。

后续步骤