解决方案构想
本文是一种解决方案构想。 如果你希望我们在内容中扩充更多信息,例如潜在用例、备用服务、实现注意事项或定价指南,请通过提供 GitHub 反馈来告知我们。
通过该体系结构可以将任意规模的任何数据与自定义机器学习相结合,并获取流式处理服务的准实时数据分析。
体系结构
下载此体系结构的 Visio 文件。
数据流
- 使用 Synapse Analytics Pipelines 将所有结构化、非结构化和半结构化数据(日志、文件和媒体)合并到 Azure Data Lake Storage。
- 使用 Apache Spark 池清理和转换无结构数据集,并将其与来自操作数据库或数据仓库的结构化数据相结合。
- 使用可缩放的机器学习/深度学习技术,通过利用 Python、Scala 或 .NET 并结合 Apache Spark 池中的笔记本体验,从这些数据中获得更深入的见解。
- 在 Azure Synapse Analytics 中应用 Apache Spark 池和 Synapse Pipelines,以大规模访问和移动数据。
- 在 Power BI 中查询和报告数据。
- 将 Apache Spark 池中的见解引入 Azure Cosmos DB,以便可通过 Web 应用和移动应用访问这些见解。
工作流
- Azure Synapse Analytics 是快速、灵活且受信任的云数据仓库,可让你使用大规模并行处理体系结构以弹性且独立的方式缩放、计算和存储。
- Synapse Pipelines 文档允许你创建、计划和协调 ETL/ELT 工作流。
- Azure Blob 存储是一种大规模可缩放的对象存储,适用于任何类型的非结构化数据-图像、视频、音频、文档,使用起来更轻松且更经济高效。
- Azure Synapse Analytics Spark 池是一个基于 Apache Spark 的快速、简单、协作型分析平台。
- Azure Cosmos DB 是一种全球分布式多模型数据库服务。 了解如何在任意数量的 Azure 区域之间复制数据,以及如何缩放吞吐量而不受存储的影响。
- Azure Synapse Link for Azure Cosmos DB,可以使用 Azure Synapse 工作区中提供的两个分析引擎 (SQL 无服务器和Spark 池)对 Azure Cosmos DB 中的操作数据运行近实时分析,“而不会影响事务工作负荷的性能或成本”。
- Azure Analysis Services 是一种企业级服务型分析,让你能够自信地治理、部署、测试和交付 BI 解决方案。
- Power BI 是一套业务分析工具,用于在整个组织内提供见解。 连接数百个数据源、简化数据准备工作、加快计划外的分析。 生成美观的报表,然后发布它们,供组织在 Web 和移动设备上使用。
备选方法
- Synapse Link 是 Microsoft 首选的基于 Azure Cosmos DB 数据的分析解决方案。
方案详细信息
使用先进的机器学习工具将数据转化为可行见解。 通过这一解决方案,可将任何规模的数据进行组合,并大规模地构建和部署自定义机器学习模型。 若要了解如何将企业规模数据平台设计为企业登陆区域的一部分,请参阅云采用框架数据登陆区域文档。
可能的用例
组织访问的数据比以前多。 高级分析有助于对数据见解加以利用。 相关区域包括:
- 客户服务。
- 预测性维护。
- 推荐产品或服务。
- 系统优化从供应链到数据中心运营的所有内容。
- 产品和服务开发。
注意事项
成本优化
成本优化是关于寻找减少不必要的费用和提高运营效率的方法。 有关详细信息,请参阅成本优化支柱概述。
后续步骤
请参阅以下文档,了解此体系结构中特别推荐的服务:
- Azure Synapse Analytics 文档
- Synapse Pipelines 文档
- Azure 中的对象存储简介
- Azure Synapse Analytics Spark 池
- Azure Cosmos DB 文档
- Analysis Services 文档
- Power BI 文档