在 Microsoft Power Platform 中创建和使用数据流

  • 项目

通过在 Microsoft Power Platform 中使用数据流，可以简化数据准备工作，并允许在后续报表、应用和模型中重复使用数据准备工作。

在不断扩大的数据世界中，数据准备可能比较困难且成本高昂。 对于典型的分析项目，它可能消耗多达 60% 到 80% 的时间和成本。 此类项目可能需要整理零碎和不完整的数据、复杂的系统集成、结构不一致的数据以及高技能集障碍。

为了简化数据准备工作并帮助你从数据中获得更多价值，我们创建了 Power Query 和 Power Platform 数据流。

Screenshot showing how to select the Power Platform Dataflows connector.

借助这些数据流，Microsoft 将 Power Query 的自助服务数据准备功能引入到了 Power BI 和 Power Apps 联机服务中，并通过以下方式扩展现有功能：

  • 数据流大数据自助数据准备：数据流可用于轻松引入、清理、转换、集成、扩充和架构化来自一组不断增长的事务源和观察源的数据，并包括所有数据准备逻辑。 以前，提取、转换、加载 (ETL) 逻辑只能包含在 Power BI 内的语义模型中，在语义模型之间一遍又一遍地复制，并绑定到语义模型管理设置。

    通过数据流，ETL 逻辑被提升为 Microsoft Power Platform 服务中的一流项目，并包括专用的创作和管理体验。 业务分析师、BI 专业人员和数据科学家可以使用数据流来处理最复杂的数据准备难题，并利用彼此的工作，这要归功于一个革命性的模型驱动计算引擎。 此引擎负责所有转换和依赖项逻辑削减时间、成本和专业知识，这些任务过去需要一部分时间、成本和专业知识。 你可以使用 Power Query 的已知自助数据准备体验来创建数据流。 数据流分别在 Power BI 或 Power Apps 内的应用工作区或环境中创建和轻松管理，可以使用这些服务提供的所有功能，例如权限管理和计划刷新。

  • 将数据加载到 Dataverse 或 Azure Data Lake Storage：根据用例，你可以将 Power Platform 数据流准备的数据存储在 Dataverse 或组织的 Azure Data Lake Storage 帐户中：

    • Dataverse 让您可以安全地存储和管理业务应用程序使用的数据。 Dataverse 中的数据存储在一系列表中。 表是一组行（以前称为记录）和列（以前称为字段/属性）。 表中的每一列都设计为存储某种类型的数据，例如，姓名、年龄、薪资等。 Dataverse 包括一组覆盖典型情形的标准表，但是，你还可以创建针对你的组织的自定义表，并通过数据流用数据填充它们。 然后，应用制作者可以使用 Power Apps 和 Power Automate 生成使用本数据的丰富应用程序。

    • Azure Data Lake Storage 允许您使用 Power BI、Azure Data 和 AI 服务，或使用从湖中读取数据的定制业务线应用程序，与组织中的人员协作。 将数据加载到 Azure Data Lake Storage 帐户的数据流会将数据存储在 Common Data Model 文件夹中。 Common Data Model 文件夹中包含标准化格式的架构化数据和元数据，以便更容易交换数据，以及在生成或使用作为共享存储层存储在组织的 Azure Data Lake Storage 帐户中的数据的服务之间实现完全互操作性。

  • Azure 的高级分析和 AI：Power Platform 数据流将数据存储在 Dataverse 或 Azure Data Lake Storage 中，这意味着数据工程师和数据科学家现在可以使用通过数据流摄取的数据，以应用 Azure 数据服务的所有功能，例如 Azure 机器学习、Azure Databricks 和用于高级分析和 AI 的 Azure Synapse Analytics。 这使业务分析师、数据工程师和数据科学家能够在其组织内协作处理相同的数据。

  • 对 Common Data Model 的支持：Common Data Mode 是一组标准化的数据架构和元数据系统，允许跨应用程序和业务流程保持数据及其含义的一致性。 数据流可以将任何形状的任何数据轻松映射到标准 Common Data Model 表（例如“客户”和“联系人”），从而来支持 Common Data Model。 数据流还以架构化的 Common Data Model 形式获取数据（标准表和自定义表）。 业务分析师可以利用标准架构及其语义一致性，或根据自己的独特需求来自定义表。 作为开放数据计划的一部分，Common Data Model 将继续发展。

Microsoft Power Platform 服务中的数据流功能

Power Apps 和 Power BI 中都提供了大多数数据流功能。 数据流作为这些服务的计划的一部分提供。 某些数据流功能要么特定于产品，要么在其他产品计划中可用。 下表描述了数据流功能及其可用性。

数据流功能 Power Apps Power BI
计划的刷新 每天最多 48 每天最多 48
每个表刷新时间的最大值 最多 2 小时 最多 2 小时
使用 Power Query Online 进行数据流创作 是 是
数据流管理 在 Power Apps 管理门户中 在 Power BI 管理门户中
新增了连接器 是 是
Common Data Model 的标准化架构/内置支持 是 是
Power BI Desktop 中的数据流数据连接器 适用于使用 Azure Data Lake Storage 作为目标的数据流 是
与组织的 Azure Data Lake Storage 集成 是 是
与 Dataverse 集成 是 否
数据流链接表 适用于使用 Azure Data Lake Storage 作为目标的数据流 是
计算表（使用 M 的存储中转换） 适用于使用 Azure Data Lake Storage 作为目标的数据流 仅 Power BI Premium
数据流增量刷新 对于以 Azure Data Lake Storage 为目标的数据流，需要 Power Apps Plan2 仅 Power BI Premium
按 Power BI Premium 容量运行/并行执行转换 否 是

已知限制

后续步骤

有关 Power Apps 中的数据流的详细信息：

有关 Power BI 中的数据流的详细信息：

以下文章详细介绍了数据流的常见使用方案。

有关 Common Data Model 和 Common Data Model 文件夹标准的详细信息，请阅读以下文章：