将数据集成到 Microsoft Dataverse

数据集成器(适用于管理员)是一个点对点集成服务,用于将数据集成到 Dataverse。 它支持在财务和运营应用和 Dataverse 之间集成数据。 另外还支持将数据集成到财务和运营应用和 Dynamics 365 Sales。 此服务已于 2017 年 7 月公开发布。

备注

我们强烈建议客户开始使用双写入,它在财务和运营应用和 Dataverse 之间提供紧密耦合的双向集成。 财务和运营应用中的任何数据更改都会写入 Dataverse,并且 Dataverse 中的任何数据更改都会写入财务和运营应用。 此自动化数据流跨应用提供集成的用户体验。

如何为您的业务使用数据集成器?

数据集成器(面向管理员)还支持基于过程的集成方案,如“从目标客户到现金”提供财务和运营应用和 Dynamics 365 Sales 之间的直接同步。 具有数据集成功能的“目标客户到现金”模板启用财务和运营应用与 Sales 之间的客户、联系人、产品、销售报价单、销售订单和销售发票的数据流。 当数据在财务和运营应用和 Sales 之间流动时,您可以在 Sales 中执行销售和市场营销活动,并且可以使用财务和运营应用中的库存管理来处理订单履行。

潜在客户到现金。

借助“Prospect 到 Cash”集成,销售人员可以利用 Dynamics 365 Sales 的优势来处理和监视他们的销售流程,而履行和开发票的各个方面都可以使用财务和运营应用中的丰富功能进行。 借助 Microsoft Dynamics 365 的“潜在客户到现金”集成,您可以从两个系统中获得强大的功能组合。

有关“潜在客户到现金”集成的更多信息,请参阅“潜在客户到现金”解决方案

我们还支持到财务和运营应用的 Field Service 集成PSA (Project Service Automation) 集成

数据集成器平台

数据集成器(面向管理员)包含数据集成平台、由应用程序团队(例如,财务和运营应用和 Dynamics 365 Sales)提供的现成模板以及由客户和合作伙伴创建的自定义模板。 我们已经建立了一个与应用程序无关的平台,可以跨各个源扩展。 在它的最核心部分,您将创建连接(到集成终结点),选择具有预定义映射的可自定义模板之一(可以进一步自定义),以及创建和执行数据集成项目。

集成模板用作具有预定义实体和字段映射的蓝图,以支持从源到目标的数据流。 它还提供了在导入数据之前对其进行转换的功能。 很多时候,源应用和目标应用之间的架构可能会非常不同,带有预定义实体和字段映射的模板可作为集成项目的理想起点。

数据集成平台。

如何设置数据集成项目

有三个主要步骤:

  1. 创建连接(为数据源提供凭据)。

  2. 创建连接集(为您在上一步中创建的连接确定环境)。

  3. 使用模板创建数据集成项目(为一个或多个实体创建或使用预定义映射)。

创建集成项目后,您可以选择手动运行项目,还可以为将来设置计划性刷新。 本文的其余部分对这三个步骤进行了展开介绍。

备注

数据集成器项目管理的用户界面位于以下地址:https://dataintegrator.trafficmanager.net 贵组织的策略可能要求将该站点加入允许列表以访问界面。

如何创建连接

在创建数据集成项目之前,必须为打算在 Microsoft Power Apps 门户中使用的每个系统预配连接。 请将这些连接视为您的集成点。

创建连接

  1. 转到 Power Apps

  2. 在“数据”下,选择连接,然后选择新建连接

  3. 您可以从连接列表中选择一个连接,也可以搜索您的连接。

    创建连接。

  4. 选择连接后,选择创建。 然后,将提示您输入凭据。

  5. 提供凭据后,连接将列在您的连接下方。

    连接列表。

备注

请确保您为每个连接指定的帐户有权访问相应应用程序的实体。 此外,每个连接的帐户可以位于不同的租户中。

如何创建连接集

连接集是可在项目之间重复使用的两个连接、连接环境、组织映射信息和集成键的集合。 您可以在开始时使用连接集进行开发,然后切换到其他连接集进行生产。 与连接集一起存储的一项关键信息是部门映射—例如,财务和运营应用法人(或公司)与 Dynamics 365 Sales 组织或业务部门之间的映射。 您可以在一个连接集中存储多个组织映射。

创建连接集

  1. 转到 Power Apps 管理中心

  2. 在左侧导航窗格中选择数据集成选项卡。

  3. 选择连接集选项卡,然后选择新建连接集

  4. 为您的连接集提供名称。

    创建连接集。

  5. 选择您之前创建的连接,然后选择适当的环境。

  6. 选择您的下一个连接,重复这些步骤(将它们视为没有特定顺序的源和目标)。

  7. 指定组织到业务部门的映射(如果在财务和运营应用和 Sales 之间进行集成)。

    备注

    您可以为每个连接集指定多个映射。

  8. 完成所有字段后,选择创建

  9. 您将在“连接集”列表页下看到刚刚创建的新连接集。

    连接集列表。

您的连接集已准备就绪,可以在各个集成项目中使用。

如何创建数据集成项目

项目支持系统之间的数据流。 一个项目包含一个或多个实体的映射。 映射指示哪些字段映射到哪些其他字段。

创建数据集成项目

  1. 转到 Power Apps 管理中心

  2. 在左侧导航窗格中选择数据集成选项卡。

  3. 项目选项卡中,选择右上角的新建项目

    创建项目。

  4. 为您的集成项目提供名称。

  5. 选择一个可用模板(或创建您自己的模板)。 在此例中,我们是将“产品”实体从财务和运营应用移至 Sales。

    选择模板以创建新项目。

  6. 选择下一步,然后选择您之前创建的连接集(或创建新连接集)。

  7. 通过确认连接和环境名称,确保选择正确的连接集。

    创建新连接集。

  8. 选择下一步,然后选择法人到业务部门的映射。

    创建新法人映射。

  9. 在下一个屏幕上查看并接受隐私声明和同意。

  10. 继续创建项目,然后运行项目,继而执行项目。

    运行项目。

    在此屏幕上,您会注意到几个选项卡—计划执行历史记录,以及一些按钮—添加任务刷新实体高级查询,这些将在本文后面进行介绍。

执行历史记录

执行历史记录显示所有项目执行的历史记录,包含项目名称、项目执行的时间戳、执行状态,以及更新插入和/或错误的数量。

  • 项目执行历史记录的示例。

    项目执行历史记录。

  • 成功执行的示例,显示状态为“已完成”,更新插入 #。 (“更新并插入”是用于更新记录(如果已存在)或插入新记录的逻辑。)

    执行成功。

  • 对于执行失败,您可以向下钻取查看根本原因。

    这是一个包含项目验证错误的失败示例。 在此例中,项目验证错误是由于实体映射中缺少源字段所致。

    执行历史记录失败。

  • 如果项目执行处于“错误”状态,它将在下一次计划运行时重试执行。

  • 如果项目执行处于“警告”状态,则需要修复源的问题。 它将在下一次计划运行时重试执行。

    无论哪种情况,您都可以选择手动“重新运行执行”。

备注

每当您手动或基于计划执行项目时,它都会生成详细的日志,其中显示项目名称、上次更新时间戳以及状态。 您可以在每个项目的执行历史记录下查看此信息。 项目执行历史记录会保留 45 天,之后会自动清除。

如何设置计划性刷新

我们现在支持两种类型的执行/写入:

  • 手动写入(手动执行和刷新项目)

  • 计划性写入(自动刷新)

创建集成项目后,您可以选择手动运行它或配置计划性写入,从而可以为项目设置自动刷新。

设置计划性写入

  1. 转到 Power Apps 管理中心

  2. 您可以通过两种不同的方式计划项目。

    选择项目并选择计划选项卡,或者通过单击项目名称旁边的省略号从项目列表页启动计划程序。

    基于计划的写入。

  3. 选择重复间隔,并在完成所有字段后选择保存计划

    保存日程安排。

您可以将频率设置成如每 1 分钟一次这样频繁,也可以设置为几小时、几天、几周或几个月。 请注意,下一次刷新直到上一个项目任务完成运行时才会开始。

另请注意,在“通知”下,您可以选择接收基于电子邮件的提醒通知,这将提醒您已完成的作业执行包含警告和/或由于错误而失败。 您可以提供多个收件人,包括以逗号分隔的组。

电子邮件通知。

备注

  • 目前,我们支持按已付费租户在任何指定时间计划 50 个集成项目。 不过,您可以创建更多项目并以交互方式运行它们。 对于试用租户,我们还有一个限制,即计划的项目只能在前 50 次执行中运行。
  • 虽然我们支持计划每分钟运行的项目,但请记住,这可能会对您的应用造成很大压力,进而影响整体性能。 我们强烈建议用户在真实的负载情况下测试项目执行,并通过降低刷新频率来优化性能。 在生产环境中,我们建议每个租户每分钟运行的项目不要超过 5 个。
  • 为了优化性能并避免应用超载,我们目前将每个项目的每次执行限制为 50 万行。
  • 每当您手动或基于计划执行项目时,它都会生成详细的日志,其中显示项目名称、上次更新时间戳以及状态。 您可以在每个项目的执行历史记录下查看此信息。 项目执行历史记录会保留 45 天,之后会自动清除。

自定义项目、模板和映射

您将使用模板来创建数据集成项目。 模板使数据的移动普及化,进而帮助业务用户或管理员加快从源到目标的数据集成,并减少总体负担和成本。 业务用户或管理员可以从 Microsoft 或其合作伙伴发布的现成模板开始,然后在创建项目之前对其进一步自定义。 然后,您可以将项目另存为模板,并与您的组织共享和/或创建一个新项目。

模板为您提供数据流的源、目标和方向。 在自定义和/或创建自己的模板时,您需要牢记这一点。

您可以通过以下方式自定义项目和模板:

  • 自定义字段映射。

  • 通过添加您选择的实体来自定义模板。

如何自定义字段映射

创建连接集

  1. 转到 Power Apps 管理中心

  2. 选择要为其自定义字段映射的项目,然后选择源字段和目标字段之间的箭头。

    字段映射。

  3. 这会将带您到映射屏幕,您可以在其中通过选择右上角的添加映射或从下拉列表中选择自定义现有映射来添加新映射。

    字段映射自定义。

  4. 自定义字段映射后,选择保存

如何创建自己的模板

通过修改现有模板来创建自己的模板

  1. 转到 Power Apps 管理中心

  2. 确定新模板的流的源和目标以及方向。

  3. 通过选择与您选择的流的源和目标以及方向相匹配的现有模板来创建项目。

  4. 选择适当的连接后创建项目。

  5. 在保存和/或运行项目之前,请选择右上角的添加任务

    自定义模板。

    这将启动添加任务对话框。

  6. 提供含义明确的任务名称,然后添加您选择的源实体和目标实体。

    自定义模板添加任务。

  7. 下拉列表显示您所有的源实体和目标实体。

    自定义模板添加任务2。

    在此例中,创建了一个新任务以将用户实体从 SalesForce 同步到 Dataverse 中的用户实体。

    自定义模板添加任务3。

  8. 创建任务后,您将看到列出的新任务,并且可以删除原始任务。

    自定义模板添加任务4。

  9. 您刚刚创建了一个新模板—在此例中,是一个将用户实体数据从 SalesForce 拉取到 Dataverse 的模板。 选择保存以保存您的自定义。

  10. 请按照步骤为此新模板自定义字段映射。 您可以运行此项目和/或从项目列表页面将项目另存为模板。

    项目列表。

  11. 提供名称和描述和/或与组织中的其他人共享。

    名称和说明。

从空白模板创建自己的模板

  1. 转到 Power Apps 管理中心

  2. 创建数据集成项目。 在左侧导航窗格中选择数据集成选项卡。

  3. 选择新建项目并为您的项目提供一个名称。 例如,“Demo_CreateYourOwnTemplate 项目”。

  4. 选择模板列表页中,选择通用空白模板。 此示例中,请选择 Sales 到财务和运营模板,因为我们是要将数据从财务和运营应用移动到 Dynamics 365 Sales。

    创建数据集成项目。

  5. 按照此处的步骤 6 至 9 完成数据集成项目的创建。 选择保存

  6. 您会看到“任务”页面为空,因为它是空白模板,没有任何任务。 选择添加任务,从下拉列表中选择一个实体并添加一个新任务。 在本例中,为便于演示,我们为财务和运营应用和 Dynamics 365 Sales 选取活动实体,创建 Sales 到财务和运营活动任务。 选择创建

    Sales 到财务和运营活动任务。

  7. 您会看到已添加新任务活动 Sales 到 Fin and Ops。 选择保存以保存您所做的更改。

    添加了新任务。

  8. 项目已创建。 从项目列表页选择另存为模板

    另存为模板。

  9. 提供名称和说明,然后选择保存。 此外,选择与我的组织中的所有人共享以共享此模板。

    将项目保存为模板。

您会在模板列表页上看到列出的新创建的模板。

新创建的模板。

此外,在创建新的集成项目后,当您选择选择模板时,您将在选择模板列表中看到新创建的模板。

新数据集成项目。

高级数据转换和筛选

借助 Power Query 支持,我们提供源数据的高级筛选和数据转换功能。 Power Query 可让用户重塑数据以满足其需求,并打造易于使用、具有吸引力且无代码的用户体验。 您可以逐个项目启用此功能。

如何启用高级查询和筛选

设置高级筛选和数据转换

  1. 转到 Power Apps 管理中心

  2. 选择要启用高级查询的项目,然后选择高级查询

    选择高级查询。

  3. 您将收到一条警告,指出启用高级查询是单向操作,无法撤消。 选择确定继续,然后选择源和目标映射箭头。

    警告。

  4. 现在,您将看到熟悉的实体映射页面,并带有一个链接,用于启动高级查询和筛选。

    高级查询和筛选。

  5. 选择链接启动“高级查询和筛选”用户界面,该界面使用 Microsoft Excel 风格的列为您提供中源字段数据。

    选择要链接。

  6. 在顶部菜单中,您可以获得几个用于转换数据的选项,例如添加条件列复制列提取

    添加列。

  7. 您还可以右键单击任意列以获取更多选项,例如删除列删除重复项拆分列

    右键单击列。

  8. 您还可以通过单击每列并使用 Excel 型的筛选器进行筛选。

    启用筛选。

  9. 可以使用条件列来实现默认值转换。 为此,请从添加列下拉列表中选择添加条件列,然后输入新列的名称。 使用 Ifequal to 的任何字段和值,使用默认值填充 ThenElse

    添加条件列。

  10. 请注意 fx 编辑器顶部的 each 子句。

    fx 编辑器。

  11. fx 编辑器中修复 each 子句,然后选择确定

    修复每个子句。

  12. 每次进行更改时,都会应用一个步骤。 您可以在右侧窗格中看到已应用的步骤(滚动到底部可以查看最新步骤)。 如果需要编辑,可以撤消步骤。 此外,您还可以通过右键单击左窗格顶部的 QrySourceData 转到高级编辑器,以相同的步骤查看在后台执行的 M 语言。

    高级编辑器。

  13. 选择确定关闭“高级查询和筛选”界面,然后在映射任务页面上,选择新创建的列作为源来相应地创建映射。

    选取新列。

有关 Power Query 的详细信息,请参阅 Power Query 文档

备注

  • 启用高级查询和筛选后,不支持通过 Fn 进行转换,而应使用“高级查询和筛选”进行定义。

  • 目前,我们不支持在高级查询和筛选中跨多个数据源进行联接(通过获取数据按钮或 M 查询)。

  • 如果您遇到带有以下错误的 Power Query 评估限制:

    powerquery 作业失败,并出现以下错误:Exception ExceptionType:MashupEvaluationException, ExceptionMessage:EvaluationQuotaReached, EvaluationResponse:{"ResultType":"ErrorCode","Code":"EvaluationQuotaReached"

    查看关于 Power Query 在线限制的指南。

  • 不支持直接在糅合编辑器中修改 url。 仅使用通过糅合编辑器 UI 应用的筛选器或在映射页面的源筛选器编辑字段中指定的筛选器。

性能调整

有几个因素会影响集成方案的性能。 性能高度依赖于:

  • 您集成的应用程序:财务和运营应用和 Dataverse

  • 使用哪些实体:实体的模型、验证和业务逻辑(标准和自定义)

数据集成器从源应用程序中获取数据,并将其推送到目标应用程序。 主要的性能考虑事项是源和目标应用程序如何与有关实体一起扩展。 它利用最佳的可用技术以高效的方式拉取/推送数据。

财务和运营应用使用数据管理框架,该框架提供了一种以最高性能方式拉取/推送数据的方法。 数据管理框架用于管理财务和运营应用中的数据实体和数据实体包。

Dataverse 的 Dynamics 365 使用 OData API 和并行度来最大化性能。

您可以使用以下设置根据负载、实体和资源调整财务和运营应用的性能。

从财务和运营应用导出数据:

  • 直接导出(跳过暂存打开)确保用于集成的实体支持直接导出(跳过暂存打开)。 这允许导出批量运行,并绕过暂存表。 如果以跳过暂存关闭运行,则将退回到逐行调用,数据将插入到暂存表中。

  • 为实体启用更改跟踪 更改跟踪支持使用数据管理从财务和运营应用中增量导出数据。 在增量导出中,仅导出已更改的记录。 要启用增量导出,必须在实体上启用更改跟踪。 如果不启用更改跟踪,将执行完全导出,这可能会影响性能。 对于复杂的场景,请为更改跟踪使用自定义查询。

将数据导入财务和运营应用:

  • 确保实体本身是高性能的。 如果可能,创建基于集的实体。

  • 如果要导入的行数很大并且实体不支持集操作:可以将数据管理配置为使用并行任务来导入实体。 这可以通过配置实体执行参数,在数据管理(参数)中进行配置。 这将使用批处理框架创建并行任务,此操作基于资源是否可以并行运行的可用性。

  • 关闭验证(可选):尽管数据集成器不会绕过任何业务逻辑和验证,但您可以选择关闭那些提高性能所不需要的验证。

请考虑以下技巧,以确保从环境导入或导出数据时的性能。

将数据导入/导出到客户互动应用

  • 确保为集成密钥定义索引。