创建、运行和管理增量实时表管道

项目
06/22/2022

你可以使用 UI 或增量实时表 API 来创建、运行、管理和监视增量实时表管道。你还可以使用业务流程工具（如 Azure Databricks 作业）运行管道。本文重点介绍使用 UI 执行增量实时表任务。要使用 API，请参阅 API 指南。

要创建和运行你的第一个管道，请参阅增量实时表快速入门。

创建管道

执行下列操作之一：
- 在边栏中单击 “工作流”，单击“增量实时表”选项卡，然后单击。将出现“创建管道”对话框。
- 在边栏中，单击“创建”，然后从菜单中选择“管道”。
从“产品版本”下拉列表中为管道选择增量实时表产品版本。

产品版本选项允许你根据管道的要求选择最佳产品版本。请参阅产品版本。
在“管道名称”字段中输入管道的名称。
在“笔记本库”字段中输入包含管道查询的笔记本的路径，或单击浏览到你的笔记本。
若要选择性地将其他笔记本添加到管道中，请单击“添加笔记本库”按钮。

你可以按任何顺序添加笔记本。增量实时表会自动分析数据集依赖项，以构造管道的处理图。
若要将 Spark 配置设置添加到将运行管道的群集中，请单击“添加配置”按钮。
若要选择性地使表可用于发现和查询，请在“目标”字段中输入数据库名称。请参阅发布数据集
若要选择性地输入管道输出数据的存储位置，请在“存储位置”字段中输入 DBFS 或云存储路径。如果将“存储位置”留空，系统将使用默认位置。
为“管道模式”选择“触发”或“连续”。请参阅连续管道和触发管道。
你可以选择性地修改管道群集的配置，包括启用和禁用自动缩放以及设置工作器节点的数量。请参见管理群集大小。
若要选择使用 Photon 运行此管道，请单击“使用 Photon 加速”复选框。
要选择更改此管道的 Delta Live Tables 运行时版本，请单击“通道”下拉菜单。请参阅 Delta Live Tables 设置中的 channel 字段。
单击“创建”。

要有选择地查看和编辑管道的 JSON 配置，请单击“创建管道”对话框中的 JSON 按钮。

启动管道更新

在边栏中单击 “工作流”，然后单击“增量实时表”选项卡。此时会显示“管道”列表。
执行下列操作之一：
- 要立即开始管道更新，请单击“操作”列中的。系统会返回一条消息，确认将启动管道。
- 若要在启动管道前查看更多选项，请单击管道名称。此时将显示“管道详细信息”页面。

“管道详细信息”页面提供以下选项：

要在开发和生产模式之间切换，请使用按钮。默认情况下，管道在开发模式下运行。请参阅开发和生产模式。
若要选择性地配置管道上的权限，请单击“权限”按钮。请参阅增量实时表访问控制。
若要查看和编辑管道设置，请单击“设置”按钮。有关管道设置的详细信息，请参阅增量实时表设置。

若要从“管道详细信息”页开始更新管道，请单击按钮。

你可能想要重新处理已经引入的数据，例如，因为你根据新要求修改了查询，或者需要修复计算新列时出现的一个 bug。你可以通过指示增量实时表系统从 UI 执行完全刷新，来重新处理已经引入的数据。要执行完全刷新，请单击“开始”按钮旁边的 Blue Down Caret ，然后选择“完全刷新”。

启动更新或完全刷新后，系统将返回一条消息，确认你的管道正在启动。

成功启动更新后，增量实时表系统：

使用由增量实时表系统创建的群集配置来启动群集。也可指定一个自定义群集配置。
创建任何不存在的表，并确保架构对于任何现有表都是正确的。
使用最新的可用数据来更新表。
在完成更新时关闭群集。

可以通过查看“管道详细信息”页面底部的事件日志来跟踪更新进度。

View pipeline event log

查看管道详细信息

管道图形

管道成功启动后，将显示管道图。你可以使用鼠标调整视图，也可以使用图形面板角落中的 Delta Live Tables Graph Buttons Icon 按钮。

View pipeline graph

若要查看数据质量指标的工具提示，请将鼠标悬停在管道图中数据集的数据质量值上。

管道详细信息

“管道详细信息”面板显示有关管道以及管道的当前或最新更新的信息，包括管道和更新标识符、更新状态和更新运行时。

“管道详细信息”面板还显示有关管道计算群集的信息，包括计算成本、产品版本和通道。要在新标签页中打开群集的 Spark UI，请单击 Spark UI 按钮。要在新标签页中打开群集日志，请单击“日志”按钮。要在新标签页中打开群集指标，请单击“指标”按钮。

“运行身份”值显示管道更新以哪个用户的身份运行。 “运行身份”用户是管道所有者，管道更新使用此用户的权限运行。若要更改 run as 用户，请单击“权限”并更改管道所有者。

数据集详细信息

若要查看数据集的详细信息（包括数据集架构和数据质量指标），请在“图形”视图中单击数据集。此时将显示数据集详细信息。

View dataset details

若要在新窗口中打开管道笔记本，请单击“路径”值。

要关闭数据集详细信息视图并返回到“管道详细信息”，请单击。

停止管道更新

要停止管道更新，请单击。

计划管道

可以手动启动触发的管道，也可以使用 Azure Databricks 作业按计划运行管道。可以直接在增量实时表 UI 中创建和计划具有单个管道任务的作业，也可以在作业 UI 中将管道任务添加到多任务工作流。

若要在增量实时表 UI 中为该作业创建单任务作业和计划，请执行以下操作：

单击“计划”>“添加计划”。如果管道包含在一个或多个计划作业（例如，计划 (5)）中，则“计划”按钮将更新以显示现有计划的数量。
在“作业名称”字段中输入作业的名称。
将“计划”设置为“已计划”。
指定时间段、开始时间和时区。
配置一个或多个电子邮件地址，以接收有关管道启动、成功或失败的警报。
单击“创建”。

若要使用 Azure 数据砖作业创建多任务工作流并添加管道任务，请执行以下操作：

在作业 UI 中创建作业，并使用管道任务将管道添加到作业工作流。
在作业 UI 中为作业创建计划。

创建管道计划后，你可以：

在增量实时表 UI 中查看计划的摘要，包括计划名称、是否暂停、上次运行时间和上次运行的状态。若要查看计划摘要，请单击“计划”按钮。
编辑作业或管道任务。
编辑计划或暂停并恢复计划。如果在创建计划时选择了“手动”，则计划也将暂停。
手动运行作业并查看作业运行的详细信息。

查看管道

在边栏中单击 “工作流”，然后单击“增量实时表”选项卡。此时会显示“管道”页，其中列出了所有已定义的管道、最近管道更新的状态、管道标识符和管道创建者。

可以通过以下方式筛选列表中的管道：

管道名称。
与一个或多个管道名称部分匹配的文本。
仅选择你拥有的管道。
选择你有权访问的所有管道。

单击“名称”列标题可按名称按升序 (A -> Z) 或降序 (Z -> A) 对管道进行排序。

当你查看管道列表时，管道名称呈现为链接，允许你右键单击管道名称并访问上下文菜单选项，例如在新标签页或窗口中打开管道详细信息。

编辑设置

在“管道详细信息”页上，单击“设置”按钮以查看和修改管道设置。你可以添加、编辑或删除设置。例如，要在创建管道后使管道输出可用于查询，请执行以下操作：

单击“设置”按钮。此时会显示“编辑管道设置”对话框。
在“目标”字段中输入数据库名称。
单击“ 保存”。

要查看和编辑 JSON 规范，请单击 JSON 按钮。

Configure database name in JSON

有关配置设置的更多信息，请参阅增量实时表设置。

看更新历史记录

若要查看管道更新的历史记录和状态，请单击“更新历史记录”下拉列表。

Update history drop-down

若要查看更新的图形、详细信息和事件，请在下拉列表中选择更新。若要返回到最新更新，请单击“显示最新更新”。

发布数据集

创建或编辑管道时，可以target将设置配置为将表定义发布到 Azure Databricks 元存储，并将记录保存到增量表中。

更新完成后，可以查看数据库和表、查询数据或使用下游应用程序中的数据。

请参阅增量实时表数据发布。

管理群集大小

可以管理管道使用的群集资源。默认情况下，增量实时表会自动缩放管道群集以优化性能和成本。 Databricks 建议群集自动缩放，但你可以选择在创建或编辑管道时禁用自动缩放并为管道群集配置固定数量的辅助角色节点：

创建管道时，请禁用“启用自动缩放”复选框，并在“工作器”字段中指定节点数。
修改现有管道的设置以删除自动缩放。管道设置中的此代码段表明群集已启用自动缩放：
```
"clusters": [
   {
     "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5
      }
   }
]
```
来自管道设置的此代码段表明群集已禁用自动缩放以及固定为 5 的工作器节点数：
```
"clusters": [
   {
     "label": "default",
     "num_workers": 5
   }
]
```

你可以将管道群集限制为单个工作器节点。要创建具有单个工作器节点的群集，请在创建新管道或修改现有管道的 clusters 配置时将“最小工作器数目”设置为 0 并将“最大工作器数目”设置为 1。

删除管道

你可以从“管道”列表或“管道详细信息”页中删除管道：

在“管道”列表中，单击“操作”列中的。
在管道的“管道详细信息”页上，单击“删除”按钮。

删除管道会从增量实时表系统中删除管道定义，并且无法撤销。