增量实时表数据发布

  • 项目

通过将数据集发布到 Azure Databricks 元存储，可以使管道的输出数据可被发现并可供查询。 若要将数据集发布到元存储，请在创建管道时在“目标”字段中输入数据库名称。 也可以向现有管道添加目标数据库：

  1. 单击“设置”按钮。

  2. 添加“目标”设置来配置表的数据库名称。

    Configure database name

  3. 单击“ 保存”。

  4. 单击Delta Live Tables Start Icon按钮，启动管道的新更新。

更新完成后，可以查看数据库和表、查询数据或使用下游应用程序中的数据。

Query wikipedia data

你可以将此功能与多个环境配置结合使用，以根据环境发布到不同的数据库。 例如，你可以发布到用于开发的 dev 数据库和用于生产数据的 prod 数据库。

创建 target 配置时，只会发布表和关联的元数据。 视图不会发布到元存储。

排除表

若要防止发布不适合外部使用的中间表，请将它们标记为 TEMPORARY：

CREATE TEMPORARY LIVE TABLE temp_table
AS SELECT ... ;

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")