2021 年 8 月

这些功能和 Azure Databricks 平台的改进功能已于 2021 年 8 月发布。

注意

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

Databricks Repos GA

2021 年 8 月 31 日

Databricks Repos现已提供。 使用 Repos可以在 Azure Databricks 中创建新的或克隆现有 Git 存储库、使用这些存储库中的笔记本、遵循基于 Git 的开发与协作最佳做法,并将 CI/CD 工作流与 Repos API 集成。 Databricks 存储库可与 GitHub、Bitbucket、GitLab 和 Azure DevOps 集成。 有关详细信息,请参阅 Git Repos和 ReposAPI 2.0 的集成

增加长时间运行的笔记本作业的超时时间

2021 年 8 月 23 日至 30 日:版本 3.53

现在可以运行最多需要 30 天才能完成的笔记本工作流作业。 以前,仅支持最多需要 48 小时才能完成的笔记本工作流作业。 有关详细信息,请参阅笔记本工作流

作业服务稳定性和可扩展性改进

2021 年 8 月 23 日至 30 日:版本 3.53

以下更改提高了作业服务的稳定性和可伸缩性:

  • 每个新作业和运行都分配有一个较长的、唯一的、数字的、非连续的标识符。 使用作业 API 并依赖于固定标识符长度或连续的或单调递增标识符的客户端必须修改为接受较长、非连续和无序的标识符。 int64 的标识符类型保持不变,并为使用 IEEE 754 64 位浮点数的客户端(例如 JavaScript 客户端)保留兼容性。
  • number_in_job 字段的值(包含在对某些作业 API 请求的响应中)现在设置为与 run_id 相同的值。

组成员身份授予的用户权利显示在管理控制台中

2021 年 8 月 23 日至 30 日:版本 3.53

现在会在管理控制台的“用户”选项卡上为每个用户显示由组成员资格授予的用户权利。

管理 MLflow 试验权限(公共预览版)

2021 年 8 月 23 日至 30 日:版本 3.53

现在可以从“试验”页管理 MLflow 试验的权限。 有关详细信息,请参阅在“试验”页中配置 MLflow 试验权限。 有关可以在试验上设置的权限级别的信息,请参阅配置 MLflow 试验权限

从笔记本创建作业得到改进

2021 年 8 月 23 日至 30 日:版本 3.53

现在可以编辑和克隆与笔记本关联的作业。 有关详细信息,请参阅计划笔记本

Ddsv4 系列 VM(公共预览版)

2021 年 8 月 23 日至 30 日:版本 3.53

Azure Databricks 现在支持 Ddsv4 系列 VM。 有关这些 VM 的详细信息,请参阅 Ddv4 和 Ddsv4 系列

改进了对折叠笔记本标题的支持

2021 年 8 月 23 日至 30 日:版本 3.53

现在可以折叠或展开笔记本中的所有可折叠标题。 以前,一次只能折叠或展开一个标题。 有关详细信息,请参阅可折叠的标题

Databricks Runtime 9.0 和 9.0 ML GA;9.0 Photon 为公共预览版

2021 年 8 月 17 日

Databricks Runtime 9.0 和 9.0 ML现已提供。 9.0 Photon 目前为公共预览版。

有关信息,请参阅 Databricks Runtime 9.0和 Databricks Runtime 9.0 中的完整发行机器学习。

Databricks Runtime 9.0(beta 版本)

2021 年 8 月 10 日

Databricks Runtime 9.0 和 Databricks Runtime 9.0 ML 现已作为 Beta 版本发布。

有关信息,请参阅 Databricks Runtime 9.0和 Databricks Runtime 9.0 中的完整发行机器学习。

使用 Databricks CLI 以编程方式管理存储库(公共预览版)

2021 年 8 月 9 日至 16 日:版本 3.52

现在可以使用 Databricks 命令行界面 (CLI) 管理远程 Git 存储库。 请参阅存储库 CLI

使用 Databricks REST API 以编程方式管理存储库(公共预览版)

2021 年 8 月 9 日至 16 日:版本 3.52

现在可以使用 Databricks REST API 管理远程 Git 存储库。 请参阅Repos API 2.0。

Databricks Runtime 7.6 系列支持结束

2021 年 8 月 8 日

对 Databricks Runtime 7.6、用于机器学习的 Databricks Runtime 7.6 以及用于基因组学的 Databricks Runtime 7.6 的支持已于 8 月 8 日结束。 请参阅 Databricks 运行时支持生命周期

在与 Databricks 存储库交互时记录审核事件

2021 年 8 月 9 日至 13 日:版本 3.52

启用审核日志记录后,现在当你创建、更新或删除 Databricks 存储库时、列出与工作区关联的所有 Databricks 存储库以及同步 Databricks 存储库和远程存储库之间的更改时,会记录审核事件。 有关详细信息,请参阅 中的诊断Azure Databricks。

改进了作业创建和管理工作流

2021 年 8 月 9 日至 13 日:版本 3.52

现在可以查看和管理与笔记本关联的作业。 具体而言,你可以启动作业运行、查看当前或最近运行、暂停或恢复作业的计划,以及删除作业。

已修改笔记本作业创建 UI 并添加了新的配置选项。 有关详细信息,请参阅计划笔记本

现已提供 Photon 运行时(公共预览版)

2021 年 8 月 9 日至 13 日:版本 3.52

Photon 是 Azure Databricks 上新的原生矢量化引擎,直接与 Apache Spark API 兼容。 若要使用 Photon 预配集群,必须使用 Photon 映像

简化了用于设置 Git 凭据的指令(公共预览版)

2021 年 8 月 9 日至 13 日:版本 3.52

“用户设置”页面的“Git 集成”选项卡上的说明已经过简化。

导入多个 .html 格式的笔记本

2021 年 8 月 9 日至 13 日:版本 3.52

现在可以在 .zip 文件中以 .html 格式导入多个笔记本。 以前,一次只能导入一个 .html 格式的笔记本。

.zip 文件可以包含 .html 格式或源文件格式(Python、Scala、SQL 或 R)的文件夹和笔记本。 .zip 文件不能同时包含两种格式。

针对增量实时表的可用性改进

2021 年 8 月 9 日至 13 日:版本 3.52

此版本包含对增量实时表运行时和 UI 的以下增强功能:

  • 创建管道时,现在可以指定目标数据库来发布“增量实时表”和元数据。 有关发布 数据集的信息,请参阅 Delta Live Tables 数据发布。
  • 笔记本现在支持对 SQL 数据集定义中的关键字进行语法突出显示。 可以使用此语法突出显示来确保增量实时表 SQL 语句的正确性。 请参阅 SQL语言参考,详细了解 Delta Live Tables SQL语法。
  • 增量实时表运行时现在会在运行管道之前发出管道图,从而使你可以更快在 UI 中查看图形。 有关查看管道图 的信息 ,请参阅 Delta Live Tables 用户界面指南。
  • 现在,在运行任何 Python 代码之前,会安装笔记本中配置的所有 Python 库,确保管道中的任何 Python 笔记本都可以全局访问这些库。 有关指定外部 Python 库的信息,请参阅 Python 语言参考