包含多个任务的作业

可使用作业在具有可缩放资源的 Azure Databricks 群集中运行数据处理或数据分析任务。 作业可由单个任务构成,也可是一个具有复杂依赖项的大型多任务应用程序。 Azure Databricks 可管理所有作业的任务业务流程、群集管理、监视和错误报告。 可通过易使用的计划系统立即或定期运行作业。

可使用笔记本、增量实时表管道或 Python、Scala 和 Java 应用程序实现作业任务。 单个作业可包含一个 Python 脚本,它从云存储中引入数据、使用增量实时表管道准备数据,并使用笔记本创建仪表板。

可通过作业 UI、作业 API 或 Databricks CLI 创建作业。 作业 UI 可用于监视、测试正在运行和已完成的作业,并对其进行故障排除。

管理员必须在 Databricks 管理控制台中对具有多个任务的作业启用支持。

开始操作:

  • 创建第一个协调多任务的作业:作业快速入门
  • 了解 Azure Databricks 作业的功能以及如何创建、查看和运行 作业
  • 若要支持创建和管理具有多个任务的作业,请了解作业 API 更新