创建群集

  • 项目

有两种类型的群集：

  • 通用群集可以由多个用户共享。 这些群集通常用于运行笔记本。 通用群集会保持活动状态，直到你终止它们为止。
  • 作业群集运行作业。 创建作业时，会创建作业群集。 作业完成后，此类群集会自动终止。

本文介绍如何创建通用群集。 若要了解如何创建作业群集，请参阅创建作业。

也可以使用群集 API 2.0 创建群集。

注意

你必须有创建群集的权限。 请参阅配置群集创建权利。

使用“创建”按钮

创建新群集的最简单方法是使用“创建”按钮：

  1. 单击边栏中的Create Icon“创建”，然后从菜单中选择“群集”。 此时将出现“创建群集”页面。

  2. 命名和配置群集。

    有许多群集配置选项，在群集配置中对其进行了详细说明。

    Cluster configuration

  3. 单击“创建群集”按钮。

    群集的“配置”选项卡在群集处于 状态时会显示一个旋转的进度指示器。 当群集已启动并准备好使用时，进度旋转图标会变成一个带有对钩的绿色圆圈。 此项指示群集处于 running 状态，现在可以附加笔记本并开始运行命令和查询。

使用群集 UI

  1. 单击边栏中的compute icon“计算”。

  2. 单击“创建群集”按钮。

    Create cluster

  3. 按照使用“创建”按钮中的步骤 2 和 3 进行操作。

Terraform 集成

你可以使用 Databricks Terraform 提供程序和 databricks_cluster 在全自动设置中管理集群：

data "databricks_node_type" "smallest" {
  local_disk = true
}

data "databricks_spark_version" "latest_lts" {
  long_term_support = true
}

resource "databricks_cluster" "shared_autoscaling" {
  cluster_name            = "Shared Autoscaling"
  spark_version           = data.databricks_spark_version.latest_lts.id
  node_type_id            = data.databricks_node_type.smallest.id
  autotermination_minutes = 20
  autoscale {
    min_workers = 1
    max_workers = 50
  }
}