DatabricksCluster 类

定义用于 DatabricksSection 中的 Databricks 群集信息。

继承

azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement

DatabricksCluster

构造函数

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

参数

existing_cluster_id

str

默认值: None

Databricks 工作区上现有交互式群集的群集 ID。 如果指定了此参数，则不应指定任何其他参数。

spark_version

str

默认值: None

Databricks 运行群集的 Spark 版本。 示例："4.0.x-scala2.11"。

node_type

str

默认值: None

Databricks 运行群集的 Azure VM 节点类型。 示例："Standard_D3_v2"。

instance_pool_id

str

默认值: None

群集需要附加到的实例池 ID。

num_workers

int

默认值: None

Databricks 运行群集的辅助角色的编号。 如果指定了此参数， 则不应指定 min_workers 和 max_workers 参数。

min_workers

int

默认值: None

自动缩放 Databricks 群集的最小辅助角色数。

max_workers

int

默认值: None

自动缩放 Databricks 运行群集的辅助角色数。

spark_env_variables

dict(<xref:{str:str}>)

默认值: None

Databricks 运行群集的 Spark 环境变量。

spark_conf

dict(<xref:{str:str}>)

默认值: None

Databricks 运行群集的 Spark 配置。

init_scripts

list[str]

默认值: None

Databricks 运行群集的 init 脚本的 DBFS 路径列表。

cluster_log_dbfs_path

str

默认值: None

需要将群集日志传送到的 DBFS 路径。

permit_cluster_restart

bool

默认值: None

如果指定了 existing_cluster_id，则此参数将告知是否可以代表用户重新启动群集。

方法

validate

验证指定的 Databricks 群集详细信息。 验证检查提供的参数的类型，以及是否提供了正确的参数组合。 例如，需要指定 existing_cluster_id 或指定其余的群集参数。 有关详细信息，请参阅构造参数定义。

validate

验证指定的 Databricks 群集详细信息。

验证检查提供的参数的类型，以及是否提供了正确的参数组合。 例如，需要指定 existing_cluster_id 或指定其余的群集参数。 有关详细信息，请参阅构造参数定义。

validate()

例外

class:azureml.exceptions.UserErrorException