Megosztás a következőn keresztül:

DatabricksCluster Osztály

  • Referencia

A Databricks-fürt információit határozza meg egy alkalmazásban DatabricksSectionvaló használatra.

Inicializálni.

Öröklődés
azureml._base_sdk_common.abstract_run_config_element._AbstractRunConfigElement
DatabricksCluster

Konstruktor

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

Paraméterek

existing_cluster_id
str
alapértelmezett érték: None

Egy meglévő interaktív fürt fürtazonosítója a Databricks-munkaterületen. Ha ez a paraméter meg van adva, a többi paraméter közül egyiket sem kell megadni.

spark_version
str
alapértelmezett érték: None

A Databricks-fürthöz készült Spark verziója. Példa: "10.4.x-scala2.12".

node_type
str
alapértelmezett érték: None

A Databricks-futtató fürt Azure-beli virtuálisgép-csomóponttípusai. Példa: "Standard_D3_v2".

instance_pool_id
str
alapértelmezett érték: None

Az a példánykészlet-azonosító, amelyhez a fürtöt csatolni kell.

num_workers
int
alapértelmezett érték: None

A Databricks-fürtök feldolgozóinak száma. Ha ez a paraméter meg van adva, a min_workers és max_workers a paramétert nem szabad megadni.

min_workers
int
alapértelmezett érték: None

Az automatikusan skálázott Databricks-fürtök feldolgozóinak minimális száma.

max_workers
int
alapértelmezett érték: None

Az automatikusan skálázott Databricks-futtató fürtök feldolgozóinak száma.

spark_env_variables
dict(<xref:{str:str}>)
alapértelmezett érték: None

A Databricks-futtató fürt Spark-környezeti változói.

spark_conf
dict(<xref:{str:str}>)
alapértelmezett érték: None

A Databricks-fürt Spark-konfigurációja.

init_scripts
list[str]
alapértelmezett érték: None

Elavult. A Databricks bejelentette, hogy a DBFS-ben tárolt init szkript 2023. december 1-jével leáll. A probléma megoldásához 1. használjon globális init szkripteket a databricksben a következő https://learn.microsoft.com/azure/databricks/init-scripts/global 2. lépésben) tegye megjegyzésbe az AzureML databricks-lépésben init_scripts sorát.

cluster_log_dbfs_path
str
alapértelmezett érték: None

A DBFS elérési útja, ahová a fürtök naplóit kézbesíteni kell.

permit_cluster_restart
bool
alapértelmezett érték: None

ha existing_cluster_id van megadva, ez a paraméter azt jelzi, hogy a fürt újraindítható-e a felhasználó nevében.

Metódusok

validate

Ellenőrizze a Databricks-fürt megadott adatait.

Az ellenőrzés ellenőrzi a megadott paraméterek típusait, valamint azt, hogy a paraméterek megfelelő kombinációja van-e megadva. Meg kell adnia például a existing_cluster_id vagy a többi fürtparamétert. További információ: konstruktorparaméter-definíciók.

validate

Ellenőrizze a Databricks-fürt megadott adatait.

Az ellenőrzés ellenőrzi a megadott paraméterek típusait, valamint azt, hogy a paraméterek megfelelő kombinációja van-e megadva. Meg kell adnia például a existing_cluster_id vagy a többi fürtparamétert. További információ: konstruktorparaméter-definíciók.

validate()

Kivételek

class:azureml.exceptions.UserErrorException