Cluster-APIClusters API

Die Cluster-API ermöglicht es Ihnen, Cluster zu erstellen, zu starten, zu bearbeiten, aufzulisten, zu beenden und zu löschen.The Clusters API allows you to create, start, edit, list, terminate, and delete clusters. Die maximal zulässige Größe einer Anforderung an die Cluster-API beträgt 10 MB.The maximum allowed size of a request to the Clusters API is 10MB.

Cluster Lebenszyklus-Methoden erfordern eine Cluster-ID, die von Createzurückgegeben wird.Cluster lifecycle methods require a cluster ID, which is returned from Create. Zum Abrufen einer Liste von Clustern rufen Sie Listauf.To obtain a list of clusters, invoke List.

Azure Databricks ordnet Cluster Knoten-Instanztypen Compute-Einheiten zu, die als dbus bezeichnet werden.Azure Databricks maps cluster node instance types to compute units known as DBUs. Eine Liste der unterstützten Instanztypen und deren zugehöriger dbus finden Sie auf der Preisseite für den Instanztyp .See the instance type pricing page for a list of the supported instance types and their corresponding DBUs. Informationen zu instanzanbietern finden Sie unter Spezifikationen und Preise für Azure-Instanztypen.For instance provider information, see Azure instance type specifications and pricing.

Azure Databricks stellt vor dem Bereitstellen der Unterstützung für einen Instanztyp immer den Hinweis vor, dass ein Jahr veraltet ist.Azure Databricks always provides one year’s deprecation notice before ceasing support for an instance type.

Wichtig

Für den Zugriff auf Databricks-REST-APIs müssen Sie sich authentifizieren.To access Databricks REST APIs, you must authenticate.

Erstellen Sie Create

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/create POST

Erstellen Sie einen neuen Apache Spark Cluster.Create a new Apache Spark cluster. Diese Methode erhält ggf. neue Instanzen vom cloudanbieter.This method acquires new instances from the cloud provider if necessary. Diese Methode ist asynchron. der zurückgegebene cluster_id kann zum Abrufen des Cluster Zustands verwendet werden.This method is asynchronous; the returned cluster_id can be used to poll the cluster state. Wenn diese Methode zurückgegeben wird, befindet sich der Cluster in einem- PENDING Zustand.When this method returns, the cluster is in a PENDING state. Der Cluster kann verwendet werden, wenn er in einen RUNNING Zustand wechselt.The cluster is usable once it enters a RUNNING state. Siehe clusterstate.See ClusterState.

Hinweis

Azure Databricks können möglicherweise einige der angeforderten Knoten aufgrund von cloudanbieter-Einschränkungen oder vorübergehenden Netzwerkproblemen nicht abrufen.Azure Databricks may not be able to acquire some of the requested nodes, due to cloud provider limitations or transient network issues. Wenn die Anzahl der angeforderten Knoten nicht ausreichend ist, wird die Cluster Erstellung mit einer informativen Fehlermeldung beendet.If it is unable to acquire a sufficient number of the requested nodes, cluster creation will terminate with an informative error message.

Eine Beispiel Anforderung:An example request:

{
  "cluster_name": "my-cluster",
  "spark_version": "7.3.x-scala2.12",
  "node_type_id": "Standard_D3_v2",
  "spark_conf": {
    "spark.speculation": true
  },
  "num_workers": 25
}

Im folgenden finden Sie ein Beispiel für einen Cluster für die automatische Skalierung.Here is an example for an autoscaling cluster. Dieser Cluster beginnt mit 2 Knoten, dem Minimalwert.This cluster will start with 2 nodes, the minimum.

{
  "cluster_name": "autoscaling-cluster",
  "spark_version": "7.3.x-scala2.12",
  "node_type_id": "Standard_D3_v2",
  "autoscale" : {
    "min_workers": 2,
    "max_workers": 50
  }
}

Es folgt ein Beispiel, das die zu verwendende Richtlinie enthält.Here is an example that includes the policy to use.

{
    "num_workers": null,
    "autoscale": {
        "min_workers": 2,
        "max_workers": 8
    },
    "cluster_name": "my-cluster",
    "spark_version": "7.3.x-scala2.12",
    "spark_conf": {},
    "node_type_id": "Standard_D3_v2",
    "custom_tags": {},
    "spark_env_vars": {
        "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
    },
    "autotermination_minutes": 120,
    "init_scripts": [],
    "policy_id": "C65B864F02000008"
}

Erstellen eines Auftrags mit einer Richtlinie mit der APICreate a job using a policy with the API

Um einen Auftrag zu erstellen oder einen Testlauf mit einem neuen Cluster über eine Richtlinie zu senden, fügen Sie das policy_id -Attribut zur Spezifikation der Anforderung hinzu new_cluster .To create a job or submit a run with a new cluster using a policy, add the policy_id attribute to the request’s new_cluster specification.

{
  "run_name": "my spark task",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "Standard_D3_v2",
    "num_workers": 10,
    "policy_id": "ABCD000000000000"
  },
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

Anforderungs Struktur Request structure

FeldnameField Name typeType BESCHREIBUNGDescription
num_workers oder automatische Skalierungnum_workers OR autoscale INT32 Oder automatisch skalierenINT32 OR AutoScale Wenn num_workers, die Anzahl der workerknoten, die dieser Cluster aufweisen sollte.If num_workers, number of worker nodes that this cluster should have. Ein Cluster verfügt über einen Spark-Treiber und num_workers Executors für insgesamt num_workers + 1 Spark-Knoten.A cluster has one Spark driver and num_workers executors for a total of num_workers + 1 Spark nodes.

Hinweis: Wenn Sie die Eigenschaften eines Clusters lesen, gibt dieses Feld die gewünschte Anzahl von Workern anstelle der tatsächlichen Anzahl von Workern an.Note: When reading the properties of a cluster, this field reflects the desired number of workers rather than the actual number of workers. Wenn beispielsweise die Größe eines Clusters von 5 auf 10 Worker geändert wird, wird dieses Feld sofort aktualisiert, um die Zielgröße von 10 Arbeitsthreads widerzuspiegeln, wohingegen die in aufgelisteten Worker bei der Bereitstellung executors der neuen Knoten allmählich von 5 auf 10 erhöht werden.For instance, if a cluster is resized from 5 to 10 workers, this field will immediately be updated to reflect the target size of 10 workers, whereas the workers listed in executors will gradually increase from 5 to 10 as the new nodes are provisioned.

Wenn die automatische Skalierung erforderlich ist, werden für die automatische Skalierung von Clustern basierend auf der Auslastung Parameter benötigt.If autoscale, parameters needed in order to automatically scale clusters up and down based on load.
cluster_namecluster_name STRING Der vom Benutzer angeforderte Cluster Name.Cluster name requested by the user. Dies muss nicht eindeutig sein.This doesn’t have to be unique. Wenn bei der Erstellung nicht angegeben, ist der Cluster Name eine leere Zeichenfolge.If not specified at creation, the cluster name will be an empty string.
spark_versionspark_version STRING Die Laufzeitversion des Clusters.The runtime version of the cluster. Sie können eine Liste der verfügbaren Lauf Zeit Versionen mit dem API-Befehl Runtime-Versionen abrufen.You can retrieve a list of available runtime versions by using the Runtime versions API call. Dieses Feld ist erforderlich.This field is required.
spark_confspark_conf SparkconfpairSparkConfPair Ein-Objekt, das einen Satz optionaler, benutzerdefinierte Spark-Konfigurationsschlüssel-Wert-Paare enthält.An object containing a set of optional, user-specified Spark configuration key-value pairs. Sie können auch eine Zeichenfolge zusätzlicher JVM-Optionen an den Treiber und die Executors übergeben, indem SieYou can also pass in a string of extra JVM options to the driver and the executors via
spark.driver.extraJavaOptions````spark.executor.extraJavaOptionsbzw.spark.driver.extraJavaOptions and spark.executor.extraJavaOptions respectively.

Beispiel für Spark-Verbund:Example Spark confs:
{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} oder{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} or
{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}
node_type_idnode_type_id STRING Dieses Feld codiert mithilfe eines einzigen Werts die Ressourcen, die jedem der Spark-Knoten in diesem Cluster zur Verfügung stehen.This field encodes, through a single value, the resources available to each of the Spark nodes in this cluster. Beispielsweise können die Spark-Knoten bereitgestellt und für Arbeitsspeicher-oder rechenintensive Arbeits Auslastungen optimiert werden. eine Liste der verfügbaren Knoten Typen kann mithilfe des API-aufrufyps List Node Types abgerufen werden.For example, the Spark nodes can be provisioned and optimized for memory or compute intensive workloads A list of available node types can be retrieved by using the List node types API call. Dieses Feld ist erforderlich.This field is required.
driver_node_type_iddriver_node_type_id STRING Der Knotentyp des Spark-Treibers.The node type of the Spark driver. Dieses Feld ist optional. Wenn die Einstellung nicht festgelegt ist, wird der Treiber Knotentyp als der node_type_id oben definierte Wert festgelegt.This field is optional; if unset, the driver node type will be set as the same value as node_type_id defined above.
custom_tagscustom_tags ClustertagClusterTag Ein-Objekt, das einen Satz von Tags für Cluster Ressourcen enthält.An object containing a set of tags for cluster resources. Databricks markiert neben default_tags alle Cluster Ressourcen (z. b. VMS) mit diesen Tags.Databricks tags all cluster resources (such as VMs) with these tags in addition to default_tags.

Hinweis:Note:

Azure Databricks maximal 43 benutzerdefinierte Tags zulässt.Azure Databricks allows at most 43 custom tags.
cluster_log_confcluster_log_conf ClusterlogconfClusterLogConf Die Konfiguration für die Übermittlung von Spark-Protokollen an ein langfristiges Speicher Ziel.The configuration for delivering Spark logs to a long-term storage destination. Für einen Cluster kann nur ein Ziel angegeben werden.Only one destination can be specified for one cluster. Wenn die conf angegeben wird, werden die Protokolle alle an das Ziel übermittelt.If the conf is given, the logs will be delivered to the destination every
5 mins.5 mins. Das Ziel der Treiber Protokolle ist <destination>/<cluster-ID>/driver , während das Ziel der Executor-Protokolle ist <destination>/<cluster-ID>/executor .The destination of driver logs is <destination>/<cluster-ID>/driver, while the destination of executor logs is <destination>/<cluster-ID>/executor.
init_scriptsinit_scripts Ein Array von initscriptinfoAn array of InitScriptInfo Die Konfiguration zum Speichern von Init-Skripts.The configuration for storing init scripts. Es können beliebig viele Skripts angegeben werden.Any number of scripts can be specified. Die Skripts werden sequenziell in der angegebenen Reihenfolge ausgeführt.The scripts are executed sequentially in the order provided. Wenn cluster_log_conf angegeben wird, werden Init-Skript Protokolle an gesendet.If cluster_log_conf is specified, init script logs are sent to
<destination>/<cluster-ID>/init_scripts.<destination>/<cluster-ID>/init_scripts.
docker_imagedocker_image DockerimageDockerImage Docker-Image für einen benutzerdefinierten Container.Docker image for a custom container.
spark_env_varsspark_env_vars SparkenvpairSparkEnvPair Ein-Objekt, das einen Satz optionaler, benutzerdefinierte Umgebungsvariablen-Schlüssel-Wert-Paare enthält.An object containing a set of optional, user-specified environment variable key-value pairs. Schlüssel-Wert-Paare in der Form (X, Y) werden unverändert exportiert (d. h.Key-value pairs of the form (X,Y) are exported as is (that is,
export X='Y') beim Starten des Treibers und der Worker.export X='Y') while launching the driver and workers.

Um einen zusätzlichen Satz von anzugeben SPARK_DAEMON_JAVA_OPTS , empfiehlt es sich, diese an zu anhängen, $SPARK_DAEMON_JAVA_OPTS wie im folgenden Beispiel gezeigt.In order to specify an additional set of SPARK_DAEMON_JAVA_OPTS, we recommend appending them to $SPARK_DAEMON_JAVA_OPTS as shown in the following example. Dadurch wird sichergestellt, dass alle standardmäßigen von databricks verwalteten Umgebungsvariablen ebenfalls eingeschlossen werden.This ensures that all default databricks managed environmental variables are included as well.

Beispiel für Spark-Umgebungsvariablen:Example Spark environment variables:
{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} oder{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} or
{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
autotermination_minutesautotermination_minutes INT32 Beendet den Cluster automatisch, nachdem er für diese Zeit in Minuten inaktiv ist.Automatically terminates the cluster after it is inactive for this time in minutes. Wenn nicht festgelegt, wird dieser Cluster nicht automatisch beendet.If not set, this cluster will not be automatically terminated. Wenn angegeben, muss der Schwellenwert zwischen 10 und 10000 Minuten liegen.If specified, the threshold must be between 10 and 10000 minutes. Sie können diesen Wert auch auf 0 festlegen, um die automatische Beendigung explizit zu deaktivieren.You can also set this value to 0 to explicitly disable automatic termination.
instance_pool_idinstance_pool_id STRING Die optionale ID des instanzpools, zu dem der Cluster gehört.The optional ID of the instance pool to which the cluster belongs. Ausführliche Informationen finden Sie unter instanzpools-API .Refer to Instance Pools API for details.
idempotency_tokenidempotency_token STRING Ein optionales Token, das verwendet werden kann, um die Idempotenz von Anforderungen für die Cluster Erstellung zu gewährleisten.An optional token that can be used to guarantee the idempotency of cluster creation requests. Wenn bereits ein aktiver Cluster mit dem bereitgestellten Token vorhanden ist, wird von der Anforderung kein neuer Cluster erstellt, sondern stattdessen die ID des vorhandenen Clusters zurückgegeben.If an active cluster with the provided token already exists, the request will not create a new cluster, but it will return the ID of the existing cluster instead. Das vorhanden sein eines Clusters mit dem gleichen Token wird nicht gegen beendete Cluster überprüft.The existence of a cluster with the same token is not checked against terminated clusters.

Wenn Sie das Idempotenz-Token angeben, können Sie bei einem Fehler einen Wiederholungsversuch durchführen, bis die Anforderung erfolgreich ist.If you specify the idempotency token, upon failure you can retry until the request succeeds. Mit Azure Databricks wird sichergestellt, dass genau ein Cluster mit diesem Idempotenz-Token gestartet wird.Azure Databricks will guarantee that exactly one cluster will be launched with that idempotency token.

Dieses Token darf höchstens 64 Zeichen umfassen.This token should have at most 64 characters.

Antwort Struktur Response structure

FeldnameField Name typeType BESCHREIBUNGDescription
cluster_idcluster_id STRING Kanonischer Bezeichner für den Cluster.Canonical identifier for the cluster.

Bearbeiten Edit

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/edit POST

Bearbeiten Sie die Konfiguration eines Clusters so, dass er den bereitgestellten Attributen und der angegebenen Größe entspricht.Edit the configuration of a cluster to match the provided attributes and size.

Sie können einen Cluster bearbeiten, wenn er sich im RUNNING Zustand oder befindet TERMINATED .You can edit a cluster if it is in a RUNNING or TERMINATED state. Wenn Sie einen Cluster bearbeiten, während er sich in einem RUNNING Zustand befindet, wird er neu gestartet, damit die neuen Attribute wirksam werden können.If you edit a cluster while it is in a RUNNING state, it will be restarted so that the new attributes can take effect. Wenn Sie einen Cluster bearbeiten, während er sich in einem TERMINATED Zustand befindet, bleibt er erhalten TERMINATED .If you edit a cluster while it is in a TERMINATED state, it will remain TERMINATED. Wenn das nächste Mal mit der API gestartet wird clusters/start , werden die neuen Attribute wirksam.The next time it is started using the clusters/start API, the new attributes will take effect. Der Versuch, einen Cluster in einem anderen Zustand zu bearbeiten, wird mit einem INVALID_STATE Fehlercode zurückgewiesen.An attempt to edit a cluster in any other state will be rejected with an INVALID_STATE error code.

Vom databricks-Auftrags Dienst erstellte Cluster können nicht bearbeitet werden.Clusters created by the Databricks Jobs service cannot be edited.

Eine Beispiel Anforderung:An example request:

{
 "cluster_id": "1202-211320-brick1",
 "num_workers": 10,
 "spark_version": "7.3.x-scala2.12",
 "node_type_id": "Standard_D3_v2"
}

Anforderungs Struktur Request structure

FeldnameField Name typeType BESCHREIBUNGDescription
num_workers oder automatische Skalierungnum_workers OR autoscale INT32 Oder automatisch skalierenINT32 OR AutoScale Wenn num_workers, die Anzahl der workerknoten, die dieser Cluster aufweisen sollte.If num_workers, number of worker nodes that this cluster should have. Ein Cluster verfügt über einen Spark-Treiber und num_workers Executors für insgesamt num_workers + 1 Spark-Knoten.A cluster has one Spark driver and num_workers executors for a total of num_workers + 1 Spark nodes.

Hinweis: Wenn Sie die Eigenschaften eines Clusters lesen, gibt dieses Feld die gewünschte Anzahl von Workern anstelle der tatsächlichen Anzahl von Workern an.Note: When reading the properties of a cluster, this field reflects the desired number of workers rather than the actual number of workers. Wenn beispielsweise die Größe eines Clusters von 5 auf 10 Worker geändert wird, wird dieses Feld sofort aktualisiert, um die Zielgröße von 10 Arbeitsthreads widerzuspiegeln, wohingegen die in aufgelisteten Worker bei der Bereitstellung executors der neuen Knoten allmählich von 5 auf 10 erhöht werden.For instance, if a cluster is resized from 5 to 10 workers, this field will immediately be updated to reflect the target size of 10 workers, whereas the workers listed in executors will gradually increase from 5 to 10 as the new nodes are provisioned.

Wenn die automatische Skalierung erforderlich ist, werden für die automatische Skalierung von Clustern basierend auf der Auslastung Parameter benötigt.If autoscale, parameters needed in order to automatically scale clusters up and down based on load.
cluster_idcluster_id STRING Kanonischer Bezeichner für den Cluster.Canonical identifier for the cluster. Dieses Feld ist erforderlich.This field is required.
cluster_namecluster_name STRING Der vom Benutzer angeforderte Cluster Name.Cluster name requested by the user. Dies muss nicht eindeutig sein.This doesn’t have to be unique. Wenn bei der Erstellung nicht angegeben, ist der Cluster Name eine leere Zeichenfolge.If not specified at creation, the cluster name will be an empty string.
spark_versionspark_version STRING Die Laufzeitversion des Clusters.The runtime version of the cluster. Sie können eine Liste der verfügbaren Lauf Zeit Versionen mit dem API-Befehl Runtime-Versionen abrufen.You can retrieve a list of available runtime versions by using the Runtime versions API call. Dieses Feld ist erforderlich.This field is required.
spark_confspark_conf SparkconfpairSparkConfPair Ein-Objekt, das einen Satz optionaler, benutzerdefinierte Spark-Konfigurationsschlüssel-Wert-Paare enthält.An object containing a set of optional, user-specified Spark configuration key-value pairs. Sie können auch eine Zeichenfolge zusätzlicher JVM-Optionen an den Treiber und die Executors übergeben, indem SieYou can also pass in a string of extra JVM options to the driver and the executors via
spark.driver.extraJavaOptions````spark.executor.extraJavaOptionsbzw.spark.driver.extraJavaOptions and spark.executor.extraJavaOptions respectively.

Beispiel für Spark-Verbund:Example Spark confs:
{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} oder{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} or
{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}
node_type_idnode_type_id STRING Dieses Feld codiert mithilfe eines einzigen Werts die Ressourcen, die jedem der Spark-Knoten in diesem Cluster zur Verfügung stehen.This field encodes, through a single value, the resources available to each of the Spark nodes in this cluster. Beispielsweise können die Spark-Knoten bereitgestellt und für Arbeitsspeicher-oder rechenintensive Arbeits Auslastungen optimiert werden. eine Liste der verfügbaren Knoten Typen kann mithilfe des API-aufrufyps List Node Types abgerufen werden.For example, the Spark nodes can be provisioned and optimized for memory or compute intensive workloads A list of available node types can be retrieved by using the List node types API call. Dieses Feld ist erforderlich.This field is required.
driver_node_type_iddriver_node_type_id STRING Der Knotentyp des Spark-Treibers.The node type of the Spark driver. Dieses Feld ist optional. Wenn die Einstellung nicht festgelegt ist, wird der Treiber Knotentyp als der node_type_id oben definierte Wert festgelegt.This field is optional; if unset, the driver node type will be set as the same value as node_type_id defined above.
cluster_log_confcluster_log_conf ClusterlogconfClusterLogConf Die Konfiguration für die Übermittlung von Spark-Protokollen an ein langfristiges Speicher Ziel.The configuration for delivering Spark logs to a long-term storage destination. Für einen Cluster kann nur ein Ziel angegeben werden.Only one destination can be specified for one cluster. Wenn die conf angegeben wird, werden die Protokolle alle an das Ziel übermittelt.If the conf is given, the logs will be delivered to the destination every
5 mins.5 mins. Das Ziel der Treiber Protokolle ist <destination>/<cluster-ID>/driver , während das Ziel der Executor-Protokolle ist <destination>/<cluster-ID>/executor .The destination of driver logs is <destination>/<cluster-ID>/driver, while the destination of executor logs is <destination>/<cluster-ID>/executor.
init_scriptsinit_scripts Ein Array von initscriptinfoAn array of InitScriptInfo Die Konfiguration zum Speichern von Init-Skripts.The configuration for storing init scripts. Es können beliebig viele Ziele angegeben werden.Any number of destinations can be specified. Die Skripts werden sequenziell in der angegebenen Reihenfolge ausgeführt.The scripts are executed sequentially in the order provided. Wenn cluster_log_conf angegeben wird, werden Init-Skript Protokolle an gesendet.If cluster_log_conf is specified, init script logs are sent to
<destination>/<cluster-ID>/init_scripts.<destination>/<cluster-ID>/init_scripts.
docker_imagedocker_image DockerimageDockerImage Docker-Image für einen benutzerdefinierten Container.Docker image for a custom container.
spark_env_varsspark_env_vars SparkenvpairSparkEnvPair Ein-Objekt, das einen Satz optionaler, benutzerdefinierte Umgebungsvariablen-Schlüssel-Wert-Paare enthält.An object containing a set of optional, user-specified environment variable key-value pairs. Schlüssel-Wert-Paare in der Form (X, Y) werden unverändert exportiert (d. h.Key-value pairs of the form (X,Y) are exported as is (that is,
export X='Y') beim Starten des Treibers und der Worker.export X='Y') while launching the driver and workers.

Um einen zusätzlichen Satz von anzugeben SPARK_DAEMON_JAVA_OPTS , empfiehlt es sich, diese an zu anhängen, $SPARK_DAEMON_JAVA_OPTS wie im folgenden Beispiel gezeigt.In order to specify an additional set of SPARK_DAEMON_JAVA_OPTS, we recommend appending them to $SPARK_DAEMON_JAVA_OPTS as shown in the following example. Dadurch wird sichergestellt, dass alle standardmäßigen von databricks verwalteten Umgebungsvariablen ebenfalls eingeschlossen werden.This ensures that all default Databricks managed environmental variables are included as well.

Beispiel für Spark-Umgebungsvariablen:Example Spark environment variables:
{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} oder{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} or
{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
autotermination_minutesautotermination_minutes INT32 Beendet den Cluster automatisch, nachdem er für diese Zeit in Minuten inaktiv ist.Automatically terminates the cluster after it is inactive for this time in minutes. Wenn nicht festgelegt, wird dieser Cluster nicht automatisch beendet.If not set, this cluster will not be automatically terminated. Wenn angegeben, muss der Schwellenwert zwischen 10 und 10000 Minuten liegen.If specified, the threshold must be between 10 and 10000 minutes. Sie können diesen Wert auch auf 0 festlegen, um die automatische Beendigung explizit zu deaktivieren.You can also set this value to 0 to explicitly disable automatic termination.
instance_pool_idinstance_pool_id STRING Die optionale ID des instanzpools, zu dem der Cluster gehört.The optional ID of the instance pool to which the cluster belongs. Weitere Informationen finden Sie in den Pools .Refer to Pools for details.

Starten Sie Start

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/start POST

Startet einen beendeten Cluster anhand seiner ID.Start a terminated cluster given its ID. Dies ist vergleichbar mit createCluster , außer:This is similar to createCluster, except:

  • Die beendete Cluster-ID und die beendeten Attribute werden beibehalten.The terminated cluster ID and attributes are preserved.
  • Der Cluster wird mit der letzten angegebenen Clustergröße gestartet.The cluster starts with the last specified cluster size. Wenn der beendete Cluster ein Cluster für die automatische Skalierung ist, beginnt der Cluster mit der minimalen Anzahl von Knoten.If the terminated cluster is an autoscaling cluster, the cluster starts with the minimum number of nodes.
  • Wenn sich der Cluster im- RESTARTING Zustand befindet, 400 wird ein Fehler zurückgegeben.If the cluster is in the RESTARTING state, a 400 error is returned.
  • Ein Cluster, der zum Ausführen eines Auftrags gestartet wurde, kann nicht gestartet werden.You cannot start a cluster launched to run a job.

Eine Beispiel Anforderung:An example request:

{
  "cluster_id": "1202-211320-brick1"
}

Anforderungs Struktur Request structure

FeldnameField Name typeType BESCHREIBUNGDescription
cluster_idcluster_id STRING Der Cluster, der gestartet werden soll.The cluster to be started. Dieses Feld ist erforderlich.This field is required.

Neu starten Restart

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/restart POST

Starten Sie einen Cluster anhand seiner ID neu.Restart a cluster given its ID. Der Cluster muss sich im Status RUNNING befinden.The cluster must be in the RUNNING state.

Eine Beispiel Anforderung:An example request:

{
  "cluster_id": "1202-211320-brick1"
}

Anforderungs Struktur Request structure

FeldnameField Name typeType BESCHREIBUNGDescription
cluster_idcluster_id STRING Der Cluster, der gestartet werden soll.The cluster to be started. Dieses Feld ist erforderlich.This field is required.

Größe ändern Resize

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/resize POST

Ändern Sie die Größe eines Clusters, sodass er über eine gewünschte Anzahl von Workern verfügt.Resize a cluster to have a desired number of workers. Der Cluster muss sich im Status RUNNING befinden.The cluster must be in the RUNNING state.

Eine Beispiel Anforderung:An example request:

{
  "cluster_id": "1202-211320-brick1",
  "num_workers": 30
}

Anforderungs Struktur Request structure

FeldnameField Name typeType BESCHREIBUNGDescription
num_workers oder automatische Skalierungnum_workers OR autoscale INT32 Oder automatisch skalierenINT32 OR AutoScale Wenn num_workers, die Anzahl der workerknoten, die dieser Cluster aufweisen sollte.If num_workers, number of worker nodes that this cluster should have. Ein Cluster verfügt über einen Spark-Treiber und num_workers Executors für insgesamt num_workers + 1 Spark-Knoten.A cluster has one Spark driver and num_workers executors for a total of num_workers + 1 Spark nodes.

Hinweis: Wenn Sie die Eigenschaften eines Clusters lesen, gibt dieses Feld die gewünschte Anzahl von Workern anstelle der tatsächlichen Anzahl von Workern an.Note: When reading the properties of a cluster, this field reflects the desired number of workers rather than the actual number of workers. Wenn beispielsweise die Größe eines Clusters von 5 auf 10 Worker geändert wird, wird dieses Feld sofort aktualisiert, um die Zielgröße von 10 Arbeitsthreads widerzuspiegeln, wohingegen die in aufgelisteten Worker bei der Bereitstellung executors der neuen Knoten allmählich von 5 auf 10 erhöht werden.For instance, if a cluster is resized from 5 to 10 workers, this field will immediately be updated to reflect the target size of 10 workers, whereas the workers listed in executors will gradually increase from 5 to 10 as the new nodes are provisioned.

Wenn die automatische Skalierung erforderlich ist, werden für die automatische Skalierung von Clustern basierend auf der Auslastung Parameter benötigt.If autoscale, parameters needed in order to automatically scale clusters up and down based on load.
cluster_idcluster_id STRING Der Cluster, dessen Größe geändert werden soll.The cluster to be resized. Dieses Feld ist erforderlich.This field is required.

Löschen (Beenden) Delete (terminate)

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/delete POST

Beendet einen Cluster anhand seiner ID.Terminate a cluster given its ID. Der Cluster wird asynchron entfernt.The cluster is removed asynchronously. Wenn die Beendigung abgeschlossen ist, befindet sich der Cluster im- TERMINATED Zustand.Once the termination has completed, the cluster will be in the TERMINATED state. Wenn sich der Cluster bereits in einem TERMINATING - TERMINATED Zustand oder-Zustand befindet, erfolgt nichts.If the cluster is already in a TERMINATING or TERMINATED state, nothing will happen.

30 Tage nach Beendigung eines Clusters wird er dauerhaft gelöscht.30 days after a cluster is terminated, it is permanently deleted.

Eine Beispiel Anforderung:An example request:

{
  "cluster_id": "1202-211320-brick1"
}

Anforderungs Struktur Request structure

FeldnameField Name typeType BESCHREIBUNGDescription
cluster_idcluster_id STRING Der zu beendende Cluster.The cluster to be terminated. Dieses Feld ist erforderlich.This field is required.

Dauerhaftes Löschen Permanent delete

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/permanent-delete POST

Dauerhaftes Löschen eines Clusters.Permanently delete a cluster. Wenn der Cluster ausgeführt wird, wird er beendet, und seine Ressourcen werden asynchron entfernt.If the cluster is running, it is terminated and its resources are asynchronously removed. Wenn der Cluster beendet wird, wird er sofort entfernt.If the cluster is terminated, then it is immediately removed.

Sie können in einem dauerhaft gelöschten Cluster keine Aktionen ausführen, einschließlich der Cluster Berechtigungen.You cannot perform any action, including retrieve the cluster’s permissions, on a permanently deleted cluster. Ein dauerhaft gelöschter Cluster wird auch nicht mehr in der Cluster Liste zurückgegeben.A permanently deleted cluster is also no longer returned in the cluster list.

Eine Beispiel Anforderung:An example request:

{
  "cluster_id": "1202-211320-brick1"
}

Anforderungs Struktur Request structure

FeldnameField Name typeType BESCHREIBUNGDescription
cluster_idcluster_id STRING Der Cluster, der dauerhaft gelöscht werden soll.The cluster to be permanently deleted. Dieses Feld ist erforderlich.This field is required.

Get Get

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/get GET

Abrufen der Informationen für einen Cluster anhand seines Bezeichners.Retrieve the information for a cluster given its identifier. Cluster können während der Ausführung oder bis zu 30 Tage nach ihrer Beendigung beschrieben werden.Clusters can be described while they are running or up to 30 days after they are terminated.

Eine Beispiel Anforderung:An example request:

/clusters/get?cluster_id=1202-211320-brick1

Anforderungs Struktur Request structure

FeldnameField Name typeType BESCHREIBUNGDescription
cluster_idcluster_id STRING Der Cluster, über den Informationen abgerufen werden sollen.The cluster about which to retrieve information. Dieses Feld ist erforderlich.This field is required.

Antwort Struktur Response structure

FeldnameField Name typeType BESCHREIBUNGDescription
num_workers oder automatische Skalierungnum_workers OR autoscale INT32 Oder automatisch skalierenINT32 OR AutoScale Wenn num_workers, die Anzahl der workerknoten, die dieser Cluster aufweisen sollte.If num_workers, number of worker nodes that this cluster should have. Ein Cluster verfügt über einen Spark-Treiber und num_workers Executors für insgesamt num_workers + 1 Spark-Knoten.A cluster has one Spark driver and num_workers executors for a total of num_workers + 1 Spark nodes.

Hinweis: Wenn Sie die Eigenschaften eines Clusters lesen, gibt dieses Feld die gewünschte Anzahl von Workern anstelle der tatsächlichen Anzahl von Workern an.Note: When reading the properties of a cluster, this field reflects the desired number of workers rather than the actual number of workers. Wenn beispielsweise die Größe eines Clusters von 5 auf 10 Worker geändert wird, wird dieses Feld sofort aktualisiert, um die Zielgröße von 10 Arbeitsthreads widerzuspiegeln, wohingegen die in aufgelisteten Worker bei der Bereitstellung executors der neuen Knoten allmählich von 5 auf 10 erhöht werden.For instance, if a cluster is resized from 5 to 10 workers, this field will immediately be updated to reflect the target size of 10 workers, whereas the workers listed in executors will gradually increase from 5 to 10 as the new nodes are provisioned.

Wenn die automatische Skalierung erforderlich ist, werden für die automatische Skalierung von Clustern basierend auf der Auslastung Parameter benötigt.If autoscale, parameters needed in order to automatically scale clusters up and down based on load.
cluster_idcluster_id STRING Kanonischer Bezeichner für den Cluster.Canonical identifier for the cluster. Diese ID wird während der Cluster Neustarts und-Größe beibehalten, während jeder neue Cluster über eine global eindeutige ID verfügt.This ID is retained during cluster restarts and resizes, while each new cluster has a globally unique ID.
creator_user_namecreator_user_name STRING Ersteller-Benutzername.Creator user name. Das Feld ist nicht in der Antwort enthalten, wenn der Benutzer bereits gelöscht wurde.The field won’t be included in the response if the user has already been deleted.
Treiberdriver SparknodeSparkNode Knoten, auf dem sich der Spark-Treiber befindet.Node on which the Spark driver resides. Der Treiber Knoten enthält den Spark-Master und die databricks-Anwendung, die die Spark-REPLs pro Notebook verwaltet.The driver node contains the Spark master and the Databricks application that manages the per-notebook Spark REPLs.
Executorsexecutors Ein Array von sparklodeAn array of SparkNode Knoten, auf denen sich die Spark-Executors befinden.Nodes on which the Spark executors reside.
spark_context_idspark_context_id INT64 Ein kanonischer Kontext Bezeichner.A canonical SparkContext identifier. Dieser Wert ändert sich, wenn der Spark-Treiber neu gestartet wird .This value does change when the Spark driver restarts. Das Paar (cluster_id, spark_context_id) ist eine Globally Unique Identifier über alle Spark-Kontexte.The pair (cluster_id, spark_context_id) is a globally unique identifier over all Spark contexts.
jdbc_portjdbc_port INT32 Der Port, den der Spark-JDBC-Server im Treiber Knoten abhört.Port on which Spark JDBC server is listening in the driver node. Dieser Port wird in Executor-Knoten von keinem Dienst überwacht.No service will be listening on on this port in executor nodes.
cluster_namecluster_name STRING Der vom Benutzer angeforderte Cluster Name.Cluster name requested by the user. Dies muss nicht eindeutig sein.This doesn’t have to be unique. Wenn bei der Erstellung nicht angegeben, ist der Cluster Name eine leere Zeichenfolge.If not specified at creation, the cluster name will be an empty string.
spark_versionspark_version STRING Die Laufzeitversion des Clusters.The runtime version of the cluster. Sie können eine Liste der verfügbaren Lauf Zeit Versionen mit dem API-Befehl Runtime-Versionen abrufen.You can retrieve a list of available runtime versions by using the Runtime versions API call.
spark_confspark_conf SparkconfpairSparkConfPair Ein-Objekt, das einen Satz optionaler, benutzerdefinierte Spark-Konfigurationsschlüssel-Wert-Paare enthält.An object containing a set of optional, user-specified Spark configuration key-value pairs. Sie können auch eine Zeichenfolge zusätzlicher JVM-Optionen an den Treiber und die Executors übergeben, indem SieYou can also pass in a string of extra JVM options to the driver and the executors via
spark.driver.extraJavaOptions````spark.executor.extraJavaOptionsbzw.spark.driver.extraJavaOptions and spark.executor.extraJavaOptions respectively.

Beispiel für Spark-Verbund:Example Spark confs:
{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} oder{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} or
{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}
node_type_idnode_type_id STRING Dieses Feld codiert mithilfe eines einzigen Werts die Ressourcen, die jedem der Spark-Knoten in diesem Cluster zur Verfügung stehen.This field encodes, through a single value, the resources available to each of the Spark nodes in this cluster. Beispielsweise können die Spark-Knoten bereitgestellt und für Arbeitsspeicher-oder rechenintensive Arbeits Auslastungen optimiert werden. eine Liste der verfügbaren Knoten Typen kann mithilfe des API-aufrufyps List Node Types abgerufen werden.For example, the Spark nodes can be provisioned and optimized for memory or compute intensive workloads A list of available node types can be retrieved by using the List node types API call. Dieses Feld ist erforderlich.This field is required.
driver_node_type_iddriver_node_type_id STRING Der Knotentyp des Spark-Treibers.The node type of the Spark driver. Dieses Feld ist optional. Wenn die Einstellung nicht festgelegt ist, wird der Treiber Knotentyp als der node_type_id oben definierte Wert festgelegt.This field is optional; if unset, the driver node type will be set as the same value as node_type_id defined above.
custom_tagscustom_tags ClustertagClusterTag Ein-Objekt, das einen Satz von Tags für Cluster Ressourcen enthält.An object containing a set of tags for cluster resources. Databricks markiert zusätzlich zu den default_tags alle Cluster Ressourcen mit diesen Tags.Databricks tags all cluster resources with these tags in addition to default_tags.

Hinweis:Note:

* Tags werden für Legacy Knoten Typen, z. b. Compute-optimierte und Speicher optimierte, nicht unterstützt.* Tags are not supported on legacy node types such as compute-optimized and memory-optimized
* Databricks ermöglicht höchstens 45 benutzerdefinierte Tags.* Databricks allows at most 45 custom tags
cluster_log_confcluster_log_conf ClusterlogconfClusterLogConf Die Konfiguration für die Übermittlung von Spark-Protokollen an ein langfristiges Speicher Ziel.The configuration for delivering Spark logs to a long-term storage destination. Für einen Cluster kann nur ein Ziel angegeben werden.Only one destination can be specified for one cluster. Wenn die conf angegeben wird, werden die Protokolle alle an das Ziel übermittelt.If the conf is given, the logs will be delivered to the destination every
5 mins.5 mins. Das Ziel der Treiber Protokolle ist <destination>/<cluster-ID>/driver , während das Ziel der Executor-Protokolle ist <destination>/<cluster-ID>/executor .The destination of driver logs is <destination>/<cluster-ID>/driver, while the destination of executor logs is <destination>/<cluster-ID>/executor.
init_scriptsinit_scripts Ein Array von initscriptinfoAn array of InitScriptInfo Die Konfiguration zum Speichern von Init-Skripts.The configuration for storing init scripts. Es können beliebig viele Ziele angegeben werden.Any number of destinations can be specified. Die Skripts werden sequenziell in der angegebenen Reihenfolge ausgeführt.The scripts are executed sequentially in the order provided. Wenn cluster_log_conf angegeben wird, werden Init-Skript Protokolle an gesendet.If cluster_log_conf is specified, init script logs are sent to
<destination>/<cluster-ID>/init_scripts.<destination>/<cluster-ID>/init_scripts.
docker_imagedocker_image DockerimageDockerImage Docker-Image für einen benutzerdefinierten Container.Docker image for a custom container.
spark_env_varsspark_env_vars SparkenvpairSparkEnvPair Ein-Objekt, das einen Satz optionaler, benutzerdefinierte Umgebungsvariablen-Schlüssel-Wert-Paare enthält.An object containing a set of optional, user-specified environment variable key-value pairs. Schlüssel-Wert-Paare in der Form (X, Y) werden unverändert exportiert (d. h.Key-value pairs of the form (X,Y) are exported as is (that is,
export X='Y') beim Starten des Treibers und der Worker.export X='Y') while launching the driver and workers.

Um einen zusätzlichen Satz von anzugeben SPARK_DAEMON_JAVA_OPTS , empfiehlt es sich, diese an zu anhängen, $SPARK_DAEMON_JAVA_OPTS wie im folgenden Beispiel gezeigt.In order to specify an additional set of SPARK_DAEMON_JAVA_OPTS, we recommend appending them to $SPARK_DAEMON_JAVA_OPTS as shown in the following example. Dadurch wird sichergestellt, dass alle standardmäßigen von databricks verwalteten Umgebungsvariablen ebenfalls eingeschlossen werden.This ensures that all default Databricks managed environmental variables are included as well.

Beispiel für Spark-Umgebungsvariablen:Example Spark environment variables:
{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} oder{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} or
{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
autotermination_minutesautotermination_minutes INT32 Beendet den Cluster automatisch, nachdem er für diese Zeit in Minuten inaktiv ist.Automatically terminates the cluster after it is inactive for this time in minutes. Wenn nicht festgelegt, wird dieser Cluster nicht automatisch beendet.If not set, this cluster will not be automatically terminated. Wenn angegeben, muss der Schwellenwert zwischen 10 und 10000 Minuten liegen.If specified, the threshold must be between 10 and 10000 minutes. Sie können diesen Wert auch auf 0 festlegen, um die automatische Beendigung explizit zu deaktivieren.You can also set this value to 0 to explicitly disable automatic termination.
enable_elastic_diskenable_elastic_disk BOOL Automatische Skalierung des lokalen Speichers: Wenn diese Option aktiviert ist, erhält dieser Cluster dynamisch zusätzlichen Speicherplatz, wenn seine Spark-Worker wenig Speicherplatz auf dem Datenträger verfügbar sind.Autoscaling Local Storage: when enabled, this cluster will dynamically acquire additional disk space when its Spark workers are running low on disk space. Weitere Informationen finden Sie unter Automatische Skalierung des lokalen Speichers .See Autoscaling local storage for details.
instance_pool_idinstance_pool_id STRING Die optionale ID des instanzpools, zu dem der Cluster gehört.The optional ID of the instance pool to which the cluster belongs. Weitere Informationen finden Sie in den Pools .Refer to Pools for details.
statestate ClusterstateClusterState Der Status des Clusters.State of the cluster.
state_messagestate_message STRING Eine Meldung, die mit dem letzten Zustandsübergang verknüpft ist (z. b. der Grund, warum der Cluster in den Status eingetreten ist TERMINATED ).A message associated with the most recent state transition (for example, the reason why the cluster entered the TERMINATED state).
start_timestart_time INT64 Zeit (in Epochen Millisekunden), zu der die Anforderung zum Erstellen des Clusters empfangen wurde (als der Cluster in den Status eingetreten ist PENDING ).Time (in epoch milliseconds) when the cluster creation request was received (when the cluster entered the PENDING state).
terminated_timeterminated_time INT64 Zeit (in Epochen Millisekunden), zu der der Cluster beendet wurde (falls zutreffend).Time (in epoch milliseconds) when the cluster was terminated, if applicable.
last_state_loss_timelast_state_loss_time INT64 Zeitpunkt, zu dem der Cluster Treiber seinen Status zuletzt verloren hat (aufgrund eines Neustarts oder Treiber Fehlers).Time when the cluster driver last lost its state (due to a restart or driver failure).
last_activity_timelast_activity_time INT64 Zeit (in Epochen Millisekunden), zu der der Cluster zuletzt aktiv war.Time (in epoch milliseconds) when the cluster was last active. Ein Cluster ist aktiv, wenn mindestens ein Befehl vorhanden ist, der nicht auf dem Cluster abgeschlossen wurde.A cluster is active if there is at least one command that has not finished on the cluster. Dieses Feld ist verfügbar, nachdem der Cluster den Status erreicht hat RUNNING .This field is available after the cluster has reached the RUNNING state. Updates für dieses Feld werden als bestmögliche Versuche durchgeführt.Updates to this field are made as best-effort attempts. Bestimmte Versionen von Spark unterstützen nicht die Berichterstellung von Cluster Aktivitäten.Certain versions of Spark do not support reporting of cluster activity. Weitere Informationen finden Sie unter automatische Beendigung .Refer to Automatic termination for details.
cluster_memory_mbcluster_memory_mb INT64 Gesamtmenge des Cluster Speichers in Megabyte.Total amount of cluster memory, in megabytes.
cluster_corescluster_cores FLOAT Anzahl der CPU-Kerne, die für diesen Cluster verfügbar sind.Number of CPU cores available for this cluster. Dies kann ein Bruchteil sein, da bestimmte Knoten Typen für die gemeinsame Nutzung von Kernen zwischen Spark-Knoten in derselben Instanz konfiguriert sind.This can be fractional since certain node types are configured to share cores between Spark nodes on the same instance.
default_tagsdefault_tags ClustertagClusterTag Ein-Objekt, das einen Satz von Tags enthält, die von Azure Databricks unabhängig von custom_tags hinzugefügt werden, einschließlich:An object containing a set of tags that are added by Azure Databricks regardless of any custom_tags, including:

* Hersteller: databricks* Vendor: Databricks
* Ersteller: * Creator:
* Cluster Name: * ClusterName:
* Clusterid: * ClusterId:
* Name: in Auftrags Clustern:* Name: On job clusters:

* Runname: * RunName:
* JobID: * JobId:
cluster_log_statuscluster_log_status LogsyncstatusLogSyncStatus Status der Cluster Protokoll Übermittlung.Cluster log delivery status.
termination_reasontermination_reason TerminationreasonTerminationReason Informationen dazu, warum der Cluster beendet wurde.Information about why the cluster was terminated. Dieses Feld wird nur angezeigt, wenn sich der Cluster im- TERMINATING Zustand oder im- TERMINATED Zustand befindet.This field appears only when the cluster is in the TERMINATING or TERMINATED state.

PIN Pin

Hinweis

Sie müssen Azure Databricks Administrator sein, um diese API aufrufen zu können.You must be an Azure Databricks administrator to invoke this API.

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/pin POST

Stellen Sie sicher, dass eine Konfiguration für den gesamten Zweck beibehalten wird, auch nachdem ein Cluster seit mehr als 30 Tagen beendet wurde.Ensure that an all-purpose cluster configuration is retained even after a cluster has been terminated for more than 30 days. Durch das Fixieren wird sichergestellt, dass der Cluster immer von der List -API zurückgegeben wird.Pinning ensures that the cluster is always returned by the List API. Das Fixieren eines bereits angehefteten Clusters hat keine Auswirkungen.Pinning a cluster that is already pinned has no effect.

Eine Beispiel Anforderung:An example request:

{
  "cluster_id": "1202-211320-brick1"
}

Anforderungs Struktur Request structure

FeldnameField Name typeType BESCHREIBUNGDescription
cluster_idcluster_id STRING Der zu Pin-Cluster.The cluster to pin. Dieses Feld ist erforderlich.This field is required.

Lösen Unpin

Hinweis

Sie müssen Azure Databricks Administrator sein, um diese API aufrufen zu können.You must be an Azure Databricks administrator to invoke this API.

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/unpin POST

Ermöglicht, dass der Cluster schließlich aus der Liste entfernt wird, die von der List -API zurückgegeben wird.Allows the cluster to eventually be removed from the list returned by the List API. Das Lösen eines Clusters, der nicht fixiert ist, hat keine Auswirkungen.Unpinning a cluster that is not pinned has no effect.

Eine Beispiel Anforderung:An example request:

{
  "cluster_id": "1202-211320-brick1"
}

Anforderungs Struktur Request structure

FeldnameField Name typeType BESCHREIBUNGDescription
cluster_idcluster_id STRING Der zu enthefgende Cluster.The cluster to unpin. Dieses Feld ist erforderlich.This field is required.

Liste List

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/list GET

Gibt Informationen zu allen fixierten Clustern, aktiven Clustern, bis zu 70 der zuletzt beendeten Cluster für alle Zwecke in den letzten 30 Tagen und bis zu 30 der zuletzt beendeten Auftrags Cluster in den letzten 30 Tagen zurück.Return information about all pinned clusters, active clusters, up to 70 of the most recently terminated all-purpose clusters in the past 30 days, and up to 30 of the most recently terminated job clusters in the past 30 days. Wenn z. b. ein angeheftete Cluster, vier aktive Cluster, 45 beendete Cluster mit sämtlichen Zwecken in den letzten 30 Tagen und 50 beendete Auftrags Cluster in den letzten 30 Tagen vorhanden sind, gibt diese API den 1 fixierten Cluster, vier aktive Cluster, alle 45 beendete alle Zweck Cluster und die 30 zuletzt beendeten Auftrags Cluster zurück.For example, if there is 1 pinned cluster, 4 active clusters, 45 terminated all-purpose clusters in the past 30 days, and 50 terminated job clusters in the past 30 days, then this API returns the 1 pinned cluster, 4 active clusters, all 45 terminated all-purpose clusters, and the 30 most recently terminated job clusters.

Antwort Struktur Response structure

FeldnameField Name typeType BESCHREIBUNGDescription
clustersclusters Ein Array von clusterinfo .An array of ClusterInfo Eine Liste der Cluster.A list of clusters.

Auflisten von Knoten Typen List node types

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/list-node-types GET

Gibt eine Liste der unterstützten Spark-Knoten Typen zurück.Return a list of supported Spark node types. Diese Knoten Typen können verwendet werden, um einen Cluster zu starten.These node types can be used to launch a cluster.

Antwort Struktur Response structure

FeldnameField Name typeType BESCHREIBUNGDescription
node_typesnode_types Ein Array von " NodeType ".An array of NodeType Die Liste der verfügbaren Spark-Knoten Typen.The list of available Spark node types.

Lauf Zeit Versionen Runtime versions

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/spark-versions GET

Gibt die Liste der verfügbaren Lauf Zeit Versionenzurück.Return the list of available runtime versions. Diese Versionen können zum Starten eines Clusters verwendet werden.These versions can be used to launch a cluster.

Antwort Struktur Response structure

FeldnameField Name typeType BESCHREIBUNGDescription
versionsversions Ein Array von sparkversionAn array of SparkVersion Alle verfügbaren Lauf Zeit Versionen.All the available runtime versions.

Ereignisse Events

EndpunktEndpoint HTTP-MethodeHTTP Method
2.0/clusters/events POST

Ruft eine Liste von Ereignissen zur Aktivität eines Clusters ab.Retrieve a list of events about the activity of a cluster. Sie können Ereignisse von aktiven Clustern (ausführen, ausstehende oder neukonfigurierte) und beendete Cluster innerhalb von 30 Tagen nach der letzten Beendigung abrufen.You can retrieve events from active clusters (running, pending, or reconfiguring) and terminated clusters within 30 days of their last termination. Diese API ist paginiert.This API is paginated. Wenn weitere Ereignisse gelesen werden sollen, enthält die Antwort alle Parameter, die zum Anfordern der nächsten Ereignis Seite erforderlich sind.If there are more events to read, the response includes all the parameters necessary to request the next page of events.

Eine Beispiel Anforderung:An example request:

{
  "cluster_id": "1202-211320-brick1"
}

Beispiel Antwort:An example response:

{
  "events": [{
    "cluster_id": "1202-211320-brick1",
    "timestamp": 1534371918659,
    "type": "TERMINATING",
    "details": {
      "reason": {
        "code": "INACTIVITY",
        "parameters": {
          "inactivity_duration_min": "120"
        }
      }
    }
  }, {
    "cluster_id": "1202-211320-brick1",
    "timestamp": 1534358289590,
    "type": "RUNNING",
    "details": {
      "current_num_workers": 2,
      "target_num_workers": 2
    }
  }, {
    "cluster_id": "1202-211320-brick1",
    "timestamp": 1533225298406,
    "type": "RESTARTING",
    "details": {
      "user": "admin"
    }
  }],
  "next_page": {
    "cluster_id": "0802-034608-aloe926",
    "end_time": 1534371918659,
    "offset": 50
  },
  "total_count": 55
}

Beispiel Anforderung zum Abrufen der nächsten Ereignis Seite:Example request to retrieve the next page of events:

{
  "cluster_id": "1202-211320",
  "start_time": 1534371918659
}

Anforderungs Struktur Request structure

Abrufen von Ereignissen in Bezug auf einen bestimmten Cluster.Retrieve events pertaining to a specific cluster.

FeldnameField Name typeType BESCHREIBUNGDescription
cluster_idcluster_id STRING Die ID des Clusters, über den Ereignisse abgerufen werden sollen.The ID of the cluster to retrieve events about. Dieses Feld ist erforderlich.This field is required.
start_timestart_time INT64 Die Startzeit in Epochen Millisekunden.The start time in epoch milliseconds. Wenn leer, werden Ereignisse ab dem Anfang der Zeit zurückgegeben.If empty, returns events starting from the beginning of time.
end_timeend_time INT64 Die Endzeit in Epochen Millisekunden.The end time in epoch milliseconds. Wenn leer, werden Ereignisse bis zur aktuellen Zeit zurückgegeben.If empty, returns events up to the current time.
orderorder ListorderListOrder Die Reihenfolge, in der Ereignisse aufgelistet werden sollen. entweder ASC oder DESC .The order to list events in; either ASC or DESC. Wird standardmäßig auf DESC festgelegt.Defaults to DESC.
event_typesevent_types Ein Array von clustereventtype .An array of ClusterEventType Ein optionaler Satz von Ereignis Typen, nach denen gefiltert werden soll.An optional set of event types to filter on. Wenn leer, werden alle Ereignis Typen zurückgegeben.If empty, all event types are returned.
offsetoffset INT64 Der Offset im Resultset.The offset in the result set. Der Standardwert ist 0 (kein Offset).Defaults to 0 (no offset). Wenn ein Offset angegeben wird und die Ergebnisse in absteigender Reihenfolge angefordert werden, ist das end_time Feld erforderlich.When an offset is specified and the results are requested in descending order, the end_time field is required.
limitlimit INT64 Die maximale Anzahl von Ereignissen, die auf einer Ereignis Seite eingeschlossen werden sollen.The maximum number of events to include in a page of events. Der Standardwert ist 50, und der maximal zulässige Wert ist 500.Defaults to 50, and maximum allowed value is 500.

Antwort Struktur Response structure

FeldnameField Name typeType BESCHREIBUNGDescription
eventsevents Ein Array von clustereventAn array of ClusterEvent Diese Liste der übereinstimmenden Ereignisse.This list of matching events.
next_pagenext_page Anforderungs StrukturRequest structure Die Parameter, die zum Abrufen der nächsten Ereignis Seite erforderlich sind.The parameters required to retrieve the next page of events. Wird weggelassen, wenn keine weiteren zu lesenden Ereignisse vorhanden sind.Omitted if there are no more events to read.
total_counttotal_count INT64 Die Gesamtanzahl der Ereignisse, die vom start_time, end_time und event_types gefiltert wurden.The total number of events filtered by the start_time, end_time, and event_types.

Datenstrukturen Data structures

In diesem AbschnittIn this section:

Automatische Skalierung AutoScale

Bereich, der die minimale und maximale Anzahl von Cluster Arbeitsthreads definiert.Range defining the min and max number of cluster workers.

FeldnameField Name typeType BESCHREIBUNGDescription
min_workersmin_workers INT32 Die Mindestanzahl von Workern, auf die der Cluster herunterskaliert werden kann, wenn dies unterausgelastet ist.The minimum number of workers to which the cluster can scale down when underutilized. Außerdem ist dies die anfängliche Anzahl von Workern, die der Cluster nach der Erstellung hat.It is also the initial number of workers the cluster will have after creation.
max_workersmax_workers INT32 Die maximale Anzahl von Workern, in denen der Cluster bei Überlastung zentral hochskaliert werden kann.The maximum number of workers to which the cluster can scale up when overloaded. max_workers muss streng größer als min_workers sein.max_workers must be strictly greater than min_workers.

Clusterinfo ClusterInfo

Metadaten zu einem Cluster.Metadata about a cluster.

FeldnameField Name typeType BESCHREIBUNGDescription
num_workers oder automatische Skalierungnum_workers OR autoscale INT32 Oder automatisch skalierenINT32 OR AutoScale Wenn num_workers, die Anzahl der workerknoten, die dieser Cluster aufweisen sollte.If num_workers, number of worker nodes that this cluster should have. Ein Cluster verfügt über einen Spark-Treiber und num_workers Executors für insgesamt num_workers + 1 Spark-Knoten.A cluster has one Spark driver and num_workers executors for a total of num_workers + 1 Spark nodes.

Hinweis: Wenn Sie die Eigenschaften eines Clusters lesen, gibt dieses Feld die gewünschte Anzahl von Workern anstelle der tatsächlichen Anzahl von Workern an.Note: When reading the properties of a cluster, this field reflects the desired number of workers rather than the actual number of workers. Wenn beispielsweise die Größe eines Clusters von 5 auf 10 Worker geändert wird, wird dieses Feld sofort aktualisiert, um die Zielgröße von 10 Arbeitsthreads widerzuspiegeln, wohingegen die in aufgelisteten Worker bei der Bereitstellung executors der neuen Knoten allmählich von 5 auf 10 erhöht werden.For instance, if a cluster is resized from 5 to 10 workers, this field will immediately be updated to reflect the target size of 10 workers, whereas the workers listed in executors will gradually increase from 5 to 10 as the new nodes are provisioned.

Wenn die automatische Skalierung erforderlich ist, werden für die automatische Skalierung von Clustern basierend auf der Auslastung Parameter benötigt.If autoscale, parameters needed in order to automatically scale clusters up and down based on load.
cluster_idcluster_id STRING Kanonischer Bezeichner für den Cluster.Canonical identifier for the cluster. Diese ID wird während der Cluster Neustarts und-Größe beibehalten, während jeder neue Cluster über eine global eindeutige ID verfügt.This ID is retained during cluster restarts and resizes, while each new cluster has a globally unique ID.
creator_user_namecreator_user_name STRING Ersteller-Benutzername.Creator user name. Das Feld ist nicht in der Antwort enthalten, wenn der Benutzer bereits gelöscht wurde.The field won’t be included in the response if the user has already been deleted.
Treiberdriver SparknodeSparkNode Knoten, auf dem sich der Spark-Treiber befindet.Node on which the Spark driver resides. Der Treiber Knoten enthält den Spark-Master und die databricks-Anwendung, die die Spark-REPLs pro Notebook verwaltet.The driver node contains the Spark master and the Databricks application that manages the per-notebook Spark REPLs.
Executorsexecutors Ein Array von sparklodeAn array of SparkNode Knoten, auf denen sich die Spark-Executors befinden.Nodes on which the Spark executors reside.
spark_context_idspark_context_id INT64 Ein kanonischer Kontext Bezeichner.A canonical SparkContext identifier. Dieser Wert ändert sich, wenn der Spark-Treiber neu gestartet wird .This value does change when the Spark driver restarts. Das Paar (cluster_id, spark_context_id) ist eine Globally Unique Identifier über alle Spark-Kontexte.The pair (cluster_id, spark_context_id) is a globally unique identifier over all Spark contexts.
jdbc_portjdbc_port INT32 Der Port, den der Spark-JDBC-Server im Treiber Knoten abhört.Port on which Spark JDBC server is listening in the driver node. Dieser Port wird in Executor-Knoten von keinem Dienst überwacht.No service will be listening on on this port in executor nodes.
cluster_namecluster_name STRING Der vom Benutzer angeforderte Cluster Name.Cluster name requested by the user. Dies muss nicht eindeutig sein.This doesn’t have to be unique. Wenn bei der Erstellung nicht angegeben, ist der Cluster Name eine leere Zeichenfolge.If not specified at creation, the cluster name will be an empty string.
spark_versionspark_version STRING Die Laufzeitversion des Clusters.The runtime version of the cluster. Sie können eine Liste der verfügbaren Lauf Zeit Versionen mit dem API-Befehl Runtime-Versionen abrufen.You can retrieve a list of available runtime versions by using the Runtime versions API call.
spark_confspark_conf SparkconfpairSparkConfPair Ein-Objekt, das einen Satz optionaler, benutzerdefinierte Spark-Konfigurationsschlüssel-Wert-Paare enthält.An object containing a set of optional, user-specified Spark configuration key-value pairs. Sie können auch eine Zeichenfolge zusätzlicher JVM-Optionen an den Treiber und die Executors übergeben, indem SieYou can also pass in a string of extra JVM options to the driver and the executors via
spark.driver.extraJavaOptions````spark.executor.extraJavaOptionsbzw.spark.driver.extraJavaOptions and spark.executor.extraJavaOptions respectively.

Beispiel für Spark-Verbund:Example Spark confs:
{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} oder{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} or
{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}
node_type_idnode_type_id STRING Dieses Feld codiert mithilfe eines einzigen Werts die Ressourcen, die jedem der Spark-Knoten in diesem Cluster zur Verfügung stehen.This field encodes, through a single value, the resources available to each of the Spark nodes in this cluster. Beispielsweise können die Spark-Knoten für arbeitsspeicher- oder rechenintensive Workloads bereitgestellt und optimiert werden.For example, the Spark nodes can be provisioned and optimized for memory or compute intensive workloads. Eine Liste der verfügbaren Knoten Typen kann mit dem API-Befehl zum Auflisten von Knoten Typen abgerufen werden.A list of available node types can be retrieved by using the List node types API call.
driver_node_type_iddriver_node_type_id STRING Der Knotentyp des Spark-Treibers.The node type of the Spark driver. Dieses Feld ist optional. Wenn die Einstellung nicht festgelegt ist, wird der Treiber Knotentyp als der node_type_id oben definierte Wert festgelegt.This field is optional; if unset, the driver node type will be set as the same value as node_type_id defined above.
cluster_log_confcluster_log_conf ClusterlogconfClusterLogConf Die Konfiguration für die Übermittlung von Spark-Protokollen an ein langfristiges Speicher Ziel.The configuration for delivering Spark logs to a long-term storage destination. Für einen Cluster kann nur ein Ziel angegeben werden.Only one destination can be specified for one cluster. Wenn die conf angegeben wird, werden die Protokolle alle an das Ziel übermittelt.If the conf is given, the logs will be delivered to the destination every
5 mins.5 mins. Das Ziel der Treiber Protokolle ist <destination>/<cluster-ID>/driver , während das Ziel der Executor-Protokolle ist <destination>/<cluster-ID>/executor .The destination of driver logs is <destination>/<cluster-ID>/driver, while the destination of executor logs is <destination>/<cluster-ID>/executor.
init_scriptsinit_scripts Ein Array von initscriptinfoAn array of InitScriptInfo Die Konfiguration zum Speichern von Init-Skripts.The configuration for storing init scripts. Es können beliebig viele Ziele angegeben werden.Any number of destinations can be specified. Die Skripts werden sequenziell in der angegebenen Reihenfolge ausgeführt.The scripts are executed sequentially in the order provided. Wenn cluster_log_conf angegeben wird, werden Init-Skript Protokolle an gesendet.If cluster_log_conf is specified, init script logs are sent to
<destination>/<cluster-ID>/init_scripts.<destination>/<cluster-ID>/init_scripts.
docker_imagedocker_image DockerimageDockerImage Docker-Image für einen benutzerdefinierten Container.Docker image for a custom container.
spark_env_varsspark_env_vars SparkenvpairSparkEnvPair Ein-Objekt, das einen Satz optionaler, benutzerdefinierte Umgebungsvariablen-Schlüssel-Wert-Paare enthält.An object containing a set of optional, user-specified environment variable key-value pairs. Schlüssel-Wert-Paare in der Form (X, Y) werden unverändert exportiert (d. h.Key-value pairs of the form (X,Y) are exported as is (that is,
export X='Y') beim Starten des Treibers und der Worker.export X='Y') while launching the driver and workers.

Um einen zusätzlichen Satz von anzugeben SPARK_DAEMON_JAVA_OPTS , empfiehlt es sich, diese an zu anhängen, $SPARK_DAEMON_JAVA_OPTS wie im folgenden Beispiel gezeigt.To specify an additional set of SPARK_DAEMON_JAVA_OPTS, we recommend appending them to $SPARK_DAEMON_JAVA_OPTS as shown in the following example. Dadurch wird sichergestellt, dass alle standardmäßigen von databricks verwalteten Umgebungsvariablen ebenfalls eingeschlossen werden.This ensures that all default databricks managed environmental variables are included as well.

Beispiel für Spark-Umgebungsvariablen:Example Spark environment variables:
{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} oder{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} or
{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
autotermination_minutesautotermination_minutes INT32 Beendet den Cluster automatisch, nachdem er für diese Zeit in Minuten inaktiv ist.Automatically terminates the cluster after it is inactive for this time in minutes. Wenn nicht festgelegt, wird dieser Cluster nicht automatisch beendet.If not set, this cluster will not be automatically terminated. Wenn angegeben, muss der Schwellenwert zwischen 10 und 10000 Minuten liegen.If specified, the threshold must be between 10 and 10000 minutes. Sie können diesen Wert auch auf 0 festlegen, um die automatische Beendigung explizit zu deaktivieren.You can also set this value to 0 to explicitly disable automatic termination.
enable_elastic_diskenable_elastic_disk BOOL Automatische Skalierung des lokalen Speichers: Wenn diese Option aktiviert ist, erhält dieser Cluster dynamisch zusätzlichen Speicherplatz, wenn seine Spark-Worker wenig Speicherplatz auf dem Datenträger verfügbar sind.Autoscaling Local Storage: when enabled, this cluster will dynamically acquire additional disk space when its Spark workers are running low on disk space. Weitere Informationen finden Sie unter Automatische Skalierung des lokalen Speichers .See Autoscaling local storage for details.
instance_pool_idinstance_pool_id STRING Die optionale ID des instanzpools, zu dem der Cluster gehört.The optional ID of the instance pool to which the cluster belongs. Weitere Informationen finden Sie in den Pools .Refer to Pools for details.
statestate ClusterstateClusterState Der Status des Clusters.State of the cluster.
state_messagestate_message STRING Eine Meldung, die mit dem letzten Zustandsübergang verknüpft ist (z. b. der Grund, warum der Cluster in einen Status eingetreten ist TERMINATED ).A message associated with the most recent state transition (for example, the reason why the cluster entered a TERMINATED state).
start_timestart_time INT64 Zeit (in Epochen Millisekunden), zu der die Anforderung zum Erstellen des Clusters empfangen wurde (bei einem Zustand des Clusters PENDING ).Time (in epoch milliseconds) when the cluster creation request was received (when the cluster entered a PENDING state).
terminated_timeterminated_time INT64 Zeit (in Epochen Millisekunden), zu der der Cluster beendet wurde (falls zutreffend).Time (in epoch milliseconds) when the cluster was terminated, if applicable.
last_state_loss_timelast_state_loss_time INT64 Zeitpunkt, zu dem der Cluster Treiber seinen Status zuletzt verloren hat (aufgrund eines Neustarts oder Treiber Fehlers).Time when the cluster driver last lost its state (due to a restart or driver failure).
last_activity_timelast_activity_time INT64 Zeit (in Epochen Millisekunden), zu der der Cluster zuletzt aktiv war.Time (in epoch milliseconds) when the cluster was last active. Ein Cluster ist aktiv, wenn mindestens ein Befehl vorhanden ist, der nicht auf dem Cluster abgeschlossen wurde.A cluster is active if there is at least one command that has not finished on the cluster. Dieses Feld ist verfügbar, nachdem der Cluster einen Status erreicht hat RUNNING .This field is available after the cluster has reached a RUNNING state. Updates für dieses Feld werden als bestmögliche Versuche durchgeführt.Updates to this field are made as best-effort attempts. Bestimmte Versionen von Spark unterstützen nicht die Berichterstellung von Cluster Aktivitäten.Certain versions of Spark do not support reporting of cluster activity. Weitere Informationen finden Sie unter automatische Beendigung .Refer to Automatic termination for details.
cluster_memory_mbcluster_memory_mb INT64 Gesamtmenge des Cluster Speichers in Megabyte.Total amount of cluster memory, in megabytes.
cluster_corescluster_cores FLOAT Anzahl der CPU-Kerne, die für diesen Cluster verfügbar sind.Number of CPU cores available for this cluster. Dies kann ein Bruchteil sein, da bestimmte Knoten Typen für die gemeinsame Nutzung von Kernen zwischen Spark-Knoten in derselben Instanz konfiguriert sind.This can be fractional since certain node types are configured to share cores between Spark nodes on the same instance.
default_tagsdefault_tags ClustertagClusterTag Ein-Objekt, das einen Satz von Tags enthält, die von Azure Databricks unabhängig von custom_tags hinzugefügt werden, einschließlich:An object containing a set of tags that are added by Azure Databricks regardless of any custom_tags, including:

* Hersteller: databricks* Vendor: Databricks
* Ersteller: * Creator:
* Cluster Name: * ClusterName:
* Clusterid: * ClusterId:
* Name: in Auftrags Clustern:* Name: On job clusters:

* Runname: * RunName:
* JobID: * JobId:
cluster_log_statuscluster_log_status LogsyncstatusLogSyncStatus Status der Cluster Protokoll Übermittlung.Cluster log delivery status.
termination_reasontermination_reason TerminationreasonTerminationReason Informationen dazu, warum der Cluster beendet wurde.Information about why the cluster was terminated. Dieses Feld wird nur angezeigt, wenn sich der Cluster TERMINATING im TERMINATED Zustand oder befindet.This field only appears when the cluster is in a TERMINATING or TERMINATED state.

Clusterevent ClusterEvent

Cluster Ereignis Informationen.Cluster event information.

FeldnameField Name typeType BESCHREIBUNGDescription
cluster_idcluster_id STRING Kanonischer Bezeichner für den Cluster.Canonical identifier for the cluster. Dieses Feld ist erforderlich.This field is required.
timestamptimestamp INT64 Der Zeitstempel, zu dem das Ereignis aufgetreten ist, gespeichert als die Anzahl der Millisekunden seit der UNIX-Epoche.The timestamp when the event occurred, stored as the number of milliseconds since the unix epoch. Wird vom Zeitachsen Dienst zugewiesen.Assigned by the Timeline service.
typetype ClustereventtypeClusterEventType Der Ereignistyp.The event type. Dieses Feld ist erforderlich.This field is required.
Detailsdetails EventdetailsEventDetails Die Ereignis Details.The event details. Dieses Feld ist erforderlich.This field is required.

Clustereventtype ClusterEventType

Der Typ eines Cluster Ereignisses.Type of a cluster event.

EreignistypEvent Type BESCHREIBUNGDescription
SchufenCREATING Gibt an, dass der Cluster erstellt wird.Indicates that the cluster is being created.
DID_NOT_EXPAND_DISKDID_NOT_EXPAND_DISK Gibt an, dass der Speicherplatz auf einem Datenträger gering ist, aber durch Hinzufügen von Datenträgern wird die maximale Kapazität überbelegt.Indicates that a disk is low on space, but adding disks would put it over the max capacity.
EXPANDED_DISKEXPANDED_DISK Gibt an, dass der Speicherplatz auf einem Datenträger gering war und die Datenträger erweitert wurden.Indicates that a disk was low on space and the disks were expanded.
FAILED_TO_EXPAND_DISKFAILED_TO_EXPAND_DISK Gibt an, dass der Speicherplatz auf einem Datenträger gering war und der Speicherplatz nicht erweitert werden konnte.Indicates that a disk was low on space and disk space could not be expanded.
INIT_SCRIPTS_STARTINGINIT_SCRIPTS_STARTING Gibt an, dass das mit dem Cluster zusammengestellte init-Skript gestartet wurde.Indicates that the cluster scoped init script has started.
INIT_SCRIPTS_FINISHEDINIT_SCRIPTS_FINISHED Gibt an, dass das Cluster bezogene init-Skript abgeschlossen wurde.Indicates that the cluster scoped init script has finished.
WIRD GESTARTETSTARTING Gibt an, dass der Cluster gestartet wird.Indicates that the cluster is being started.
NeustartRESTARTING Gibt an, dass der Cluster gestartet wird.Indicates that the cluster is being started.
PfeiTERMINATING Gibt an, dass der Cluster beendet wird.Indicates that the cluster is being terminated.
BearbeitetEDITED Gibt an, dass der Cluster bearbeitet wurde.Indicates that the cluster has been edited.
RUNNINGRUNNING Gibt an, dass die Erstellung des Clusters abgeschlossen ist.Indicates the cluster has finished being created. Enthält die Anzahl der Knoten im Cluster und einen Fehler, wenn einige Knoten nicht abgerufen werden konnten.Includes the number of nodes in the cluster and a failure reason if some nodes could not be acquired.
GrößeRESIZING Gibt eine Änderung der Zielgröße des Clusters an (Upsize oder Downsize).Indicates a change in the target size of the cluster (upsize or downsize).
UPSIZE_COMPLETEDUPSIZE_COMPLETED Gibt an, dass die Knoten dem Cluster hinzugefügt wurden.Indicates that nodes finished being added to the cluster. Enthält die Anzahl der Knoten im Cluster und einen Fehler, wenn einige Knoten nicht abgerufen werden konnten.Includes the number of nodes in the cluster and a failure reason if some nodes could not be acquired.
NODES_LOSTNODES_LOST Gibt an, dass einige Knoten aus dem Cluster verloren gegangen sind.Indicates that some nodes were lost from the cluster.
DRIVER_HEALTHYDRIVER_HEALTHY Gibt an, dass der Treiber fehlerfrei ist und der Cluster einsatzbereit ist.Indicates that the driver is healthy and the cluster is ready for use.
DRIVER_UNAVAILABLEDRIVER_UNAVAILABLE Gibt an, dass der Treiber nicht verfügbar ist.Indicates that the driver is unavailable.
SPARK_EXCEPTIONSPARK_EXCEPTION Gibt an, dass vom Treiber eine Spark-Ausnahme ausgelöst wurde.Indicates that a Spark exception was thrown from the driver.
DRIVER_NOT_RESPONDINGDRIVER_NOT_RESPONDING Gibt an, dass der Treiber betriebsfähig ist, aber aufgrund der GC wahrscheinlich nicht reaktionsfähig ist.Indicates that the driver is up but is not responsive, likely due to GC.
DBFS_DOWNDBFS_DOWN Gibt an, dass der Treiber aktiv ist, aber dBFS nicht aktiv ist.Indicates that the driver is up but DBFS is down.
METASTORE_DOWNMETASTORE_DOWN Gibt an, dass der Treiber betriebsbereit ist, der metastore jedoch nicht aktiv ist.Indicates that the driver is up but the metastore is down.
NODE_BLACKLISTEDNODE_BLACKLISTED Gibt an, dass ein Knoten von Spark nicht zugelassen wird.Indicates that a node is not allowed by Spark.
AngeheftetPINNED Gibt an, dass der Cluster angeheftet wurde.Indicates that the cluster was pinned.
GelöstUNPINNED Gibt an, dass der Cluster gelöst wurde.Indicates that the cluster was unpinned.

Eventdetails EventDetails

Details zu einem Cluster Ereignis.Details about a cluster event.

FeldnameField Name typeType BESCHREIBUNGDescription
current_num_workerscurrent_num_workers INT32 Die Anzahl der Knoten im Cluster.The number of nodes in the cluster.
target_num_workerstarget_num_workers INT32 Die Ziel Anzahl der Knoten im Cluster.The targeted number of nodes in the cluster.
previous_attributesprevious_attributes ClusterattributeClusterAttributes Die Cluster Attribute vor dem Bearbeiten eines Clusters.The cluster attributes before a cluster was edited.
attributesattributes ClusterattributeClusterAttributes * Für erstellte Cluster die Attribute des Clusters.* For created clusters, the attributes of the cluster.
* Für bearbeitete Cluster die neuen Attribute des Clusters.* For edited clusters, the new attributes of the cluster.
previous_cluster_sizeprevious_cluster_size Cluster sizeClusterSize Die Größe des Clusters vor dem Bearbeiten oder Ändern der Größe.The size of the cluster before an edit or resize.
cluster_sizecluster_size Cluster sizeClusterSize Die Clustergröße, die bei der Cluster Erstellung oder-Bearbeitung festgelegt wurde.The cluster size that was set in the cluster creation or edit.
zufügencause ResizecauseResizeCause Die Ursache einer Änderung der Zielgröße.The cause of a change in target size.
reasonreason TerminationreasonTerminationReason Grund für die Beendigung:A termination reason:

* Bei einem- TERMINATED Ereignis der Grund für die Beendigung.* On a TERMINATED event, the reason for the termination.
* Gibt bei einem- RESIZE_COMPLETE Ereignis den Grund an, warum einige Knoten nicht abgerufen werden konnten.* On a RESIZE_COMPLETE event, indicates the reason that we failed to acquire some nodes.
useruser STRING Der Benutzer, der das Ereignis ausgelöst hat.The user that caused the event to occur. (Leer, wenn dies Azure Databricks ist.)(Empty if it was done by Azure Databricks.)

Clusterattribute ClusterAttributes

Allgemeine Gruppe von Attributen, die während der Cluster Erstellung festgelegt werden.Common set of attributes set during cluster creation. Diese Attribute können während der Lebensdauer eines Clusters nicht geändert werden.These attributes cannot be changed over the lifetime of a cluster.

FeldnameField Name typeType BESCHREIBUNGDescription
cluster_namecluster_name STRING Der vom Benutzer angeforderte Cluster Name.Cluster name requested by the user. Dies muss nicht eindeutig sein.This doesn’t have to be unique. Wenn bei der Erstellung nicht angegeben, ist der Cluster Name eine leere Zeichenfolge.If not specified at creation, the cluster name will be an empty string.
spark_versionspark_version STRING Die Laufzeitversion des Clusters, z. b. "5.0. x-Scala 2.11".The runtime version of the cluster, for example “5.0.x-scala2.11”. Sie können eine Liste der verfügbaren Lauf Zeit Versionen mit dem API-Befehl Runtime-Versionen abrufen.You can retrieve a list of available runtime versions by using the Runtime versions API call.
spark_confspark_conf SparkconfpairSparkConfPair Ein-Objekt, das einen Satz optionaler, benutzerdefinierte Spark-Konfigurationsschlüssel-Wert-Paare enthält.An object containing a set of optional, user-specified Spark configuration key-value pairs. Sie können auch eine Zeichenfolge zusätzlicher JVM-Optionen an den Treiber und die Executors übergeben, indem SieYou can also pass in a string of extra JVM options to the driver and the executors via
spark.driver.extraJavaOptions````spark.executor.extraJavaOptionsbzw.spark.driver.extraJavaOptions and spark.executor.extraJavaOptions respectively.

Beispiel für Spark-Verbund:Example Spark confs:
{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} oder{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} or
{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}
node_type_idnode_type_id STRING Dieses Feld codiert mithilfe eines einzigen Werts die Ressourcen, die jedem der Spark-Knoten in diesem Cluster zur Verfügung stehen.This field encodes, through a single value, the resources available to each of the Spark nodes in this cluster. Beispielsweise können die Spark-Knoten bereitgestellt und für Arbeitsspeicher-oder rechenintensive Arbeits Auslastungen optimiert werden. eine Liste der verfügbaren Knoten Typen kann mithilfe des API-aufrufyps List Node Types abgerufen werden.For example, the Spark nodes can be provisioned and optimized for memory or compute intensive workloads A list of available node types can be retrieved by using the List node types API call.
driver_node_type_iddriver_node_type_id STRING Der Knotentyp des Spark-Treibers.The node type of the Spark driver. Dieses Feld ist optional. Wenn die Einstellung nicht festgelegt ist, wird der Treiber Knotentyp als der node_type_id oben definierte Wert festgelegt.This field is optional; if unset, the driver node type will be set as the same value as node_type_id defined above.
ssh_public_keysssh_public_keys Ein Array von STRINGAn array of STRING Inhalt des öffentlichen SSH-Schlüssels, der jedem Spark-Knoten in diesem Cluster hinzugefügt wird.SSH public key contents that will be added to each Spark node in this cluster. Die entsprechenden privaten Schlüssel können verwendet werden, um sich mit dem Benutzernamen ubuntu auf dem Port anzumelden 2200 .The corresponding private keys can be used to login with the user name ubuntu on port 2200. Es können bis zu 10 Schlüssel angegeben werden.Up to 10 keys can be specified.
custom_tagscustom_tags ClustertagClusterTag Ein-Objekt, das einen Satz von Tags für Cluster Ressourcen enthält.An object containing a set of tags for cluster resources. Databricks markiert zusätzlich zu den default_tags alle Cluster Ressourcen mit diesen Tags.Databricks tags all cluster resources with these tags in addition to default_tags.

Hinweis:Note:

* Tags werden für Legacy Knoten Typen, z. b. Compute-optimierte und Speicher optimierte, nicht unterstützt.* Tags are not supported on legacy node types such as compute-optimized and memory-optimized
* Databricks ermöglicht höchstens 45 benutzerdefinierte Tags.* Databricks allows at most 45 custom tags
cluster_log_confcluster_log_conf ClusterlogconfClusterLogConf Die Konfiguration für die Übermittlung von Spark-Protokollen an ein langfristiges Speicher Ziel.The configuration for delivering Spark logs to a long-term storage destination. Für einen Cluster kann nur ein Ziel angegeben werden.Only one destination can be specified for one cluster. Wenn die conf angegeben wird, werden die Protokolle alle an das Ziel übermittelt.If the conf is given, the logs will be delivered to the destination every
5 mins.5 mins. Das Ziel der Treiber Protokolle ist <destination>/<cluster-ID>/driver , während das Ziel der Executor-Protokolle ist <destination>/<cluster-ID>/executor .The destination of driver logs is <destination>/<cluster-ID>/driver, while the destination of executor logs is <destination>/<cluster-ID>/executor.
init_scriptsinit_scripts Ein Array von initscriptinfoAn array of InitScriptInfo Die Konfiguration zum Speichern von Init-Skripts.The configuration for storing init scripts. Es können beliebig viele Ziele angegeben werden.Any number of destinations can be specified. Die Skripts werden sequenziell in der angegebenen Reihenfolge ausgeführt.The scripts are executed sequentially in the order provided. Wenn cluster_log_conf angegeben wird, werden Init-Skript Protokolle an gesendet.If cluster_log_conf is specified, init script logs are sent to
<destination>/<cluster-ID>/init_scripts.<destination>/<cluster-ID>/init_scripts.
docker_imagedocker_image DockerimageDockerImage Docker-Image für einen benutzerdefinierten Container.Docker image for a custom container.
spark_env_varsspark_env_vars SparkenvpairSparkEnvPair Ein-Objekt, das einen Satz optionaler, benutzerdefinierte Umgebungsvariablen-Schlüssel-Wert-Paare enthält.An object containing a set of optional, user-specified environment variable key-value pairs. Schlüssel-Wert-Paare in der Form (X, Y) werden unverändert exportiert (d. h.Key-value pairs of the form (X,Y) are exported as is (that is,
export X='Y') beim Starten des Treibers und der Worker.export X='Y') while launching the driver and workers.

Um einen zusätzlichen Satz von anzugeben SPARK_DAEMON_JAVA_OPTS , empfiehlt es sich, diese an zu anhängen, $SPARK_DAEMON_JAVA_OPTS wie im folgenden Beispiel gezeigt.In order to specify an additional set of SPARK_DAEMON_JAVA_OPTS, we recommend appending them to $SPARK_DAEMON_JAVA_OPTS as shown in the following example. Dadurch wird sichergestellt, dass alle standardmäßigen von databricks verwalteten Umgebungsvariablen ebenfalls eingeschlossen werden.This ensures that all default databricks managed environmental variables are included as well.

Beispiel für Spark-Umgebungsvariablen:Example Spark environment variables:
{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} oder{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} or
{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
autotermination_minutesautotermination_minutes INT32 Beendet den Cluster automatisch, nachdem er für diese Zeit in Minuten inaktiv ist.Automatically terminates the cluster after it is inactive for this time in minutes. Wenn nicht festgelegt, wird dieser Cluster nicht automatisch beendet.If not set, this cluster will not be automatically terminated. Wenn angegeben, muss der Schwellenwert zwischen 10 und 10000 Minuten liegen.If specified, the threshold must be between 10 and 10000 minutes. Sie können diesen Wert auch auf 0 festlegen, um die automatische Beendigung explizit zu deaktivieren.You can also set this value to 0 to explicitly disable automatic termination.
enable_elastic_diskenable_elastic_disk BOOL Automatische Skalierung des lokalen Speichers: Wenn diese Option aktiviert ist, erhält dieser Cluster dynamisch zusätzlichen Speicherplatz, wenn seine Spark-Worker wenig Speicherplatz auf dem Datenträger verfügbar sind.Autoscaling Local Storage: when enabled, this cluster will dynamically acquire additional disk space when its Spark workers are running low on disk space. Weitere Informationen finden Sie unter Automatische Skalierung des lokalen Speichers .See Autoscaling local storage for details.
instance_pool_idinstance_pool_id STRING Die optionale ID des instanzpools, zu dem der Cluster gehört.The optional ID of the instance pool to which the cluster belongs. Weitere Informationen finden Sie in den Pools .Refer to Pools for details.
cluster_sourcecluster_source ClustersourceClusterSource Bestimmt, ob der Cluster von einem Benutzer über die Benutzeroberfläche erstellt, vom databricks-Auftrags Planer oder über eine API-Anforderung erstellt wurde.Determines whether the cluster was created by a user through the UI, created by the Databricks Jobs scheduler, or through an API request.
policy_idpolicy_id STRING Eine Cluster Richtlinien -ID.A cluster policy ID.

Clustersize ClusterSize

Angabe der Cluster Größe.Cluster size specification.

FeldnameField Name typeType BESCHREIBUNGDescription
num_workers oder automatische Skalierungnum_workers OR autoscale INT32 Oder automatisch skalierenINT32 OR AutoScale Wenn num_workers, die Anzahl der workerknoten, die dieser Cluster aufweisen sollte.If num_workers, number of worker nodes that this cluster should have. Ein Cluster verfügt über einen Spark-Treiber und num_workers Executors für insgesamt num_workers + 1 Spark-Knoten.A cluster has one Spark driver and num_workers executors for a total of num_workers + 1 Spark nodes.

Wenn Sie die Eigenschaften eines Clusters lesen, gibt dieses Feld die gewünschte Anzahl von Workern anstelle der tatsächlichen Anzahl von Workern an.When reading the properties of a cluster, this field reflects the desired number of workers rather than the actual number of workers. Wenn beispielsweise die Größe eines Clusters von 5 auf 10 Worker geändert wird, wird dieses Feld so aktualisiert, dass es die Zielgröße von 10 Arbeitsthreads widerspiegelt, während die in executoren aufgeführten Worker allmählich von 5 auf 10 erhöht werden, wenn die neuen Knoten bereitgestellt werden.For instance, if a cluster is resized from 5 to 10 workers, this field is updated to reflect the target size of 10 workers, whereas the workers listed in executors gradually increase from 5 to 10 as the new nodes are provisioned.

Wenn die automatische Skalierung erforderlich ist, werden für die automatische Skalierung von Clustern basierend auf der Auslastung Parameter benötigt.If autoscale, parameters needed in order to automatically scale clusters up and down based on load.

Listorder ListOrder

Generische Anordnungs Enumeration für Listen basierte Abfragen.Generic ordering enum for list-based queries.

OrderOrder BESCHREIBUNGDescription
DESCDESC Absteigender Reihenfolge.Descending order.
ASCASC Aufsteigende Reihenfolge.Ascending order.

Resizecause ResizeCause

Der Grund für die Größenänderung eines Clusters.Reason why a cluster was resized.

UrsacheCause BESCHREIBUNGDescription
Automatische SkalierungAUTOSCALE Automatische Größenänderung basierend auf der Auslastung.Automatically resized based on load.
USER_REQUESTUSER_REQUEST Der Benutzer hat eine neue Größe angefordert.User requested a new size.
DatenbanksnapshotsAUTORECOVERY Der AutoRecovery-Monitor hat die Größe des Clusters geändert, nachdem ein Knoten verloren gegangen ist.Autorecovery monitor resized the cluster after it lost a node.

Clusterlogconf ClusterLogConf

Pfad zum Cluster Protokoll.Path to cluster log.

FeldnameField Name typeType BESCHREIBUNGDescription
dbfsdbfs DbfsstorageingefoDbfsStorageInfo Der dBFS-Speicherort des Cluster Protokolls.DBFS location of cluster log. Das Ziel muss angegeben werden.Destination must be provided. Beispiel:For example,
{ "dbfs" : { "destination" : "dbfs:/home/cluster_log" } }

Initscriptinfo InitScriptInfo

Der Pfad zu einem Init-Skript.Path to an init script. Anweisungen zur Verwendung von Init-Skripts mit databricks-Container Dienstenfinden Sie unter Verwenden eines Init-Skripts.For instructions on using init scripts with Databricks Container Services, see Use an init script.

Hinweis

Der Datei Speichertyp ist nur für Cluster verfügbar, die mithilfe der databricks-Container Diensteeingerichtet wurden.The file storage type is only available for clusters set up using Databricks Container Services.

FeldnameField Name typeType BESCHREIBUNGDescription
DBFS oder Dateidbfs OR file DbfsstorageingefoDbfsStorageInfo

FilestorageingefoFileStorageInfo
Der dBFS-Speicherort des Init-Skripts.DBFS location of init script. Das Ziel muss angegeben werden.Destination must be provided. Beispiel:For example,
{ "dbfs" : { "destination" : "dbfs:/home/init_script" } }

Datei Speicherort des Init-Skripts.File location of init script. Das Ziel muss angegeben werden.Destination must be provided. Beispiel:For example,
{ "file" : { "destination" : "file:/my/local/file.sh" } }

Clustertag ClusterTag

Tagdefinition des Clusters.Cluster tag definition.

TypType BESCHREIBUNGDescription
STRING Der Schlüssel des Tags.The key of the tag. Der Schlüssel muss Folgendes sein:The key must:

* Zwischen 1 und 512 Zeichen lang sein* Be between 1 and 512 characters long
* Keines der Zeichen enthalten. <>%*&+?\\/* Not contain any of the characters <>%*&+?\\/
* Nicht mit azure , microsoft oder beginnen windows* Not begin with azure, microsoft, or windows
STRING Der Wert des Tags.The value of the tag. Die Länge des Werts muss kleiner oder gleich 256 UTF-8-Zeichen sein.The value length must be less than or equal to 256 UTF-8 characters.

Dbfsstorageingefo DbfsStorageInfo

DBFS-Speicherinformationen.DBFS storage information.

FeldnameField Name typeType BESCHREIBUNGDescription
destinationdestination STRING Das dBFS-Ziel.DBFS destination. Beispiel: dbfs:/my/pathExample: dbfs:/my/path

Filestorageingefo FileStorageInfo

Dateispeicher Informationen.File storage information.

Hinweis

Dieser Installationstyp ist nur für Cluster verfügbar, die mithilfe von databricks-Container Diensteneingerichtet wurden.This location type is only available for clusters set up using Databricks Container Services.

FeldnameField Name typeType BESCHREIBUNGDescription
destinationdestination STRING Dateiziel.File destination. Beispiel: file:/my/file.shExample: file:/my/file.sh

DockerimageDockerImage

Verbindungsinformationen zum docker-Image.Docker image connection information.

FeldField TypType BeschreibungDescription
urlurl Zeichenfolgestring Die URL für das docker-Image.URL for the Docker image.
basic_authbasic_auth DockerbasicauthDockerBasicAuth Grundlegende Authentifizierungsinformationen für das docker-Repository.Basic authentication information for Docker repository.

DockerbasicauthDockerBasicAuth

Grundlegende Authentifizierungsinformationen für das docker-Repository.Docker repository basic authentication information.

FeldField BESCHREIBUNGDescription
usernameusername Benutzername für das docker-Repository.User name for the Docker repository.
passwordpassword Kennwort für das docker-Repository.Password for the Docker repository.

Logsyncstatus LogSyncStatus

Status der Protokoll Übermittlung.Log delivery status.

FeldnameField Name typeType BESCHREIBUNGDescription
last_attemptedlast_attempted INT64 Der Zeitstempel des letzten Versuchs.The timestamp of last attempt. Wenn der letzte Versuch fehlschlägt, enthält last_exception die Ausnahme im letzten Versuch.If the last attempt fails, last_exception contains the exception in the last attempt.
last_exceptionlast_exception STRING Die Ausnahme, die beim letzten Versuch ausgelöst wurde, wäre NULL (in der Antwort ausgelassen), wenn beim letzten Versuch keine Ausnahme aufgetreten ist.The exception thrown in the last attempt, it would be null (omitted in the response) if there is no exception in last attempted.

NodeType NodeType

Beschreibung eines Spark-Knoten Typs, einschließlich der Dimensionen des Knotens und des Instanztyps, auf dem er gehostet wird.Description of a Spark node type including both the dimensions of the node and the instance type on which it will be hosted.

FeldnameField Name typeType BESCHREIBUNGDescription
node_type_idnode_type_id STRING Eindeutiger Bezeichner für diesen Knotentyp.Unique identifier for this node type. Dieses Feld ist erforderlich.This field is required.
memory_mbmemory_mb INT32 Der für diesen Knotentyp verfügbare Arbeitsspeicher (in MB).Memory (in MB) available for this node type. Dieses Feld ist erforderlich.This field is required.
num_coresnum_cores FLOAT Anzahl der verfügbaren CPU-Kerne für diesen Knotentyp.Number of CPU cores available for this node type. Dies kann eine Bruch Zahl sein, wenn die Anzahl der Kerne auf einer Computer Instanz nicht durch die Anzahl der Spark-Knoten auf diesem Computer unterschieden wird.This can be fractional if the the number of cores on a machine instance is not divisible by the number of Spark nodes on that machine. Dieses Feld ist erforderlich.This field is required.
descriptiondescription STRING Eine Zeichen folgen Beschreibung, die diesem Knotentyp zugeordnet ist.A string description associated with this node type. Dieses Feld ist erforderlich.This field is required.
instance_type_idinstance_type_id STRING Ein Bezeichner für den Typ der Hardware, auf der dieser Knoten ausgeführt wird.An identifier for the type of hardware that this node runs on. Dieses Feld ist erforderlich.This field is required.
is_deprecatedis_deprecated BOOL Gibt an, ob der Knotentyp veraltet ist.Whether the node type is deprecated. Nicht veraltete Knoten Typen bieten eine höhere Leistung.Non-deprecated node types offer greater performance.
node_infonode_info ClustercloudprovidernodeinfoClusterCloudProviderNodeInfo Knotentyp Informationen, die vom cloudanbieter gemeldet werden.Node type info reported by the cloud provider.

ClustercloudprovidernodeinfoClusterCloudProviderNodeInfo

Informationen zu einer Instanz, die von einem cloudanbieter bereitgestellt wird.Information about an instance supplied by a cloud provider.

FeldnameField Name typeType BESCHREIBUNGDescription
statusstatus ClustercloudprovidernodestatusClusterCloudProviderNodeStatus Der vom cloudanbieter gemeldete Status.Status as reported by the cloud provider.
available_core_quotaavailable_core_quota INT32 Verfügbares CPU-Kern Kontingent.Available CPU core quota.
total_core_quotatotal_core_quota INT32 Gesamt-CPU-Kern Kontingent.Total CPU core quota.

ClustercloudprovidernodestatusClusterCloudProviderNodeStatus

Status einer-Instanz, die von einem cloudanbieter bereitgestellt wird.Status of an instance supplied by a cloud provider.

StatusStatus BESCHREIBUNGDescription
"Notenabledonabonnement"NotEnabledOnSubscription Der Knotentyp ist für das Abonnement nicht verfügbar.Node type not available for subscription.
NotavailableinregionNotAvailableInRegion Der Knotentyp ist in der Region nicht verfügbar.Node type not available in region.

Parameterpair ParameterPair

-Parameter, der zusätzliche Informationen über den Grund für das Beenden eines Clusters bereitstellt.Parameter that provides additional information about why a cluster was terminated.

TypType BESCHREIBUNGDescription
TerminationparameterTerminationParameter Der Typ der Beendigungs Informationen.Type of termination information.
STRING Die Beendigungs Informationen.The termination information.

Sparkconfpair SparkConfPair

Schlüssel-Wert-Paare der Spark-Konfiguration.Spark configuration key-value pairs.

TypType BESCHREIBUNGDescription
STRING Ein Konfigurations Eigenschaftsname.A configuration property name.
STRING Der Konfigurations Eigenschafts Wert.The configuration property value.

Sparkenvpair SparkEnvPair

Schlüssel-Wert-Paare der Spark-Umgebungsvariablen.Spark environment variable key-value pairs.

Wichtig

Beim Angeben von Umgebungsvariablen in einem Auftrags Cluster akzeptieren die Felder in dieser Datenstruktur ausschließlich lateinische Zeichen (ASCII-Zeichensatz).When specifying environment variables in a job cluster, the fields in this data structure accept only Latin characters (ASCII character set). Wenn Sie nicht-ASCII-Zeichen verwenden, wird ein Fehler zurückgegeben.Using non-ASCII characters will return an error. Beispiele für ungültige, nicht-ASCII-Zeichen sind Chinesisch, Japanisch Kanjis und Emojis.Examples of invalid, non-ASCII characters are Chinese, Japanese kanjis, and emojis.

TypType BESCHREIBUNGDescription
STRING Ein Umgebungsvariablen Name.An environment variable name.
STRING Der Umgebungsvariablen Wert.The environment variable value.

Sparknode SparkNode

Spark-Treiber-oder Executor-Konfiguration.Spark driver or executor configuration.

FeldnameField Name typeType BESCHREIBUNGDescription
private_ipprivate_ip STRING Private IP-Adresse (in der Regel eine 10. x. x. x-Adresse) des Spark-Knotens.Private IP address (typically a 10.x.x.x address) of the Spark node. Dies unterscheidet sich von der privaten IP-Adresse der Host Instanz.This is different from the private IP address of the host instance.
public_dnspublic_dns STRING Öffentliche DNS-Adresse dieses Knotens.Public DNS address of this node. Diese Adresse kann für den Zugriff auf den Spark-JDBC-Server auf dem Treiber Knoten verwendet werden.This address can be used to access the Spark JDBC server on the driver node.
node_idnode_id STRING Global eindeutiger Bezeichner für diesen Knoten.Globally unique identifier for this node.
instance_idinstance_id STRING Global eindeutiger Bezeichner für die Host Instanz vom cloudanbieter.Globally unique identifier for the host instance from the cloud provider.
start_timestampstart_timestamp INT64 Der Zeitstempel (in Millisekunden), wenn der Spark-Knoten gestartet wird.The timestamp (in millisecond) when the Spark node is launched.
host_private_iphost_private_ip STRING Die private IP-Adresse der Host Instanz.The private IP address of the host instance.

Sparkversion SparkVersion

Databricks Runtime Version des Clusters.Databricks Runtime version of the cluster.

FeldnameField Name typeType BESCHREIBUNGDescription
Schlüsselkey STRING Databricks Runtime Versions Schlüssel, z 7.3.x-scala2.12 . b..Databricks Runtime version key, for example 7.3.x-scala2.12. Der Wert, der spark_version beim Erstellen eines neuen Clusters als bereitgestellt werden soll.The value that should be provided as the spark_version when creating a new cluster. Die genaue Laufzeitversion kann sich im Laufe der Zeit für eine "Platzhalter"-Version (d. h. 7.3.x-scala2.12 eine "Platzhalter Version") mit geringfügigen Fehlerbehebungen ändern.The exact runtime version may change over time for a “wildcard” version (that is, 7.3.x-scala2.12 is a “wildcard” version) with minor bug fixes.
Namename STRING Ein beschreibender Name für die Laufzeitversion, z. b. "Databricks Runtime 7,3 LTS".A descriptive name for the runtime version, for example “Databricks Runtime 7.3 LTS”.

Terminationreason TerminationReason

Der Grund, warum ein Cluster beendet wurde.Reason why a cluster was terminated.

FeldnameField Name typeType BESCHREIBUNGDescription
codecode TerminationcodeTerminationCode Status Code, der angibt, warum ein Cluster beendet wurde.Status code indicating why a cluster was terminated.
typetype TerminationtypeTerminationType Grund, der angibt, warum ein Cluster beendet wurde.Reason indicating why a cluster was terminated.
parametersparameters ParameterpairParameterPair Objekt, das eine Reihe von Parametern enthält, die Informationen über den Grund für das Beenden eines Clusters bereitstellen.Object containing a set of parameters that provide information about why a cluster was terminated.

Poolclusterterminationcode PoolClusterTerminationCode

Status Code, der angibt, warum der Cluster aufgrund eines Pool Fehlers beendet wurde.Status code indicating why the cluster was terminated due to a pool failure.

CodeCode BESCHREIBUNGDescription
INSTANCE_POOL_MAX_CAPACITY_FAILUREINSTANCE_POOL_MAX_CAPACITY_FAILURE Die maximale Kapazität des Pools wurde erreicht.The pool max capacity has been reached.
INSTANCE_POOL_NOT_FOUND_FAILUREINSTANCE_POOL_NOT_FOUND_FAILURE Der vom Cluster angegebene Pool ist nicht mehr aktiv oder nicht vorhanden.The pool specified by the cluster is no longer active or doesn’t exist.

Clustersource ClusterSource

Dienst, von dem der Cluster erstellt wurde.Service that created the cluster.

DienstService BESCHREIBUNGDescription
BenutzeroberflächeUI Cluster, der über die Benutzeroberfläche erstellt wurde.Cluster created through the UI.
JOBJOB Der vom databricks-Auftrags Planer erstellte Cluster.Cluster created by the Databricks job scheduler.
APIAPI Cluster, der über einen API-Befehl erstellt wurde.Cluster created through an API call.

Clusterstate ClusterState

Status eines Clusters.State of a cluster. Die zulässigen Zustandsübergänge lauten wie folgt:The allowable state transitions are as follows:

  • PENDING -> RUNNING
  • PENDING -> TERMINATING
  • RUNNING -> RESIZING
  • RUNNING -> RESTARTING
  • RUNNING -> TERMINATING
  • RESTARTING -> RUNNING
  • RESTARTING -> TERMINATING
  • RESIZING -> RUNNING
  • RESIZING -> TERMINATING
  • TERMINATING -> TERMINATED
StateState BESCHREIBUNGDescription
PENDING Gibt an, dass ein Cluster gerade erstellt wird.Indicates that a cluster is in the process of being created.
RUNNING Gibt an, dass ein Cluster gestartet wurde und einsatzbereit ist.Indicates that a cluster has been started and is ready for use.
RESTARTING Gibt an, dass ein Cluster gerade neu gestartet wird.Indicates that a cluster is in the process of restarting.
RESIZING Gibt an, dass ein Cluster gerade Knoten hinzufügt oder entfernt.Indicates that a cluster is in the process of adding or removing nodes.
TERMINATING Gibt an, dass ein Cluster zerstört wird.Indicates that a cluster is in the process of being destroyed.
TERMINATED Gibt an, dass ein Cluster erfolgreich zerstört wurde.Indicates that a cluster has been successfully destroyed.
ERROR Dieser Zustand wird nicht mehr verwendet.This state is no longer used. Es wurde verwendet, um einen Cluster anzugeben, der nicht erstellt werden konnte.It was used to indicate a cluster that failed to be created.
TERMINATING und TERMINATED werden stattdessen verwendet.TERMINATING and TERMINATED are used instead.
UNKNOWN Gibt an, dass sich ein Cluster in einem unbekannten Zustand befindet.Indicates that a cluster is in an unknown state. Ein Cluster sollte sich niemals in diesem Zustand befinden.A cluster should never be in this state.

Terminationcode TerminationCode

Status Code, der angibt, warum der Cluster beendet wurde.Status code indicating why the cluster was terminated.

CodeCode BESCHREIBUNGDescription
USER_REQUESTUSER_REQUEST Ein Benutzer hat den Cluster direkt beendet.A user terminated the cluster directly. Parameter sollten ein username Feld enthalten, das den bestimmten Benutzer angibt, der den Cluster beendet hat.Parameters should include a username field that indicates the specific user who terminated the cluster.
JOB_FINISHEDJOB_FINISHED Der Cluster wurde von einem Auftrag gestartet und beendet, als der Auftrag abgeschlossen wurde.The cluster was launched by a job, and terminated when the job completed.
InaktivitätINACTIVITY Der Cluster wurde beendet, da er sich im Leerlauf befand.The cluster was terminated since it was idle.
CLOUD_PROVIDER_SHUTDOWNCLOUD_PROVIDER_SHUTDOWN Die Instanz, die den Spark-Treiber gehostet hat, wurde vom cloudanbieter beendet.The instance that hosted the Spark driver was terminated by the cloud provider.
COMMUNICATION_LOSTCOMMUNICATION_LOST Azure Databricks Verbindung mit Diensten auf der Treiber Instanz verloren.Azure Databricks lost connection to services on the driver instance. Dies kann beispielsweise der Fall sein, wenn Probleme in der cloudnetzwerkinfrastruktur auftreten oder wenn die Instanz selbst fehlerhaft wird.For example, this can happen when problems arise in cloud networking infrastructure, or when the instance itself becomes unhealthy.
CLOUD_PROVIDER_LAUNCH_FAILURECLOUD_PROVIDER_LAUNCH_FAILURE Beim Anfordern von Instanzen zum Starten von Clustern hat Azure Databricks einen Ausfall eines cloudanbieters erlebt.Azure Databricks experienced a cloud provider failure when requesting instances to launch clusters.
SPARK_STARTUP_FAILURESPARK_STARTUP_FAILURE Der Cluster konnte nicht initialisiert werden.The cluster failed to initialize. Mögliche Ursachen sind u. a. Fehler beim Erstellen der Umgebung für Spark oder Probleme beim Starten des Spark-Masters und der Arbeitsprozesse.Possible reasons may include failure to create the environment for Spark or issues launching the Spark master and worker processes.
INVALID_ARGUMENTINVALID_ARGUMENT Der Cluster kann nicht gestartet werden, da der Benutzer ein ungültiges Argument angegeben hat.Cannot launch the cluster because the user specified an invalid argument. Der Benutzer kann z. b. eine ungültige Laufzeitversion für den Cluster angeben.For example, the user might specify an invalid runtime version for the cluster.
UNEXPECTED_LAUNCH_FAILUREUNEXPECTED_LAUNCH_FAILURE Beim Starten dieses Clusters konnten Azure Databricks die kritischen Einrichtungsschritte nicht ausführen und den Cluster beenden.While launching this cluster, Azure Databricks failed to complete critical setup steps, terminating the cluster.
INTERNAL_ERRORINTERNAL_ERROR Unerwarteter Fehler bei Azure Databricks, der das Beenden des laufenden Clusters erzwungen hat.Azure Databricks encountered an unexpected error that forced the running cluster to be terminated. Weitere Informationen finden Sie unter Azure Databricks Support.Contact Azure Databricks support for additional details.
SPARK_ERRORSPARK_ERROR Der Spark-Treiber konnte nicht gestartet werden.The Spark driver failed to start. Mögliche Gründe hierfür sind nicht kompatible Bibliotheken und Initialisierungs Skripts, die den Spark-Container beschädigt haben.Possible reasons may include incompatible libraries and initialization scripts that corrupted the Spark container.
METASTORE_COMPONENT_UNHEALTHYMETASTORE_COMPONENT_UNHEALTHY Der Cluster konnte nicht gestartet werden, da der externe metastore nicht erreicht werden konnte.The cluster failed to start because the external metastore could not be reached. Informationen finden Sie unter ProblemBehandlung.Refer to Troubleshooting.
DBFS_COMPONENT_UNHEALTHYDBFS_COMPONENT_UNHEALTHY Der Cluster konnte nicht gestartet werden, da das databricks-Datei System (dBFS) nicht erreicht werden konnte.The cluster failed to start because Databricks File System (DBFS) could not be reached.
AZURE_RESOURCE_PROVIDER_THROTTLINGAZURE_RESOURCE_PROVIDER_THROTTLING Azure Databricks den Anforderungs Grenzwert für Azure-Ressourcenanbieter erreicht.Azure Databricks reached the Azure Resource Provider request limit. Insbesondere kann die API-Anforderungs Rate für den jeweiligen Ressourcentyp (Compute, Netzwerk usw.) den Grenzwert nicht überschreiten.Specifically, the API request rate to the specific resource type (compute, network, etc.) can’t exceed the limit. Eine Wiederholung kann helfen, das Problem zu beheben.Retry might help to resolve the issue. Weitere Informationen finden Sie unter https://docs.microsoft.com/azure/virtual-machines/troubleshooting/troubleshooting-throttling-errors .For further information, seehttps://docs.microsoft.com/azure/virtual-machines/troubleshooting/troubleshooting-throttling-errors.
AZURE_RESOURCE_MANAGER_THROTTLINGAZURE_RESOURCE_MANAGER_THROTTLING Azure Databricks das Limit für Azure Resource Manager Anforderungen erreicht haben. Dadurch wird verhindert, dass das Azure SDK Lese-oder Schreib Anforderungen an die Azure Resource Manager ausgibt.Azure Databricks reached the Azure Resource Manager request limit which will prevent the Azure SDK from issuing any read or write request to the Azure Resource Manager. Das Anforderungs Limit wird stündlich auf jedes Abonnement angewendet.The request limit is applied to each subscription every hour. Der Wiederholungsversuch nach einer Stunde oder das Ändern in eine kleinere Clustergröße kann helfen, das Problem zu beheben.Retry after an hour or changing to a smaller cluster size might help to resolve the issue. Weitere Informationen finden Sie unter https://docs.microsoft.com/azure/azure-resource-manager/resource-manager-request-limits .For further information, seehttps://docs.microsoft.com/azure/azure-resource-manager/resource-manager-request-limits.
NETWORK_CONFIGURATION_FAILURENETWORK_CONFIGURATION_FAILURE Der Cluster wurde aufgrund eines Fehlers in der Netzwerkkonfiguration beendet.The cluster was terminated due to an error in the network configuration. Beispielsweise weist ein Arbeitsbereich mit vnet Injection falsche DNS-Einstellungen auf, die den Zugriff auf workerartefakte blockiert haben.For example, a workspace with VNet injection had incorrect DNS settings that blocked access to worker artifacts.
DRIVER_UNREACHABLEDRIVER_UNREACHABLE Azure Databricks war nicht in der Lage, auf den Spark-Treiber zuzugreifen, weil er nicht erreichbar war.Azure Databricks was not able to access the Spark driver, because it was not reachable.
DRIVER_UNRESPONSIVEDRIVER_UNRESPONSIVE Azure Databricks war nicht in der Lage, auf den Spark-Treiber zuzugreifen, da er nicht reagiert hat.Azure Databricks was not able to access the Spark driver, because it was unresponsive.
INSTANCE_UNREACHABLEINSTANCE_UNREACHABLE Azure Databricks konnte nicht auf Instanzen zugreifen, um den Cluster zu starten.Azure Databricks was not able to access instances in order to start the cluster. Dies kann ein vorübergehendes Netzwerkproblem sein.This can be a transient networking issue. Wenn das Problem weiterhin besteht, deutet dies normalerweise auf eine Fehlkonfiguration der Netzwerkumgebung hin.If the problem persists, this usually indicates a networking environment misconfiguration.
CONTAINER_LAUNCH_FAILURECONTAINER_LAUNCH_FAILURE Azure Databricks konnte keine Container auf workerknoten für den Cluster starten.Azure Databricks was unable to launch containers on worker nodes for the cluster. Überprüfen Sie Ihre Netzwerkkonfiguration durch Ihren Administrator.Have your admin check your network configuration.
INSTANCE_POOL_CLUSTER_FAILUREINSTANCE_POOL_CLUSTER_FAILURE Im Pool unterstützter Cluster spezifischer Fehler.Pool backed cluster specific failure. Weitere Informationen finden Sie in den Pools .Refer to Pools for details.
REQUEST_REJECTEDREQUEST_REJECTED Azure Databricks kann die Anforderung zurzeit nicht verarbeiten.Azure Databricks cannot handle the request at this moment. Versuchen Sie es später noch mal, und wenden Sie sich Azure Databricks anTry again later and contact Azure Databricks if the problem persists.
INIT_SCRIPT_FAILUREINIT_SCRIPT_FAILURE Azure Databricks können ein auf einem der Cluster Knoten basierenden Init-Skripts nicht laden und ausführen, oder das Init-Skript wird mit einem Exitcode ungleich 0 (null) beendet.Azure Databricks cannot load and run a cluster-scoped init script on one of the cluster’s nodes, or the init script terminates with a non-zero exit code. Weitere Informationen finden Sie in den Initialisierungs Protokollen.Refer to Init script logs.
TRIAL_EXPIREDTRIAL_EXPIRED Das Azure Databricks-Testabonnement ist abgelaufen.The Azure Databricks trial subscription expired.

Terminationtype TerminationType

Grund, warum der Cluster beendet wurde.Reason why the cluster was terminated.

TypType BESCHREIBUNGDescription
SUCCESSSUCCESS Beendigung erfolgreich.Termination succeeded.
CLIENT_ERRORCLIENT_ERROR Kann nicht abgerufen werden.Non-retriable. Der Client muss die Parameter vor dem erneuten Versuch der Cluster Erstellung korrigieren.Client must fix parameters before reattempting the cluster creation.
SERVICE_FAULTSERVICE_FAULT Azure Databricks Dienst Problem.Azure Databricks service issue. Der Client kann den Vorgang wiederholen.Client can retry.
CLOUD_FAILURECLOUD_FAILURE Infrastrukturproblem der cloudanbieter.Cloud provider infrastructure issue. Der Client kann den Versuch wiederholen, nachdem das zugrunde liegende Problem behoben wurde.Client can retry after the underlying issue is resolved.

Terminationparameter TerminationParameter

Schlüssel, der zusätzliche Informationen über den Grund für das Beenden eines Clusters bereitstellt.Key that provides additional information about why a cluster was terminated.

SchlüsselKey BESCHREIBUNGDescription
usernameusername Der Benutzername des Benutzers, der den Cluster beendet hat.The username of the user who terminated the cluster.
databricks_error_messagedatabricks_error_message Zusätzlicher Kontext, in dem der Grund für das Beenden des Clusters erläutert wird.Additional context that may explain the reason for cluster termination.
inactivity_duration_mininactivity_duration_min Ein Leerlauf Cluster wurde heruntergefahren, nachdem er für diesen Zeitraum inaktiv war.An idle cluster was shut down after being inactive for this duration.
instance_idinstance_id Die ID der Instanz, die den Spark-Treiber gehostet hat.The ID of the instance that was hosting the Spark driver.
azure_error_codeazure_error_code Der Azure-Fehlercode, der beschreibt, warum Cluster Knoten nicht bereitgestellt werden konnten.The Azure provided error code describing why cluster nodes could not be provisioned. Weitere Informationen finden Sie unter: https://docs.microsoft.com/azure/virtual-machines/windows/error-messages .For reference, see: https://docs.microsoft.com/azure/virtual-machines/windows/error-messages.
azure_error_messageazure_error_message Menschen lesbarer Kontext verschiedener Fehler von Azure.Human-readable context of various failures from Azure. Dieses Feld ist unstrukturiert, und das genaue Format kann geändert werden.This field is unstructured, and its exact format is subject to change.
instance_pool_idinstance_pool_id Die ID des instanzpools, den der Cluster verwendet.The ID of the instance pool the cluster is using.
instance_pool_error_codeinstance_pool_error_code Der Fehlercode für Cluster Fehler, die für einen Pool spezifisch sind.The error code for cluster failures specific to a pool.