Ausführungen CLI (Legacy)

  • Artikel

Wichtig

Diese Dokumentation wurde eingestellt und wird unter Umständen nicht aktualisiert.

Diese Informationen gelten für ältere Versionen der Databricks-Befehlszeilenschnittstelle (0.18 und niedriger). Databricks empfiehlt, stattdessen die neuere Databricks-CLI Version 0.205 oder höher zu verwenden. Weitere Informationen finden Sie unter Was ist die Databricks-CLI?. Führen Sie databricks -v aus, um die Version Ihrer Databricks CLI zu ermitteln.

Informationen zum Migrieren der Databricks CLI-Version 0.18 oder niedriger zur Databricks CLI-Version 0.205 oder höher finden Sie unter Databricks CLI-Migration.

Sie können CLI-Unterbefehle für Databricks-Aufträge ausführen, indem Sie sie an databricks runs anfügen, und CLI-Unterbefehle für Databricks-Aufträge ausführen, indem Sie sie an databricks jobs anfügen. Informationen zu CLI-Unterbefehlen für Databricks-Aufträge finden Sie unter Jobs CLI (Legacy). Zusammen rufen diese Unterbefehle die Auftrags-API und die Auftrags-API 2.0 auf.

Wichtig

Die Databricks-Auftragsausführungs-CLI unterstützt Aufrufe von zwei Versionen der REST-API für Databricks-Aufträge: Version 2.1 und Version 2.0. (Die Funktion für Auftragsausführungen Teil der Aufträge-REST-API.) In Version 2.1 wird Unterstützung für die Orchestrierung von Aufträgen mit mehreren Aufgaben hinzugefügt. Weitere Informationen finden Sie unter Erstellen und Ausführen von Azure Databricks-Aufträgen sowie unter Aktualisieren von Jobs-API 2.0 auf 2.1. Databricks empfiehlt, Version 2.1 aufzurufen, sofern Sie keine Legacy-Skripts nutzen, die Version 2.0 erfordern und nicht migriert werden können.

Sofern nicht anders angegeben, gelten die in diesem Artikel beschriebenen programmgesteuerten Verhaltensweisen gleichermaßen für die Versionen 2.1 und 2.0.

Hinweis

Wenn Sie für Ausführungs-CLI-Anforderungen einen Fehler der Kategorie 500 erhalten, empfiehlt Databricks, Anforderungen bis zu 10 Minuten lang zu wiederholen (mit einem zeitlichen Abstand von mindestens 30 Sekunden zwischen den Wiederholungsversuchen).

Anforderungen zum Aufrufen der REST-API Version 2.1 für Aufträge

Gehen Sie wie folgt vor, um die Databricks-CLI für Auftragsausführungen (und die CLI für Aufträge) zum Aufrufen der REST-API Version 2.1 für Aufträge einzurichten und zu verwenden:

  1. Aktualisieren Sie die CLI auf Version 0.16.0 oder höher.

  2. Führen Sie eines der folgenden Verfahren aus:

    • Führen Sie den Befehl databricks jobs configure --version=2.1aus. Dadurch wird der Datei ~/.databrickscfg unter Unix, Linux oder macOS oder %USERPROFILE%\.databrickscfg unter Windows die Einstellung jobs-api-version = 2.1 hinzugefügt. Alle Unterbefehle der CLI für Auftragsausführungen (und der Auftrags-CLI) rufen standardmäßig die REST-API Version 2.1 für Aufträge auf.
    • Fügen Sie unter Unix, Linux oder macOS der Datei ~/.databrickscfg oder unter Windows der Datei %USERPROFILE%\.databrickscfg die Einstellung jobs-api-version = 2.1 manuell hinzu. Alle Unterbefehle der CLI für Auftragsausführungen (und der Auftrags-CLI) rufen standardmäßig die REST-API Version 2.1 für Aufträge auf.
    • Fügen Sie die Option --version=2.1 (z. B. databricks runs list --version=2.1) an, um die CLI anzuweisen, nur für diesen Aufruf die REST-API Version 2.1 für Aufträge aufzurufen.

    Wenn Sie keine der vorherigen Aktionen ausführen, ruft die CLI für Auftragsausführungen (und die Auftrags-CLI) standardmäßig die REST-API Version 2.0 für Aufträge auf.

Anforderungen zum Aufrufen der REST-API Version 2.0 für Aufträge

Gehen Sie wie folgt vor, um die Databricks-CLI für Auftragsausführungen (und die CLI für Aufträge) zum Aufrufen der REST-API Version 2.0 für Aufträge einzurichten und zu verwenden:

  • Verwenden Sie eine Version der Databricks-CLI unter 0.16.0 oder
  • Aktualisieren Sie die CLI auf Version 0.16.0 oder höher, und gehen Sie dann wie folgt vor:
    • Führen Sie den Befehl databricks jobs configure --version=2.0aus. Dadurch wird der Datei ~/.databrickscfg unter Unix, Linux oder macOS oder %USERPROFILE%\.databrickscfg unter Windows die Einstellung jobs-api-version = 2.0 hinzugefügt. Alle Unterbefehle der CLI für Auftragsausführungen (und der Auftrags-CLI) rufen standardmäßig die REST-API Version 2.0 für Aufträge auf.
    • Fügen Sie unter Unix, Linux oder macOS der Datei ~/.databrickscfg oder unter Windows der Datei %USERPROFILE%\.databrickscfg die Einstellung jobs-api-version = 2.0 manuell hinzu. Alle Unterbefehle der CLI für Auftragsausführungen (und der Auftrags-CLI) rufen standardmäßig die REST-API Version 2.0 für Aufträge auf.
    • Fügen Sie die Option --version=2.1 (z. B. databricks runs list --version=2.0) an, um die CLI anzuweisen, nur für diesen Aufruf die REST-API Version 2.0 für Aufträge aufzurufen.

Wenn Sie keine der vorherigen Aktionen ausführen, ruft die CLI für Auftragsausführungen (und die Auftrags-CLI) standardmäßig die REST-API Version 2.0 für Aufträge auf.

Unterbefehle und allgemeine Verwendung

databricks runs --help

Usage: databricks runs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs runs.

Options:
  -v, --version   [VERSION]
  --debug         Debug mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".

  -h, --help      Show this message and exit.

Commands:
  cancel      Cancels the specified run.
  get         Gets the metadata about a run in JSON form.
  get-output  Gets the output of a run.
  list        Lists job runs.
  submit      Submits a one-time run.

Abbrechen einer Ausführung

Führen Sie databricks runs cancel --help aus, um die Nutzungsdokumentation anzuzeigen.

databricks runs cancel --run-id 119

{}

Abrufen von Informationen zu einer Ausführung

Führen Sie databricks runs get --help aus, um die Syntaxdokumentation anzuzeigen.

Allgemeine Verwendung

databricks runs get --run-id 2785782

Nutzungshinweise und Antwortbeispiel für Auftrags-CLI 2.1

Weitere Informationen finden Sie unter Runs get in Aktualisieren von Jobs-API 2.0 auf 2.1.

Antwortbeispiel für Auftrags-CLI 2.0

{
  "job_id": 1269263,
  "run_id": 2785782,
  "number_in_job": 1111,
  "original_attempt_run_id": 2785782,
  "state": {
    "life_cycle_state": "TERMINATED",
    "result_state": "SUCCESS",
    "state_message": ""
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
    }
  },
  "cluster_spec": {
    "new_cluster": {
      "spark_version": "8.1.x-scala2.12",
      "node_type_id": "Standard_F16s",
      "enable_elastic_disk": true,
      "azure_attributes": {
        "availability": "ON_DEMAND_AZURE"
      },
      "num_workers": 8
    }
  },
  "cluster_instance": {
    "cluster_id": "1234-567890-abcd123",
    "spark_context_id": "1234567890123456789"
  },
  "start_time": 1620947196985,
  "setup_duration": 36000,
  "execution_duration": 119000,
  "cleanup_duration": 3000,
  "end_time": 1620947355499,
  "trigger": "ONE_TIME",
  "creator_user_name": "someone@example.com",
  "run_name": "my-notebook-run",
  "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
  "run_type": "JOB_RUN",
  "attempt_number": 0
}

Abrufen der Ausgabe einer Ausführung

Führen Sie databricks runs get-output --help aus, um die Syntaxdokumentation anzuzeigen.

Hinweis

Wenn ein notebook_task einen Wert aus einem Aufruf von dbutils.notebook.exit() zurückgibt, beschränkt Databricks den zurückgegebenen Wert auf die ersten 5 MB an Daten. Zur Rückgabe größerer Ergebnisse können Sie Auftragsergebnisse in einem Cloudspeicherdienst speichern.

Allgemeine Verwendung

databricks runs get-output --run-id 2785782

Syntaxanmerkungen zur Auftrags-CLI 2.1

Weitere Informationen finden Sie unter Runs get output in Aktualisieren von Jobs-API 2.0 auf 2.1.

Antwortbeispiel für Auftrags-CLI 2.0

{
  "metadata": {
    "job_id": 1269263,
    "run_id": 2785782,
    "number_in_job": 1111,
    "original_attempt_run_id": 2785782,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
      }
    },
    "cluster_spec": {
      "new_cluster": {
        "spark_version": "8.1.x-scala2.12",
        "node_type_id": "Standard_F16s",
        "enable_elastic_disk": true,
        "azure_attributes": {
          "availability": "ON_DEMAND_AZURE"
        },
        "num_workers": 8
      }
    },
    "cluster_instance": {
      "cluster_id": "1234-567890-abcd123",
      "spark_context_id": "1234567890123456789"
    },
    "start_time": 1620947196985,
    "setup_duration": 36000,
    "execution_duration": 119000,
    "cleanup_duration": 3000,
    "end_time": 1620947355499,
    "trigger": "ONE_TIME",
    "creator_user_name": "someone@example.com",
    "run_name": "my-notebook-run",
    "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
    "run_type": "JOB_RUN",
    "attempt_number": 0
  },
  "notebook_output": {}
}

Abrufen von Informationen über alle Ausführungen

Führen Sie databricks runs list --help aus, um die Syntaxdokumentation anzuzeigen.

Allgemeine Verwendung

databricks runs list --output JSON

Nutzungshinweise und Antwortbeispiel für Auftrags-CLI 2.1

Weitere Informationen finden Sie unter Runs list in Aktualisieren von Jobs-API 2.0 auf 2.1.

Antwortbeispiel für Auftrags-CLI 2.0

{
  "runs": [
    {
      "job_id": 1269263,
      "run_id": 2785782,
      "number_in_job": 1111,
      "original_attempt_run_id": 2785782,
      "state": {
         "life_cycle_state": "TERMINATED",
         "result_state": "SUCCESS",
         "state_message": ""
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
        }
      },
      "cluster_spec": {
        "new_cluster": {
          "spark_version": "8.1.x-scala2.12",
          "node_type_id": "Standard_F16s",
          "enable_elastic_disk": true,
          "azure_attributes": {
            "availability": "ON_DEMAND_AZURE"
          },
          "num_workers": 8
        }
      },
      "cluster_instance": {
        "cluster_id": "1234-567890-abcd123",
        "spark_context_id": "1234567890123456789"
      },
      "start_time": 1620947196985,
      "setup_duration": 36000,
      "execution_duration": 119000,
      "cleanup_duration": 3000,
      "end_time": 1620947355499,
      "trigger": "ONE_TIME",
      "creator_user_name": "someone@example.com",
      "run_name": "my-notebook-run",
      "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
      "run_type": "JOB_RUN",
      "attempt_number": 0
    },
    ...
  ],
  "has_more": false
}

Wenn has_moretrue zurückgibt, sind Informationen zu weiteren Ausführungen verfügbar. Verwenden Sie die --offset-Option, um Informationen zu Ausführungen relativ zur letzten Ausführung zurückzugeben. Geben Sie beispielsweise --offset 10 an, um Informationen beginnend mit der zehntletzten Ausführung zurückzugeben.

Verwenden Sie die --limit-Option, um Informationen zu einer festen Anzahl von Ausführungen zurückzugeben. Geben Sie beispielsweise --limit 5 an, um Informationen für bis zu den nächsten fünf Ausführungen zurückzugeben. Sie können bis zu 1.000 Ausführungen angeben. Wenn nichts angegeben ist, wird der Standardwert 20 verwendet.

Übermitteln einer einmaligen Ausführung

Führen Sie databricks runs submit --help aus, um die Syntaxdokumentation anzuzeigen.

Allgemeine Verwendung

databricks runs submit --json-file submit-run.json

Syntaxanmerkungen und Anforderungsbeispiel für REST-API 2.1

Weitere Informationen finden Sie unter Runs submit in Aktualisieren von Jobs-API 2.0 auf 2.1.

Rest-API 2.0-Anforderungs- und Antwortbeispiel für Aufträge

submit-run.json:

{
  "run_name": "my-spark-run",
  "new_cluster": {
    "spark_version": "8.1.x-scala2.12",
    "node_type_id": "Standard_F16s",
    "enable_elastic_disk": true,
    "azure_attributes": {
      "availability": "ON_DEMAND_AZURE"
    },
    "num_workers": 8
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

{
  "run_id": 123
}