ジョブ APIJobs API

Jobs API を使用すると、ジョブの作成、編集、および削除を行うことができます。The Jobs API allows you to create, edit, and delete jobs. ジョブ API に対する要求の最大許容サイズは 10 MB です。The maximum allowed size of a request to the Jobs API is 10MB. この API のハウツーガイドについては 、「高同時実行クラスターの作成 」を参照してください。See Create a High Concurrency cluster for a how-to guide on this API.

注意

ジョブ API 要求を行うときに500レベルのエラーが発生した場合、Databricks は最大10分間の要求の再試行を推奨します (再試行の間隔は30秒未満)。If you receive a 500-level error when making Jobs API requests, Databricks recommends retrying requests for up to 10 min (with a minimum 30 second interval between retries).

重要

Databricks REST API にアクセスするには、認証する必要があります。To access Databricks REST APIs, you must authenticate.

作成 Create

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/create POST

新しいジョブを作成します。Create a new job.

毎晩午後15時に実行されるジョブの要求の例を次に示します。An example request for a job that runs at 10:15pm each night:

{
  "name": "Nightly model training",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "Standard_D3_v2",
    "num_workers": 10
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "timeout_seconds": 3600,
  "max_retries": 1,
  "schedule": {
    "quartz_cron_expression": "0 15 22 ? * *",
    "timezone_id": "America/Los_Angeles"
  },
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

応答:And response:

{
  "job_id": 1
}

要求構造 Request structure

重要

  • 新しいジョブクラスターでジョブを実行すると、ジョブは、ジョブ計算価格に従ってジョブとして処理されます (自動)。When you run a job on a new jobs cluster, the job is treated as a Jobs Compute (automated) workload subject to Jobs Compute pricing.
  • 既存のすべての目的のクラスターでジョブを実行すると、そのジョブは All-Purpose コンピューティング料金の対象となる All-Purpose コンピューティング (対話型) ワークロードとして扱われます。When you run a job on an existing all-purpose cluster, it is treated as an All-Purpose Compute (interactive) workload subject to All-Purpose Compute pricing.
フィールド名Field Name TypeType DescriptionDescription
existing_cluster_id または new_clusterexisting_cluster_id OR new_cluster STRING または NewclusterSTRING OR NewCluster Existing_cluster_id した場合、このジョブのすべての実行に使用される既存のクラスターの ID です。If existing_cluster_id, the ID of an existing cluster that will be used for all runs of this job. 既存のクラスターでジョブを実行する場合は、クラスターが応答を停止したときに手動で再起動する必要があります。When running jobs on an existing cluster, you may need to manually restart the cluster if it stops responding. 信頼性を高めるために、新しいクラスターでジョブを実行することをお勧めします。We suggest running jobs on new clusters for greater reliability.

New_cluster した場合は、実行のたびに作成されるクラスターの説明。If new_cluster, a description of a cluster that will be created for each run.
notebook_task または spark_jar_task または spark_python_task または spark_submit_tasknotebook_task OR spark_jar_task OR spark_python_task OR spark_submit_task NotebookTask または SparkJarTask または SparkPythonTask または SparkSubmitTaskNotebookTask OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask Notebook_task の場合、このジョブで notebook を実行する必要があることを示します。If notebook_task, indicates that this job should run a notebook. このフィールドは、spark_jar_task と組み合わせて指定することはできません。This field may not be specified in conjunction with spark_jar_task.

Spark_jar_task の場合、このジョブは JAR を実行する必要があることを示します。If spark_jar_task, indicates that this job should run a JAR.

Spark_python_task の場合、このジョブは Python ファイルを実行する必要があることを示します。If spark_python_task, indicates that this job should run a Python file.

Spark_submit_task の場合、このジョブは spark submit スクリプトによって起動される必要があることを示します。If spark_submit_task, indicates that this job should be launched by the spark submit script.
namename STRING ジョブの名前 (省略可能)。An optional name for the job. 既定値は Untitled です。The default value is Untitled.
librarieslibraries ライブラリの配列An array of Library ジョブを実行するクラスターにインストールするライブラリのオプションの一覧。An optional list of libraries to be installed on the cluster that will execute the job. 既定値は空の一覧です。The default value is an empty list.
email_notificationsemail_notifications JobEmailNotificationsJobEmailNotifications このジョブの実行が開始して完了したときと、このジョブが削除されたときに通知する、オプションの電子メールアドレスのセット。An optional set of email addresses notified when runs of this job begin and complete and when this job is deleted. 既定の動作では、電子メールは送信されません。The default behavior is to not send any emails.
timeout_secondstimeout_seconds INT32 このジョブの実行ごとに、オプションのタイムアウトが適用されます。An optional timeout applied to each run of this job. 既定の動作では、タイムアウトはありません。The default behavior is to have no timeout.
max_retriesmax_retries INT32 失敗した実行を再試行するオプションの最大回数。An optional maximum number of times to retry an unsuccessful run. Result_state で完了した場合、実行は失敗したと見なされます。 FAILEDA run is considered to be unsuccessful if it completes with the FAILED result_state or
INTERNAL_ERROR
life_cycle_state.life_cycle_state. 値-1 は、無制限に再試行することを意味し、値0は再試行しないことを意味します。The value -1 means to retry indefinitely and the value 0 means to never retry. 既定の動作では、再試行は行われません。The default behavior is to never retry.
min_retry_interval_millismin_retry_interval_millis INT32 失敗した実行の開始から後続の再試行実行までの、省略可能な最小間隔 (ミリ秒単位)。An optional minimal interval in milliseconds between the start of the failed run and the subsequent retry run. 既定の動作では、失敗した実行はすぐに再試行されます。The default behavior is that unsuccessful runs are immediately retried.
retry_on_timeoutretry_on_timeout BOOL ジョブがタイムアウトしたときに再試行するかどうかを指定するオプションのポリシー。既定の動作では、タイムアウト時に再試行されません。An optional policy to specify whether to retry a job when it times out. The default behavior is to not retry on timeout.
scheduleschedule CronScheduleCronSchedule このジョブの定期スケジュール (省略可)。An optional periodic schedule for this job. 既定の動作では、ジョブ UI で [ 今すぐ実行 ] をクリックするか、に API 要求を送信することで、ジョブがトリガーされたときに実行され runNow ます。The default behavior is that the job runs when triggered by clicking Run Now in the Jobs UI or sending an API request to runNow.
max_concurrent_runsmax_concurrent_runs INT32 ジョブの同時実行の最大許容数 (オプション)。An optional maximum allowed number of concurrent runs of the job.

同じジョブの複数の実行を同時に実行できるようにする場合は、この値を設定します。Set this value if you want to be able to execute multiple runs of the same job concurrently. これは、たとえば、頻繁に実行されるスケジュールでジョブをトリガーし、連続した実行を互いにオーバーラップさせたい場合や、入力パラメーターが異なる複数の実行をトリガーする場合などに便利です。This is useful for example if you trigger your job on a frequent schedule and want to allow consecutive runs to overlap with each other, or if you want to trigger multiple runs which differ by their input parameters.

この設定は、新しい実行にのみ影響します。This setting affects only new runs. たとえば、ジョブの同時実行が4で、同時に4つのアクティブな実行があるとします。For example, suppose the job’s concurrency is 4 and there are 4 concurrent active runs. その後、同時実行を3に設定しても、アクティブな実行は強制終了されません。Then setting the concurrency to 3 won’t kill any of the active runs. ただし、それ以降、アクティブな実行数が3回未満の場合を除き、新しい実行はスキップされます。However, from then on, new runs are skipped unless there are fewer than 3 active runs.

この値は1000を超えることはできません。This value cannot exceed 1000. この値を0に設定すると、すべての新しい実行がスキップされます。Setting this value to 0 causes all new runs to be skipped. 既定の動作では、同時実行を1つだけ許可します。The default behavior is to allow only 1 concurrent run.

応答構造体 Response structure

フィールド名Field Name TypeType DescriptionDescription
job_idjob_id INT64 新しく作成されたジョブの標準識別子。The canonical identifier for the newly created job.

リスト List

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/list GET

すべてのジョブを一覧表示します。List all jobs.

応答の例を次に示します。An example response:

{
  "jobs": [
    {
      "job_id": 1,
      "settings": {
        "name": "Nightly model training",
        "new_cluster": {
          "spark_version": "7.3.x-scala2.12",
          "node_type_id": "Standard_D3_v2",
          "num_workers": 10
        },
        "libraries": [
          {
            "jar": "dbfs:/my-jar.jar"
          },
          {
            "maven": {
              "coordinates": "org.jsoup:jsoup:1.7.2"
            }
          }
        ],
        "timeout_seconds": 100000000,
        "max_retries": 1,
        "schedule": {
          "quartz_cron_expression": "0 15 22 ? * *",
          "timezone_id": "America/Los_Angeles",
          "pause_status": "UNPAUSED"
        },
        "spark_jar_task": {
          "main_class_name": "com.databricks.ComputeModels"
        }
      },
      "created_time": 1457570074236
    }
  ]
}

応答構造体 Response structure

フィールド名Field Name TypeType DescriptionDescription
jobsjobs ジョブの配列An array of Job ジョブの一覧。The list of jobs.

削除 Delete

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/delete POST

ジョブを削除し、「」で指定したアドレスに電子メールを送信し JobSettings.email_notifications ます。Delete a job and send an email to the addresses specified in JobSettings.email_notifications. ジョブが既に削除されている場合、アクションは発生しません。No action occurs if the job has already been removed. ジョブが削除されると、ジョブの UI または API にその詳細も実行履歴も表示されません。After the job is removed, neither its details nor its run history is visible in the Jobs UI or API. この要求の完了時に、ジョブは削除されることが保証されます。The job is guaranteed to be removed upon completion of this request. ただし、この要求の受信前にアクティブだった実行はまだアクティブである可能性があります。However, runs that were active before the receipt of this request may still be active. 非同期的に終了されます。They will be terminated asynchronously.

要求の例を次に示します。An example request:

{
  "job_id": 1
}

要求構造 Request structure

フィールド名Field Name TypeType DescriptionDescription
job_idjob_id INT64 削除するジョブの正規識別子。The canonical identifier of the job to delete. このフィールドは必須です。This field is required.

取得 Get

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/get GET

1つのジョブに関する情報を取得します。Retrieve information about a single job. 要求の例を次に示します。An example request:

/jobs/get?job_id=1

応答の例を次に示します。An example response:

{
  "job_id": 1,
  "settings": {
    "name": "Nightly model training",
    "new_cluster": {
      "spark_version": "7.3.x-scala2.12",
      "node_type_id": "Standard_D3_v2",
      "num_workers": 10
    },
    "libraries": [
      {
        "jar": "dbfs:/my-jar.jar"
      },
      {
        "maven": {
          "coordinates": "org.jsoup:jsoup:1.7.2"
        }
      }
    ],
    "timeout_seconds": 100000000,
    "max_retries": 1,
    "schedule": {
      "quartz_cron_expression": "0 15 22 ? * *",
      "timezone_id": "America/Los_Angeles",
      "pause_status": "UNPAUSED"
    },
    "spark_jar_task": {
      "main_class_name": "com.databricks.ComputeModels"
    }
  },
  "created_time": 1457570074236
}

要求構造 Request structure

フィールド名Field Name TypeType DescriptionDescription
job_idjob_id INT64 情報を取得するジョブの正規識別子。The canonical identifier of the job to retrieve information about. このフィールドは必須です。This field is required.

応答構造体 Response structure

フィールド名Field Name TypeType DescriptionDescription
job_idjob_id INT64 このジョブの標準識別子。The canonical identifier for this job.
creator_user_namecreator_user_name STRING 作成者のユーザー名。The creator user name. ユーザーが削除されている場合、このフィールドは応答に含まれません。This field won’t be included in the response if the user has been deleted.
settingssettings JobSettingsJobSettings このジョブとそのすべての実行の設定。Settings for this job and all of its runs. これらの設定は、 リセット または 更新 エンドポイントを使用して更新できます。These settings can be updated using the Reset or Update endpoints.
created_timecreated_time INT64 このジョブが作成された時刻 (ミリ秒 1/1/1970 UTC からのミリ秒)。The time at which this job was created in epoch milliseconds (milliseconds since 1/1/1970 UTC).

リセット Reset

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/reset POST

特定のジョブのすべての設定を上書きします。Overwrite all settings for a specific job. 更新エンドポイントを使用して、ジョブ設定を部分的に更新します。Use the Update endpoint to update job settings partially.

Create例でジョブ1と同じジョブ2を行う要求の例を次に示します。An example request that makes job 2 identical to job 1 in the create example:

{
  "job_id": 2,
  "new_settings": {
    "name": "Nightly model training",
    "new_cluster": {
      "spark_version": "7.3.x-scala2.12",
      "node_type_id": "Standard_D3_v2",
      "num_workers": 10
    },
    "libraries": [
      {
        "jar": "dbfs:/my-jar.jar"
      },
      {
        "maven": {
          "coordinates": "org.jsoup:jsoup:1.7.2"
        }
      }
    ],
    "timeout_seconds": 100000000,
    "max_retries": 1,
    "schedule": {
      "quartz_cron_expression": "0 15 22 ? * *",
      "timezone_id": "America/Los_Angeles",
      "pause_status": "UNPAUSED"
    },
    "spark_jar_task": {
      "main_class_name": "com.databricks.ComputeModels"
    }
  }
}

要求構造 Request structure

フィールド名Field Name TypeType DescriptionDescription
job_idjob_id INT64 リセットするジョブの標準識別子。The canonical identifier of the job to reset. このフィールドは必須です。This field is required.
new_settingsnew_settings JobSettingsJobSettings ジョブの新しい設定です。The new settings of the job. これらの設定は、古い設定を完全に置き換えます。These settings completely replace the old settings.

フィールドに対する変更 JobSettings.timeout_seconds は、アクティブな実行に適用されます。Changes to the field JobSettings.timeout_seconds are applied to active runs. 他のフィールドに対する変更は、今後の実行にのみ適用されます。Changes to other fields are applied to future runs only.

更新 Update

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/update POST

既存のジョブの特定の設定を追加、変更、または削除します。Add, change, or remove specific settings of an existing job. リセットエンドポイントを使用して、すべてのジョブ設定を上書きします。Use the Reset endpoint to overwrite all job settings.

作成例で定義されているジョブ1にライブラリを削除し、電子メール通知設定を追加する要求の例を次に示します。An example request that removes libraries and adds email notification settings to job 1 defined in the create example:

{
  "job_id": 1,
  "new_settings": {
    "existing_cluster_id": "1201-my-cluster",
    "email_notifications": {
      "on_start": ["donald@duck.com"],
      "on_success": [],
      "on_failure": []
    }
  },
  "fields_to_remove": ["libraries"]
}

要求構造 Request structure

フィールド名Field Name TypeType DescriptionDescription
job_idjob_id INT64 更新するジョブの正規識別子。The canonical identifier of the job to update. このフィールドは必須です。This field is required.
new_settingsnew_settings JobSettingsJobSettings ジョブの新しい設定です。The new settings for the job. で指定された最上位レベルのフィールド new_settings は、完全に置換されます。Any top-level fields specified in new_settings are completely replaced. 入れ子になったフィールドの部分的な更新はサポートされていません。Partially updating nested fields is not supported.

フィールドに対する変更 JobSettings.timeout_seconds は、アクティブな実行に適用されます。Changes to the field JobSettings.timeout_seconds are applied to active runs. 他のフィールドに対する変更は、今後の実行にのみ適用されます。Changes to other fields are applied to future runs only.
fields_to_removefields_to_remove STRING の配列です。An array of STRING ジョブ設定の最上位フィールドを削除します。Remove top-level fields in the job settings. 入れ子になったフィールドの削除はサポートされていません。Removing nested fields is not supported. このフィールドは省略可能です。This field is optional.

今すぐ実行 Run now

重要

  • ワークスペースは、1000の同時実行ジョブの実行に制限されます。A workspace is limited to 1000 concurrent job runs. 429 Too Many Requestsすぐに開始できない実行を要求すると、応答が返されます。A 429 Too Many Requests response is returned when you request a run that cannot be started immediately.
  • 1時間に1つのワークスペースで作成できるジョブの数は、5000に制限されます ([今すぐ実行] と [実行の送信] が含まれます)。The number of jobs a workspace can create in an hour is limited to 5000 (includes “run now” and “runs submit”). この制限は、REST API およびノートブック ワークフローによって作成されるジョブにも影響します。This limit also affects jobs created by the REST API and notebook workflows.
エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/run-now POST

今すぐジョブを実行し、トリガーされた run_id 実行のを返します。Run a job now and return the run_id of the triggered run.

ヒント

[今すぐ実行] を使用してCreateを呼び出した場合は、代わりに [実行] 送信エンドポイントを使用できます。これにより、ジョブを作成しなくてもワークロードを直接送信できます。If you invoke Create together with Run now, you can use the Runs submit endpoint instead, which allows you to submit your workload directly without having to create a job.

Notebook ジョブの要求の例を次に示します。An example request for a notebook job:

{
  "job_id": 1,
  "notebook_params": {
    "name": "john doe",
    "age": "35"
  }
}

JAR ジョブの要求の例を次に示します。An example request for a JAR job:

{
  "job_id": 2,
  "jar_params": ["john doe", "35"]
}

要求構造 Request structure

フィールド名Field Name TypeType DescriptionDescription
job_idjob_id INT64
jar_paramsjar_params STRING の配列です。An array of STRING JAR タスクを含むジョブのパラメーターの一覧 (例: "jar_params": ["john doe", "35"] )。A list of parameters for jobs with JAR tasks, e.g. "jar_params": ["john doe", "35"]. パラメーターは、Spark JAR タスクで指定されたメインクラスの main 関数を呼び出すために使用されます。The parameters will be used to invoke the main function of the main class specified in the Spark JAR task. で指定されていない場合 run-now 、既定で空のリストになります。If not specified upon run-now, it will default to an empty list. jar_params を notebook_params と組み合わせて指定することはできません。jar_params cannot be specified in conjunction with notebook_params. このフィールドの JSON 表現 (つまり) は、 {"jar_params":["john doe","35"]} 1万バイトを超えることはできません。The JSON representation of this field (i.e. {"jar_params":["john doe","35"]}) cannot exceed 10,000 bytes.
notebook_paramsnotebook_params ParampairのマップA map of ParamPair ノートブックタスクを含むジョブの値に対するキーからのマップ (例:A map from keys to values for jobs with notebook task, e.g.
"notebook_params": {"name": "john doe", "age": "35"}."notebook_params": {"name": "john doe", "age": "35"}. マップは notebook に渡され、 dbutils 関数を使用してアクセスできます。The map is passed to the notebook and is accessible through the dbutils.widgets.get function.

で指定されていない場合、トリガーされた run-now 実行はジョブの基本パラメーターを使用します。If not specified upon run-now, the triggered run uses the job’s base parameters.

Jar_params と組み合わせて notebook_params を指定することはできません。You cannot specify notebook_params in conjunction with jar_params.

このフィールドの JSON 表現 (つまり、The JSON representation of this field (i.e.
{"notebook_params":{"name":"john doe","age":"35"}}) が1万バイトを超えることはできません。{"notebook_params":{"name":"john doe","age":"35"}}) cannot exceed 10,000 bytes.
python_paramspython_params STRING の配列です。An array of STRING Python タスクを含むジョブのパラメーターの一覧 (例: "python_params": ["john doe", "35"] )。A list of parameters for jobs with Python tasks, e.g. "python_params": ["john doe", "35"]. パラメーターは、コマンドラインパラメーターとして Python ファイルに渡されます。The parameters will be passed to Python file as command-line parameters. で指定した場合 run-now 、ジョブ設定で指定されたパラメーターが上書きされます。If specified upon run-now, it would overwrite the parameters specified in job setting. このフィールドの JSON 表現 (つまり) は、 {"python_params":["john doe","35"]} 1万バイトを超えることはできません。The JSON representation of this field (i.e. {"python_params":["john doe","35"]}) cannot exceed 10,000 bytes.
spark_submit_paramsspark_submit_params STRING の配列です。An array of STRING Spark 送信タスクを使用したジョブのパラメーターの一覧 (例:A list of parameters for jobs with spark submit task, e.g.
"spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]."spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]. パラメーターは、コマンドラインパラメーターとして spark submit スクリプトに渡されます。The parameters will be passed to spark-submit script as command-line parameters. で指定した場合 run-now 、ジョブ設定で指定されたパラメーターが上書きされます。If specified upon run-now, it would overwrite the parameters specified in job setting. このフィールドの JSON 表現は、1万バイトを超えることはできません。The JSON representation of this field cannot exceed 10,000 bytes.

応答構造体 Response structure

フィールド名Field Name TypeType DescriptionDescription
run_idrun_id INT64 新しくトリガーされた実行のグローバル一意 ID。The globally unique ID of the newly triggered run.
number_in_jobnumber_in_job INT64 ジョブのすべての実行間で実行されたシーケンス番号。The sequence number of this run among all runs of the job.

送信の実行 Runs submit

重要

  • ワークスペースは、1000の同時実行ジョブの実行に制限されます。A workspace is limited to 1000 concurrent job runs. 429 Too Many Requestsすぐに開始できない実行を要求すると、応答が返されます。A 429 Too Many Requests response is returned when you request a run that cannot be started immediately.
  • 1時間に1つのワークスペースで作成できるジョブの数は、5000に制限されます ([今すぐ実行] と [実行の送信] が含まれます)。The number of jobs a workspace can create in an hour is limited to 5000 (includes “run now” and “runs submit”). この制限は、REST API およびノートブック ワークフローによって作成されるジョブにも影響します。This limit also affects jobs created by the REST API and notebook workflows.
エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/runs/submit POST

1回限りの実行を送信します。Submit a one-time run. このエンドポイントを使用すると、ジョブを作成せずにワークロードを直接送信することができます。This endpoint allows you to submit a workload directly without creating a job. このエンドポイントを使用して送信された実行は、UI に表示されません。Runs submitted using this endpoint don’t display in the UI. jobs/runs/getジョブが送信された後に、API を使用して実行状態を確認します。Use the jobs/runs/get API to check the run state after the job is submitted.

要求の例を次に示します。An example request:

{
  "run_name": "my spark task",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "Standard_D3_v2",
    "num_workers": 10
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

応答:And response:

{
  "run_id": 123
}

要求構造 Request structure

重要

  • 新しいジョブクラスターでジョブを実行すると、ジョブは、ジョブ計算価格に従ってジョブとして処理されます (自動)。When you run a job on a new jobs cluster, the job is treated as a Jobs Compute (automated) workload subject to Jobs Compute pricing.
  • 既存のすべての目的のクラスターでジョブを実行すると、そのジョブは All-Purpose コンピューティング料金の対象となる All-Purpose コンピューティング (対話型) ワークロードとして扱われます。When you run a job on an existing all-purpose cluster, it is treated as an All-Purpose Compute (interactive) workload subject to All-Purpose Compute pricing.
フィールド名Field Name TypeType DescriptionDescription
existing_cluster_id または new_clusterexisting_cluster_id OR new_cluster STRING または NewclusterSTRING OR NewCluster Existing_cluster_id した場合、このジョブのすべての実行に使用される既存のクラスターの ID です。If existing_cluster_id, the ID of an existing cluster that will be used for all runs of this job. 既存のクラスターでジョブを実行する場合は、クラスターが応答を停止したときに手動で再起動する必要があります。When running jobs on an existing cluster, you may need to manually restart the cluster if it stops responding. 信頼性を高めるために、新しいクラスターでジョブを実行することをお勧めします。We suggest running jobs on new clusters for greater reliability.

New_cluster した場合は、実行のたびに作成されるクラスターの説明。If new_cluster, a description of a cluster that will be created for each run.
notebook_task または spark_jar_task または spark_python_task または spark_submit_tasknotebook_task OR spark_jar_task OR spark_python_task OR spark_submit_task NotebookTask または SparkJarTask または SparkPythonTask または SparkSubmitTaskNotebookTask OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask Notebook_task の場合、このジョブで notebook を実行する必要があることを示します。If notebook_task, indicates that this job should run a notebook. このフィールドは、spark_jar_task と組み合わせて指定することはできません。This field may not be specified in conjunction with spark_jar_task.

Spark_jar_task の場合、このジョブは JAR を実行する必要があることを示します。If spark_jar_task, indicates that this job should run a JAR.

Spark_python_task の場合、このジョブは Python ファイルを実行する必要があることを示します。If spark_python_task, indicates that this job should run a Python file.

Spark_submit_task の場合、このジョブは spark submit スクリプトによって起動される必要があることを示します。If spark_submit_task, indicates that this job should be launched by the spark submit script.
run_namerun_name STRING 実行の名前を指定します (省略可能)。An optional name for the run. 既定値は Untitled です。The default value is Untitled.
librarieslibraries ライブラリの配列An array of Library ジョブを実行するクラスターにインストールするライブラリのオプションの一覧。An optional list of libraries to be installed on the cluster that will execute the job. 既定値は空の一覧です。The default value is an empty list.
timeout_secondstimeout_seconds INT32 このジョブの実行ごとに、オプションのタイムアウトが適用されます。An optional timeout applied to each run of this job. 既定の動作では、タイムアウトはありません。The default behavior is to have no timeout.
idempotency_tokenidempotency_token STRING ジョブ実行要求のべき等を保証するために使用できるオプションのトークン。An optional token that can be used to guarantee the idempotency of job run requests. 指定されたトークンを持つアクティブな実行が既に存在する場合、要求は新しい実行を作成しませんが、代わりに既存の実行の ID が返されます。If an active run with the provided token already exists, the request will not create a new run, but will return the ID of the existing run instead.

べき等トークンを指定した場合、エラーが発生したときに、要求が成功するまで再試行できます。If you specify the idempotency token, upon failure you can retry until the request succeeds. Azure Databricks によって、べき等トークンを使用して1回だけ実行されることが保証されます。Azure Databricks guarantees that exactly one run will be launched with that idempotency token.

このトークンは、最大で64文字である必要があります。This token should have at most 64 characters.

応答構造体 Response structure

フィールド名Field Name TypeType DescriptionDescription
run_idrun_id INT64 新しく送信された実行の標準識別子。The canonical identifier for the newly submitted run.

実行リスト Runs list

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/runs/list GET

リストは、開始時刻の降順で実行されます。List runs in descending order by start time.

注意

実行は60日後に自動的に削除されます。Runs are automatically removed after 60 days. 60日を超えてそれらを参照する場合は、期限が切れる前に古い実行結果を保存する必要があります。If you to want to reference them beyond 60 days, you should save old run results before they expire. UI を使用してエクスポートするには、「 ジョブの実行結果のエクスポート」を参照してください。To export using the UI, see Export job run results. ジョブ API を使用してエクスポートするには、「 export の実行」を参照してください。To export using the Job API, see Runs export.

要求の例を次に示します。An example request:

/jobs/runs/list?job_id=1&active_only=false&offset=1&limit=1&run_type=JOB_RUN

応答:And response:

{
  "runs": [
    {
      "job_id": 1,
      "run_id": 452,
      "number_in_job": 5,
      "state": {
        "life_cycle_state": "RUNNING",
        "state_message": "Performing action"
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/donald@duck.com/my-notebook"
        }
      },
      "cluster_spec": {
        "existing_cluster_id": "1201-my-cluster"
      },
      "cluster_instance": {
        "cluster_id": "1201-my-cluster",
        "spark_context_id": "1102398-spark-context-id"
      },
      "overriding_parameters": {
        "jar_params": ["param1", "param2"]
      },
      "start_time": 1457570074236,
      "end_time": 1457570075149,
      "setup_duration": 259754,
      "execution_duration": 3589020,
      "cleanup_duration": 31038,
      "trigger": "PERIODIC"
    }
  ],
  "has_more": true
}

要求構造 Request structure

フィールド名Field Name TypeType DescriptionDescription
active_only または completed_onlyactive_only OR completed_only BOOL もしくは BOOLBOOL OR BOOL Active_only がの場合は true 、アクティブな実行だけが結果に含まれます。それ以外の場合は、アクティブな実行と完了した実行の両方が一覧表示されます。If active_only is true, only active runs are included in the results; otherwise, lists both active and completed runs. アクティブな実行は PENDING 、、 RUNNING 、または TERMINATING RunLifecycleStateで実行されます。An active run is a run in the PENDING, RUNNING, or TERMINATING RunLifecycleState. Completed_only がの場合、このフィールドをにすることはできません true trueThis field cannot be true when completed_only is true.

Completed_only の場合は true 、完了した実行だけが結果に含まれます。それ以外の場合は、アクティブな実行と完了した実行の両方が一覧表示されます。If completed_only is true, only completed runs are included in the results; otherwise, lists both active and completed runs. Active_only がの場合、このフィールドをにすることはできません true trueThis field cannot be true when active_only is true.
job_idjob_id INT64 実行するジョブを一覧表示します。The job for which to list runs. 省略した場合、ジョブサービスによってすべてのジョブの実行が一覧表示されます。If omitted, the Jobs service will list runs from all jobs.
offsetoffset INT32 最後に実行された実行に対する、返される最初の実行のオフセット。The offset of the first run to return, relative to the most recent run.
limitlimit INT32 返される実行の数。The number of runs to return. この値は、0より大きく1000未満である必要があります。This value should be greater than 0 and less than 1000. 既定値は 20 です。The default value is 20. 要求で上限が0に指定されている場合、サービスはその上限を使用します。If a request specifies a limit of 0, the service will instead use the maximum limit.
run_typerun_type STRING 返される実行の種類。The type of runs to return. 実行の種類の詳細については、「 run」を参照してください。For a description of run types, see Run.

応答構造体 Response structure

フィールド名Field Name TypeType DescriptionDescription
ランruns 実行の配列An array of Run 最近開始されたものから最小のものまで、実行の一覧。A list of runs, from most recently started to least.
has_morehas_more BOOL True の場合、指定されたフィルターに一致する追加の実行を一覧表示できます。If true, additional runs matching the provided filter are available for listing.

Get の実行 Runs get

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/runs/get GET

実行のメタデータを取得します。Retrieve the metadata of a run.

注意

実行は60日後に自動的に削除されます。Runs are automatically removed after 60 days. 60日を超えてそれらを参照する場合は、期限が切れる前に古い実行結果を保存する必要があります。If you to want to reference them beyond 60 days, you should save old run results before they expire. UI を使用してエクスポートするには、「 ジョブの実行結果のエクスポート」を参照してください。To export using the UI, see Export job run results. ジョブ API を使用してエクスポートするには、「 export の実行」を参照してください。To export using the Job API, see Runs export.

要求の例を次に示します。An example request:

/jobs/runs/get?run_id=452

応答の例を次に示します。An example response:

{
  "job_id": 1,
  "run_id": 452,
  "number_in_job": 5,
  "state": {
    "life_cycle_state": "RUNNING",
    "state_message": "Performing action"
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/donald@duck.com/my-notebook"
    }
  },
  "cluster_spec": {
    "existing_cluster_id": "1201-my-cluster"
  },
  "cluster_instance": {
    "cluster_id": "1201-my-cluster",
    "spark_context_id": "1102398-spark-context-id"
  },
  "overriding_parameters": {
    "jar_params": ["param1", "param2"]
  },
  "start_time": 1457570074236,
  "end_time": 1457570075149,
  "setup_duration": 259754,
  "execution_duration": 3589020,
  "cleanup_duration": 31038,
  "trigger": "PERIODIC"
}

要求構造 Request structure

フィールド名Field Name TypeType DescriptionDescription
run_idrun_id INT64 メタデータの取得対象となる実行の標準識別子。The canonical identifier of the run for which to retrieve the metadata. このフィールドは必須です。This field is required.

応答構造体 Response structure

フィールド名Field Name TypeType DescriptionDescription
job_idjob_id INT64 この実行を含むジョブの正規識別子。The canonical identifier of the job that contains this run.
run_idrun_id INT64 実行の標準識別子。The canonical identifier of the run. この ID は、すべてのジョブのすべての実行で一意です。This ID is unique across all runs of all jobs.
number_in_jobnumber_in_job INT64 ジョブのすべての実行間で実行されたシーケンス番号。The sequence number of this run among all runs of the job. この値は1から始まります。This value starts at 1.
original_attempt_run_idoriginal_attempt_run_id INT64 この実行が前回の実行試行の再試行である場合、このフィールドには元の試行の run_id が含まれます。それ以外の場合は、run_id と同じです。If this run is a retry of a prior run attempt, this field contains the run_id of the original attempt; otherwise, it is the same as the run_id.
statestate RunStateRunState 実行の結果とライフサイクルの状態。The result and lifecycle states of the run.
scheduleschedule CronScheduleCronSchedule 定期的なスケジューラによってトリガーされた場合に、この実行をトリガーした cron スケジュール。The cron schedule that triggered this run if it was triggered by the periodic scheduler.
タスクtask JobTaskJobTask 実行によって実行されるタスク (存在する場合)。The task performed by the run, if any.
cluster_speccluster_spec ClusterSpecClusterSpec この実行が作成されたときのジョブのクラスター仕様のスナップショット。A snapshot of the job’s cluster specification when this run was created.
cluster_instancecluster_instance ClusterInstanceClusterInstance この実行に使用されるクラスター。The cluster used for this run. 実行が新しいクラスターを使用するように指定されている場合、このフィールドは、ジョブサービスが実行のためにクラスターを要求した後に設定されます。If the run is specified to use a new cluster, this field will be set once the Jobs service has requested a cluster for the run.
overriding_parametersoverriding_parameters RunParametersRunParameters この実行に使用するパラメーター。The parameters used for this run.
start_timestart_time INT64 この実行が開始された時間 (ミリ秒)。ミリ秒 (UTC 1/1/1970 UTC からのミリ秒)。The time at which this run was started in epoch milliseconds (milliseconds since 1/1/1970 UTC). これは、ジョブタスクの実行が開始された時間ではない可能性があります。たとえば、ジョブが新しいクラスターで実行されるようにスケジュールされている場合は、クラスターの作成呼び出しが発行された時点になります。This may not be the time when the job task starts executing, for example, if the job is scheduled to run on a new cluster, this is the time the cluster creation call is issued.
end_timeend_time INT64 この実行がエポックミリ秒で終了した時刻 (UTC 1/1/1970 UTC からのミリ秒)。The time at which this run ended in epoch milliseconds (milliseconds since 1/1/1970 UTC). ジョブがまだ実行されている場合、このフィールドは0に設定されます。This field will be set to 0 if the job is still running.
setup_durationsetup_duration INT64 クラスターを設定するのにかかった時間 (ミリ秒)。The time it took to set up the cluster in milliseconds. 新しいクラスターで実行される実行の場合、これはクラスターの作成時刻です。既存のクラスターで実行される実行の場合は、この時間が非常に短くなります。For runs that run on new clusters this is the cluster creation time, for runs that run on existing clusters this time should be very short.
execution_durationexecution_duration INT64 完了、失敗、タイムアウト、キャンセルされた、または予期しないエラーが発生するまで、JAR または notebook でのコマンドの実行にかかった時間 (ミリ秒)。The time in milliseconds it took to execute the commands in the JAR or notebook until they completed, failed, timed out, were cancelled, or encountered an unexpected error.
cleanup_durationcleanup_duration INT64 クラスターを終了し、関連付けられているすべてのアイテムをクリーンアップするのにかかった時間 (ミリ秒)。The time in milliseconds it took to terminate the cluster and clean up any associated artifacts. 実行の合計期間は、setup_duration、execution_duration、および cleanup_duration の合計です。The total duration of the run is the sum of the setup_duration, the execution_duration, and the cleanup_duration.
トリガー (trigger)trigger TriggerTypeTriggerType この実行を開始したトリガーの種類。The type of trigger that fired this run.
creator_user_namecreator_user_name STRING 作成者のユーザー名。The creator user name. ユーザーが削除されている場合、このフィールドは応答に含まれませんThis field won’t be included in the response if the user has been deleted
run_page_urlrun_page_url STRING 実行の詳細ページへの URL。The URL to the detail page of the run.

エクスポートを実行する Runs export

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/runs/export GET

ジョブ実行タスクをエクスポートして取得します。Export and retrieve the job run task.

注意

HTML 形式でエクスポートできるのはノートブックの実行だけです。Only notebook runs can be exported in HTML format. 他の種類の実行のエクスポートは失敗します。Exporting runs of other types will fail.

要求の例を次に示します。An example request:

/jobs/runs/export?run_id=452

応答の例を次に示します。An example response:

{
  "views": [ {
    "content": "<!DOCTYPE html><html><head>Head</head><body>Body</body></html>",
    "name": "my-notebook",
    "type": "NOTEBOOK"
  } ]
}

JSON 応答から HTML notebook を抽出するには、この Python スクリプトをダウンロードして実行します。To extract the HTML notebook from the JSON response, download and run this Python script.

注意

オブジェクトの notebook の本文 __DATABRICKS_NOTEBOOK_MODEL がエンコードされます。The notebook body in the __DATABRICKS_NOTEBOOK_MODEL object is encoded.

要求構造 Request structure

フィールド名Field Name TypeType DescriptionDescription
run_idrun_id INT64 実行の標準識別子。The canonical identifier for the run. このフィールドは必須です。This field is required.
views_to_exportviews_to_export ViewsToExportViewsToExport エクスポートするビュー (コード、ダッシュボード、またはすべて)。Which views to export (CODE, DASHBOARDS, or ALL). 既定値は CODE です。Defaults to CODE.

応答構造体 Response structure

フィールド名Field Name TypeType DescriptionDescription
viewsviews Viewitemの配列An array of ViewItem HTML 形式のエクスポートされたコンテンツ (ビューアイテムごとに1つ)。The exported content in HTML format (one for every view item).

キャンセルの実行 Runs cancel

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/runs/cancel POST

実行を取り消します。Cancel a run. 実行は非同期的にキャンセルされるため、この要求が完了しても実行されている可能性があります。The run is canceled asynchronously, so when this request completes, the run may still be running. 実行はすぐに終了します。The run will be terminated shortly. 実行が既にターミナルに存在する場合 life_cycle_state 、このメソッドは何も実行されません。If the run is already in a terminal life_cycle_state, this method is a no-op.

このエンドポイントは、パラメーターが有効であることを検証 run_id し、無効なパラメーターの場合は HTTP 状態コード400を返します。This endpoint validates that the run_id parameter is valid and for invalid parameters returns HTTP status code 400.

要求の例を次に示します。An example request:

{
  "run_id": 453
}

要求構造 Request structure

フィールド名Field Name TypeType DescriptionDescription
run_idrun_id INT64 このフィールドは必須です。This field is required.

Get の出力を実行します Runs get output

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/runs/get-output GET

実行の出力とメタデータを取得します。Retrieve the output and metadata of a run. Notebook タスクが dbutils () 呼び出しによって値を返す場合、このエンドポイントを使用してその値を取得できます。When a notebook task returns a value through the dbutils.notebook.exit() call, you can use this endpoint to retrieve that value. Azure Databricks は、この API を制限して、出力の最初の 5 MB を返します。Azure Databricks restricts this API to return the first 5 MB of the output. より大きな結果を返すために、ジョブの結果をクラウドストレージサービスに格納できます。For returning a larger result, you can store job results in a cloud storage service.

このエンドポイントは、パラメーターが有効であることを検証 run_id し、無効なパラメーターの場合は HTTP 状態コード400を返します。This endpoint validates that the run_id parameter is valid and for invalid parameters returns HTTP status code 400.

実行は60日後に自動的に削除されます。Runs are automatically removed after 60 days. 60日を超えてそれらを参照する場合は、期限が切れる前に古い実行結果を保存する必要があります。If you to want to reference them beyond 60 days, you should save old run results before they expire. UI を使用してエクスポートするには、「 ジョブの実行結果のエクスポート」を参照してください。To export using the UI, see Export job run results. ジョブ API を使用してエクスポートするには、「 export の実行」を参照してください。To export using the Job API, see Runs export.

要求の例を次に示します。An example request:

/jobs/runs/get-output?run_id=453

応答:And response:

{
  "metadata": {
    "job_id": 1,
    "run_id": 452,
    "number_in_job": 5,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/donald@duck.com/my-notebook"
      }
    },
    "cluster_spec": {
      "existing_cluster_id": "1201-my-cluster"
    },
    "cluster_instance": {
      "cluster_id": "1201-my-cluster",
      "spark_context_id": "1102398-spark-context-id"
    },
    "overriding_parameters": {
      "jar_params": ["param1", "param2"]
    },
    "start_time": 1457570074236,
    "setup_duration": 259754,
    "execution_duration": 3589020,
    "cleanup_duration": 31038,
    "trigger": "PERIODIC"
  },
  "notebook_output": {
    "result": "the maybe truncated string passed to dbutils.notebook.exit()"
  }
}

要求構造 Request structure

フィールド名Field Name TypeType DescriptionDescription
run_idrun_id INT64 実行の標準識別子。The canonical identifier for the run. このフィールドは必須です。This field is required.

応答構造体 Response structure

フィールド名Field Name TypeType DescriptionDescription
notebook_output またはエラーnotebook_output OR error NotebookOutput もしくは STRINGNotebookOutput OR STRING Notebook_output した場合、ノートブックタスクの出力 (使用可能な場合)。If notebook_output, the output of a notebook task, if available. を呼び出さずに (正常にまたはエラーで) 終了する notebook タスクA notebook task that terminates (either successfully or with a failure) without calling
dbutils.notebook.exit() は空の出力を持つと見なされます。dbutils.notebook.exit() is considered to have an empty output. このフィールドは設定されますが、結果の値は空になります。This field will be set but its result value will be empty.

Error の場合は、出力が利用できない理由を示すエラーメッセージ。If error, an error message indicating why output is not available. メッセージは非構造化であり、正確な形式は変更される可能性があります。The message is unstructured, and its exact format is subject to change.
metadatametadata 実行Run 出力を除く、実行のすべての詳細。All details of the run except for its output.

削除の実行 Runs delete

エンドポイントEndpoint HTTP メソッドHTTP Method
2.0/jobs/runs/delete POST

非アクティブな実行を削除します。Delete a non-active run. 実行がアクティブである場合は、エラーが返されます。Returns an error if the run is active.

要求の例を次に示します。An example request:

{
  "run_id": 42
}

要求構造 Request structure

フィールド名Field Name TypeType DescriptionDescription
run_idrun_id INT64 メタデータの取得対象となる実行の標準識別子。The canonical identifier of the run for which to retrieve the metadata.

データ構造 Data structures

このセクションの内容は次のとおりです。In this section:

Clusterinstance ClusterInstance

実行によって使用されるクラスターおよび Spark コンテキストの識別子。Identifiers for the cluster and Spark context used by a run. これらの2つの値は、常に実行コンテキストを識別します。These two values together identify an execution context across all time.

フィールド名Field Name TypeType DescriptionDescription
cluster_idcluster_id STRING 実行によって使用されるクラスターの標準識別子。The canonical identifier for the cluster used by a run. このフィールドは、既存のクラスターでの実行に常に使用できます。This field is always available for runs on existing clusters. 新しいクラスターでの実行では、クラスターの作成後に使用できるようになります。For runs on new clusters, it becomes available once the cluster is created. この値は、を参照してログを表示するために使用でき /#setting/sparkui/$cluster_id/driver-logs ます。This value can be used to view logs by browsing to /#setting/sparkui/$cluster_id/driver-logs. 実行が完了した後も、ログは引き続き利用できます。The logs will continue to be available after the run completes.

識別子がまだ使用できない場合、応答にこのフィールドは含まれません。The response won’t include this field if the identifier is not available yet.
spark_context_idspark_context_id STRING 実行によって使用される Spark コンテキストの正規識別子。The canonical identifier for the Spark context used by a run. このフィールドは、実行が開始されると入力されます。This field will be filled in once the run begins execution. この値は、を参照して Spark UI を表示するために使用でき /#setting/sparkui/$cluster_id/$spark_context_id ます。This value can be used to view the Spark UI by browsing to /#setting/sparkui/$cluster_id/$spark_context_id. 実行が完了すると、Spark UI が引き続き使用できるようになります。The Spark UI will continue to be available after the run has completed.

識別子がまだ使用できない場合、応答にこのフィールドは含まれません。The response won’t include this field if the identifier is not available yet.

Clusterspec ClusterSpec

重要

  • 新しいジョブクラスターでジョブを実行すると、ジョブは、ジョブ計算価格に従ってジョブとして処理されます (自動)。When you run a job on a new jobs cluster, the job is treated as a Jobs Compute (automated) workload subject to Jobs Compute pricing.
  • 既存のすべての目的のクラスターでジョブを実行すると、そのジョブは All-Purpose コンピューティング料金の対象となる All-Purpose コンピューティング (対話型) ワークロードとして扱われます。When you run a job on an existing all-purpose cluster, it is treated as an All-Purpose Compute (interactive) workload subject to All-Purpose Compute pricing.
フィールド名Field Name TypeType DescriptionDescription
existing_cluster_id または new_clusterexisting_cluster_id OR new_cluster STRING または NewclusterSTRING OR NewCluster Existing_cluster_id した場合、このジョブのすべての実行に使用される既存のクラスターの ID です。If existing_cluster_id, the ID of an existing cluster that will be used for all runs of this job. 既存のクラスターでジョブを実行する場合は、クラスターが応答を停止したときに手動で再起動する必要があります。When running jobs on an existing cluster, you may need to manually restart the cluster if it stops responding. 信頼性を高めるために、新しいクラスターでジョブを実行することをお勧めします。We suggest running jobs on new clusters for greater reliability.

New_cluster した場合は、実行のたびに作成されるクラスターの説明。If new_cluster, a description of a cluster that will be created for each run.
librarieslibraries ライブラリの配列An array of Library ジョブを実行するクラスターにインストールするライブラリのオプションの一覧。An optional list of libraries to be installed on the cluster that will execute the job. 既定値は空の一覧です。The default value is an empty list.

CronSchedule CronSchedule

フィールド名Field Name TypeType DescriptionDescription
quartz_cron_expressionquartz_cron_expression STRING ジョブのスケジュールを記述する、Quartz.dll 構文を使用する Cron 式。A Cron expression using Quartz syntax that describes the schedule for a job. 詳細については、「 Cron トリガー 」を参照してください。See Cron Trigger for details. このフィールドは必須です。This field is required.
timezone_idtimezone_id STRING Java タイムゾーン ID。A Java timezone ID. ジョブのスケジュールは、このタイムゾーンに対して解決されます。The schedule for a job will be resolved with respect to this timezone. 詳細については、 Java タイムゾーン を参照してください。See Java TimeZone for details. このフィールドは必須です。This field is required.
pause_statuspause_status STRING このスケジュールが一時停止されているかどうかを示します。Indicate whether this schedule is paused or not. "一時停止" または "一時停止" のいずれかです。Either “PAUSED” or “UNPAUSED”.

ジョブ Job

フィールド名Field Name TypeType DescriptionDescription
job_idjob_id INT64 このジョブの標準識別子。The canonical identifier for this job.
creator_user_namecreator_user_name STRING 作成者のユーザー名。The creator user name. ユーザーが既に削除されている場合、このフィールドは応答に含まれません。This field won’t be included in the response if the user has already been deleted.
settingssettings JobSettingsJobSettings このジョブとそのすべての実行の設定。Settings for this job and all of its runs. これらの設定は、メソッドを使用して更新でき resetJob ます。These settings can be updated using the resetJob method.
created_timecreated_time INT64 このジョブが作成された時刻 (ミリ秒 1/1/1970 UTC からのミリ秒)。The time at which this job was created in epoch milliseconds (milliseconds since 1/1/1970 UTC).

Jobemailnotifications JobEmailNotifications

重要

On_start、on_success、および on_failure の各フィールドには、ラテン文字 (ASCII 文字セット) のみを使用できます。The on_start, on_success, and on_failure fields accept only Latin characters (ASCII character set). ASCII 以外の文字を使用すると、エラーが返されます。Using non-ASCII characters will return an error. 無効な非 ASCII 文字の例として、中国語、日本語の kanjis、および emojis があります。Examples of invalid, non-ASCII characters are Chinese, Japanese kanjis, and emojis.

フィールド名Field Name TypeType DescriptionDescription
on_starton_start STRING の配列です。An array of STRING 実行の開始時に通知される電子メールアドレスの一覧。A list of email addresses to be notified when a run begins. ジョブの作成、リセット、または更新で指定されていない場合、一覧は空になり、通知は送信されません。If not specified on job creation, reset, or update, the list is empty, and notifications are not sent.
on_successon_success STRING の配列です。An array of STRING 実行が正常に完了したときに通知される電子メールアドレスの一覧。A list of email addresses to be notified when a run successfully completes. および result_state で終了した場合、実行は正常に完了したと見なされ TERMINATED life_cycle_state SUCCESSFUL ます。A run is considered to have completed successfully if it ends with a TERMINATED life_cycle_state and a SUCCESSFUL result_state. ジョブの作成、リセット、または更新で指定されていない場合、一覧は空になり、通知は送信されません。If not specified on job creation, reset, or update, the list is empty, and notifications are not sent.
on_failureon_failure STRING の配列です。An array of STRING 実行が失敗したときに通知される電子メールアドレスの一覧。A list of email addresses to be notified when a run unsuccessfully completes. 実行が正常に完了したと見なされるのは、 INTERNAL_ERRORA run is considered to have completed unsuccessfully if it ends with an INTERNAL_ERROR
life_cycle_state または、、、 SKIPPED FAILED または TIMED_OUT result_state。life_cycle_state or a SKIPPED, FAILED, or TIMED_OUT result_state. ジョブの作成時、リセット時、または更新時にこの設定を指定しなかった場合、リストは空になり、通知は送信されません。If this is not specified on job creation, reset, or update the list will be empty, and notifications are not sent.
no_alert_for_skipped_runsno_alert_for_skipped_runs BOOL True の場合、 on_failure 実行がスキップされた場合に、で指定された受信者に電子メールを送信しません。If true, do not send email to recipients specified in on_failure if the run is skipped.

Jobsettings JobSettings

重要

  • 新しいジョブクラスターでジョブを実行すると、ジョブは、ジョブ計算価格に従ってジョブとして処理されます (自動)。When you run a job on a new jobs cluster, the job is treated as a Jobs Compute (automated) workload subject to Jobs Compute pricing.
  • 既存のすべての目的のクラスターでジョブを実行すると、そのジョブは All-Purpose コンピューティング料金の対象となる All-Purpose コンピューティング (対話型) ワークロードとして扱われます。When you run a job on an existing all-purpose cluster, it is treated as an All-Purpose Compute (interactive) workload subject to All-Purpose Compute pricing.

ジョブの設定。Settings for a job. これらの設定は、メソッドを使用して更新でき resetJob ます。These settings can be updated using the resetJob method.

フィールド名Field Name TypeType DescriptionDescription
existing_cluster_id または new_clusterexisting_cluster_id OR new_cluster STRING または NewclusterSTRING OR NewCluster Existing_cluster_id した場合、このジョブのすべての実行に使用される既存のクラスターの ID です。If existing_cluster_id, the ID of an existing cluster that will be used for all runs of this job. 既存のクラスターでジョブを実行する場合は、クラスターが応答を停止したときに手動で再起動する必要があります。When running jobs on an existing cluster, you may need to manually restart the cluster if it stops responding. 信頼性を高めるために、新しいクラスターでジョブを実行することをお勧めします。We suggest running jobs on new clusters for greater reliability.

New_cluster した場合は、実行のたびに作成されるクラスターの説明。If new_cluster, a description of a cluster that will be created for each run.
notebook_task または spark_jar_task または spark_python_task または spark_submit_tasknotebook_task OR spark_jar_task OR spark_python_task OR spark_submit_task NotebookTask または SparkJarTask または SparkPythonTask または SparkSubmitTaskNotebookTask OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask Notebook_task の場合、このジョブで notebook を実行する必要があることを示します。If notebook_task, indicates that this job should run a notebook. このフィールドは、spark_jar_task と組み合わせて指定することはできません。This field may not be specified in conjunction with spark_jar_task.

Spark_jar_task の場合、このジョブは JAR を実行する必要があることを示します。If spark_jar_task, indicates that this job should run a JAR.

Spark_python_task の場合、このジョブは Python ファイルを実行する必要があることを示します。If spark_python_task, indicates that this job should run a Python file.

Spark_submit_task の場合、このジョブは spark submit スクリプトによって起動される必要があることを示します。If spark_submit_task, indicates that this job should be launched by the spark submit script.
namename STRING ジョブの名前 (省略可能)。An optional name for the job. 既定値は Untitled です。The default value is Untitled.
librarieslibraries ライブラリの配列An array of Library ジョブを実行するクラスターにインストールするライブラリのオプションの一覧。An optional list of libraries to be installed on the cluster that will execute the job. 既定値は空の一覧です。The default value is an empty list.
email_notificationsemail_notifications JobEmailNotificationsJobEmailNotifications このジョブの実行が開始または完了したときと、このジョブが削除されたときに通知される電子メールアドレスのオプションのセット。An optional set of email addresses that will be notified when runs of this job begin or complete as well as when this job is deleted. 既定の動作では、電子メールは送信されません。The default behavior is to not send any emails.
timeout_secondstimeout_seconds INT32 このジョブの実行ごとに、オプションのタイムアウトが適用されます。An optional timeout applied to each run of this job. 既定の動作では、タイムアウトはありません。The default behavior is to have no timeout.
max_retriesmax_retries INT32 失敗した実行を再試行するオプションの最大回数。An optional maximum number of times to retry an unsuccessful run. Result_state で完了した場合、実行は失敗したと見なされます。 FAILEDA run is considered to be unsuccessful if it completes with the FAILED result_state or
INTERNAL_ERROR
life_cycle_state.life_cycle_state. 値-1 は、無制限に再試行することを意味し、値0は再試行しないことを意味します。The value -1 means to retry indefinitely and the value 0 means to never retry. 既定の動作では、再試行は行われません。The default behavior is to never retry.
min_retry_interval_millismin_retry_interval_millis INT32 試行の間隔をミリ秒単位で指定します (省略可能)。An optional minimal interval in milliseconds between attempts. 既定の動作では、失敗した実行はすぐに再試行されます。The default behavior is that unsuccessful runs are immediately retried.
retry_on_timeoutretry_on_timeout BOOL ジョブがタイムアウトしたときに再試行するかどうかを指定するオプションのポリシー。既定の動作では、タイムアウト時に再試行されません。An optional policy to specify whether to retry a job when it times out. The default behavior is to not retry on timeout.
scheduleschedule CronScheduleCronSchedule このジョブの定期スケジュール (省略可)。An optional periodic schedule for this job. 既定の動作では、ジョブは、ジョブ UI で [今すぐ実行] をクリックするか、API 要求をに送信することによってトリガーされたときにのみ実行されます。The default behavior is that the job will only run when triggered by clicking “Run Now” in the Jobs UI or sending an API request to
runNow.runNow.
max_concurrent_runsmax_concurrent_runs INT32 ジョブの同時実行の最大許容数 (オプション)。An optional maximum allowed number of concurrent runs of the job.

同じジョブの複数の実行を同時に実行できるようにする場合は、この値を設定します。Set this value if you want to be able to execute multiple runs of the same job concurrently. これは、たとえば、頻繁に実行されるスケジュールでジョブをトリガーし、連続した実行を互いにオーバーラップさせたい場合や、入力パラメーターが異なる複数の実行をトリガーする場合などに便利です。This is useful for example if you trigger your job on a frequent schedule and want to allow consecutive runs to overlap with each other, or if you want to trigger multiple runs which differ by their input parameters.

この設定は、新しい実行にのみ影響します。This setting affects only new runs. たとえば、ジョブの同時実行が4で、同時に4つのアクティブな実行があるとします。For example, suppose the job’s concurrency is 4 and there are 4 concurrent active runs. その後、同時実行を3に設定しても、アクティブな実行は強制終了されません。Then setting the concurrency to 3 won’t kill any of the active runs. ただし、それ以降、アクティブな実行数が3回未満の場合を除き、新しい実行はスキップされます。However, from then on, new runs will be skipped unless there are fewer than 3 active runs.

この値は1000を超えることはできません。This value cannot exceed 1000. この値を0に設定すると、すべての新しい実行がスキップされます。Setting this value to 0 causes all new runs to be skipped. 既定の動作では、同時実行を1つだけ許可します。The default behavior is to allow only 1 concurrent run.

Jobtask JobTask

フィールド名Field Name TypeType DescriptionDescription
notebook_task または spark_jar_task または spark_python_task または spark_submit_tasknotebook_task OR spark_jar_task OR spark_python_task OR spark_submit_task NotebookTask または SparkJarTask または SparkPythonTask または SparkSubmitTaskNotebookTask OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask Notebook_task の場合、このジョブで notebook を実行する必要があることを示します。If notebook_task, indicates that this job should run a notebook. このフィールドは、spark_jar_task と組み合わせて指定することはできません。This field may not be specified in conjunction with spark_jar_task.

Spark_jar_task の場合、このジョブは JAR を実行する必要があることを示します。If spark_jar_task, indicates that this job should run a JAR.

Spark_python_task の場合、このジョブは Python ファイルを実行する必要があることを示します。If spark_python_task, indicates that this job should run a Python file.

Spark_submit_task の場合、このジョブは spark submit スクリプトによって起動される必要があることを示します。If spark_submit_task, indicates that this job should be launched by the spark submit script.

Newcluster NewCluster

フィールド名Field Name TypeType DescriptionDescription
num_workers または自動スケールnum_workers OR autoscale INT32 または 自動スケールINT32 OR AutoScale Num_workers 場合、このクラスターに必要な worker ノードの数。If num_workers, number of worker nodes that this cluster should have. クラスターには、合計 num_workers + 1 個の Spark ノードに対して、1つの Spark ドライバーと num_workers のエグゼキュータがあります。A cluster has one Spark driver and num_workers executors for a total of num_workers + 1 Spark nodes.

注: クラスターのプロパティを読み取る場合、このフィールドには、実際のワーカー数ではなく、目的のワーカー数が反映されます。Note: When reading the properties of a cluster, this field reflects the desired number of workers rather than the actual current number of workers. たとえば、クラスターのサイズを 5 ~ 10 ワーカーに変更した場合、このフィールドはすぐに更新されて10個のワーカーの目標サイズが反映されますが、新しいノードがプロビジョニングされると spark_info に一覧表示されるワーカーは5から10まで徐々に増加します。For instance, if a cluster is resized from 5 to 10 workers, this field will immediately be updated to reflect the target size of 10 workers, whereas the workers listed in spark_info gradually increase from 5 to 10 as the new nodes are provisioned.

自動スケールの場合、負荷に基づいてクラスターを自動的にスケールアップまたはスケールダウンするために必要なパラメーター。If autoscale, parameters needed in order to automatically scale clusters up and down based on load.
spark_versionspark_version STRING クラスターの Spark バージョン。The Spark version of the cluster. 使用可能な Spark バージョンの一覧は、 ランタイムバージョン の API 呼び出しを使用して取得できます。A list of available Spark versions can be retrieved by using the Runtime versions API call. このフィールドは必須です。This field is required.
spark_confspark_conf SparkConfPairSparkConfPair オプションのユーザー指定の Spark 構成のキーと値のペアのセットを格納しているオブジェクト。An object containing a set of optional, user-specified Spark configuration key-value pairs. また、を使用して、追加の JVM オプションの文字列をドライバーおよびエグゼキュータに渡すこともできます。You can also pass in a string of extra JVM options to the driver and the executors via
spark.driver.extraJavaOptions````spark.executor.extraJavaOptionsそれぞれ。spark.driver.extraJavaOptions and spark.executor.extraJavaOptions respectively.

Spark confs の例:Example Spark confs:
{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} または{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} or
{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}
node_type_idnode_type_id STRING このフィールドは、単一の値を通じて使用されるリソースをこのクラスターのそれぞれの Spark ノードにエンコードします。This field encodes, through a single value, the resources available to each of the Spark nodes in this cluster. たとえば、Spark ノードは、メモリまたは多くのコンピューティング処理を要するワークロード用にプロビジョニングおよび最適化できます。使用可能なノードの種類の一覧は、 list node types API 呼び出しを使用して取得できます。For example, the Spark nodes can be provisioned and optimized for memory or compute intensive workloads A list of available node types can be retrieved by using the List node types API call. このフィールドは必須です。This field is required.
driver_node_type_iddriver_node_type_id STRING Spark ドライバーのノード型。The node type of the Spark driver. このフィールドは省略可能です。設定が解除されている場合、ドライバーノードの種類は、上で定義したのと同じ値として設定され node_type_id ます。This field is optional; if unset, the driver node type is set as the same value as node_type_id defined above.
custom_tagscustom_tags ClusterTagClusterTag クラスターリソースのタグのセットを格納しているオブジェクト。An object containing a set of tags for cluster resources. Databricks は、default_tags に加えて、すべてのクラスターリソース (Vm など) にタグを付けます。Databricks tags all cluster resources (such as VMs) with these tags in addition to default_tags.

:Note:

* タグは、コンピューティング最適化やメモリ最適化などの従来のノード型ではサポートされていません。* Tags are not supported on legacy node types such as compute-optimized and memory-optimized
* Databricks では、最大45のカスタムタグを使用できます* Databricks allows at most 45 custom tags
cluster_log_confcluster_log_conf ClusterLogConfClusterLogConf Spark ログを長期保存先に配信するための構成。The configuration for delivering Spark logs to a long-term storage destination. 1つのクラスターに対して指定できる宛先は1つだけです。Only one destination can be specified for one cluster. Conf が指定されている場合、ログはすべての場所に配信され 5 mins ます。If the conf is given, the logs will be delivered to the destination every 5 mins. ドライバーログの出力先はですが <destination>/<cluster-id>/driver 、実行プログラムのログの出力先は <destination>/<cluster-id>/executor です。The destination of driver logs is <destination>/<cluster-id>/driver, while the destination of executor logs is <destination>/<cluster-id>/executor.
init_scriptsinit_scripts InitScriptInfoの配列An array of InitScriptInfo Init スクリプトを格納するための構成。The configuration for storing init scripts. 任意の数のスクリプトを指定できます。Any number of scripts can be specified. スクリプトは、指定された順序で順番に実行されます。The scripts are executed sequentially in the order provided. cluster_log_conf 指定した場合、init スクリプトのログはに送信されます。If cluster_log_conf is specified, init script logs are sent to
<destination>/<cluster-id>/init_scripts.<destination>/<cluster-id>/init_scripts.
spark_env_varsspark_env_vars SparkEnvPairSparkEnvPair 省略可能な、ユーザー指定の環境変数のキーと値のペアのセットを格納しているオブジェクト。An object containing a set of optional, user-specified environment variable key-value pairs. フォーム (X, Y) のキーと値のペアは、としてエクスポートされます (つまり、Key-value pair of the form (X,Y) are exported as is (i.e.,
export X='Y') を起動します。export X='Y') while launching the driver and workers.

の追加のセットを指定するには SPARK_DAEMON_JAVA_OPTS$SPARK_DAEMON_JAVA_OPTS 次の例に示すように、をに追加することをお勧めします。In order to specify an additional set of SPARK_DAEMON_JAVA_OPTS, we recommend appending them to $SPARK_DAEMON_JAVA_OPTS as shown in the following example. これにより、すべての既定の databricks マネージ環境変数が確実に含まれるようになります。This ensures that all default databricks managed environmental variables are included as well.

Spark 環境変数の例を次に示します。Example Spark environment variables:
{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} または{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} or
{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
enable_elastic_diskenable_elastic_disk BOOL ローカルストレージの自動スケール: このクラスターを有効にすると、Spark worker のディスク領域が不足しているときに、追加のディスク領域が動的に取得されます。Autoscaling Local Storage: when enabled, this cluster dynamically acquires additional disk space when its Spark workers are running low on disk space. 詳細については、「自動 スケールのローカルストレージ 」を参照してください。Refer to Autoscaling local storage for details.
instance_pool_idinstance_pool_id STRING クラスターが属するインスタンスプールの省略可能な ID。The optional ID of the instance pool to which the cluster belongs. 詳細については、 インスタンスプール API に関する説明を参照してください。Refer to Instance Pools API for details.

NotebookOutput NotebookOutput

フィールド名Field Name TypeType DescriptionDescription
結果result STRING Dbutils ()に渡される値。The value passed to dbutils.notebook.exit(). Azure Databricks によって、この API は値の最初の 1 MB を返すように制限されます。Azure Databricks restricts this API to return the first 1 MB of the value. より大きな結果が得られるように、ジョブはクラウドストレージサービスに結果を格納できます。For a larger result, your job can store the results in a cloud storage service. が呼び出されなかった場合、このフィールドは存在 dbutils.notebook.exit() しません。This field will be absent if dbutils.notebook.exit() was never called.
省略truncated BOOLEAN 結果が切り捨てられたかどうか。Whether or not the result was truncated.

NotebookTask NotebookTask

出力セルはすべて、8MB のサイズになります。All the output cells are subject to the size of 8MB. セルの出力のサイズが大きい場合、実行の残りの部分はキャンセルされ、実行は失敗としてマークされます。If the output of a cell has a larger size, the rest of the run will be cancelled and the run will be marked as failed. その場合は、他のセルからのコンテンツ出力の一部が欠落していることもあります。In that case, some of the content output from other cells may also be missing.

制限を超えているセルを見つけるためにヘルプが必要な場合は、すべての目的のクラスターに対して notebook を実行し、この ノートブックの自動保存の手法を使用します。If you need help finding the cell that is beyond the limit, run the notebook against an all-purpose cluster and use this notebook autosave technique.

フィールド名Field Name TypeType DescriptionDescription
notebook_pathnotebook_path STRING Azure Databricks ワークスペースで実行される notebook の絶対パスです。The absolute path of the notebook to be run in the Azure Databricks workspace. このパスはスラッシュで始まる必要があります。This path must begin with a slash. このフィールドは必須です。This field is required.
revision_timestamprevision_timestamp LONG Notebook のリビジョンのタイムスタンプ。The timestamp of the revision of the notebook.
base_parametersbase_parameters ParampairのマップA map of ParamPair このジョブの実行ごとに使用される基本パラメーター。Base parameters to be used for each run of this job. パラメーターを指定してを呼び出すことによって実行が開始される run-now と、2つのパラメーターマップがマージされます。If the run is initiated by a call to run-now with parameters specified, the two parameters maps will be merged. とで同じキーが指定されている場合、の値が使用され base_parameters run-now run-now ます。If the same key is specified in base_parameters and in run-now, the value from run-now will be used.

ジョブの実行に関する情報を含むパラメーターを設定するには、 タスクパラメーター変数 を使用します。Use Task parameter variables to set parameters containing information about job runs.

Notebook がジョブのパラメーターまたは上書きパラメーターで指定されていないパラメーターを受け取ると、 base_parameters run-now ノートブックの既定値が使用されます。If the notebook takes a parameter that is not specified in the job’s base_parameters or the run-now override parameters, the default value from the notebook will be used.

Dbutilsを使用して notebook でこれらのパラメーターを取得します。Retrieve these parameters in a notebook using dbutils.widgets.get.

Parampair ParamPair

ノートブックタスクを実行するジョブの名前ベースのパラメーター。Name-based parameters for jobs running notebook tasks.

重要

このデータ構造内のフィールドは、ラテン文字 (ASCII 文字セット) のみを受け入れます。The fields in this data structure accept only Latin characters (ASCII character set). ASCII 以外の文字を使用すると、エラーが返されます。Using non-ASCII characters will return an error. 無効な非 ASCII 文字の例として、中国語、日本語の kanjis、および emojis があります。Examples of invalid, non-ASCII characters are Chinese, Japanese kanjis, and emojis.

TypeType DescriptionDescription
STRING パラメーター名です。Parameter name. dbutils に渡して、値を取得します。Pass to dbutils.widgets.get to retrieve the value.
STRING パラメーター値。Parameter value.

実行 Run

出力以外の実行に関するすべての情報。All the information about a run except for its output. 出力は、メソッドとは別に取得でき getRunOutput ます。The output can be retrieved separately with the getRunOutput method.

フィールド名Field Name TypeType DescriptionDescription
job_idjob_id INT64 この実行を含むジョブの正規識別子。The canonical identifier of the job that contains this run.
run_idrun_id INT64 実行の標準識別子。The canonical identifier of the run. この ID は、すべてのジョブのすべての実行で一意です。This ID is unique across all runs of all jobs.
creator_user_namecreator_user_name STRING 作成者のユーザー名。The creator user name. ユーザーが既に削除されている場合、このフィールドは応答に含まれません。This field won’t be included in the response if the user has already been deleted.
number_in_jobnumber_in_job INT64 ジョブのすべての実行間で実行されたシーケンス番号。The sequence number of this run among all runs of the job. この値は1から始まります。This value starts at 1.
original_attempt_run_idoriginal_attempt_run_id INT64 この実行が前回の実行試行の再試行である場合、このフィールドには元の試行の run_id が含まれます。それ以外の場合は、run_id と同じです。If this run is a retry of a prior run attempt, this field contains the run_id of the original attempt; otherwise, it is the same as the run_id.
statestate RunStateRunState 実行の結果とライフサイクルの状態。The result and lifecycle states of the run.
scheduleschedule CronScheduleCronSchedule 定期的なスケジューラによってトリガーされた場合に、この実行をトリガーした cron スケジュール。The cron schedule that triggered this run if it was triggered by the periodic scheduler.
タスクtask JobTaskJobTask 実行によって実行されるタスク (存在する場合)。The task performed by the run, if any.
cluster_speccluster_spec ClusterSpecClusterSpec この実行が作成されたときのジョブのクラスター仕様のスナップショット。A snapshot of the job’s cluster specification when this run was created.
cluster_instancecluster_instance ClusterInstanceClusterInstance この実行に使用されるクラスター。The cluster used for this run. 実行が新しいクラスターを使用するように指定されている場合、このフィールドは、ジョブサービスが実行のためにクラスターを要求した後に設定されます。If the run is specified to use a new cluster, this field will be set once the Jobs service has requested a cluster for the run.
overriding_parametersoverriding_parameters RunParametersRunParameters この実行に使用するパラメーター。The parameters used for this run.
start_timestart_time INT64 この実行が開始された時間 (ミリ秒)。ミリ秒 (UTC 1/1/1970 UTC からのミリ秒)。The time at which this run was started in epoch milliseconds (milliseconds since 1/1/1970 UTC). これは、ジョブタスクの実行が開始された時間ではない可能性があります。たとえば、ジョブが新しいクラスターで実行されるようにスケジュールされている場合は、クラスターの作成呼び出しが発行された時点になります。This may not be the time when the job task starts executing, for example, if the job is scheduled to run on a new cluster, this is the time the cluster creation call is issued.
setup_durationsetup_duration INT64 クラスターを設定するのにかかった時間 (ミリ秒)。The time it took to set up the cluster in milliseconds. 新しいクラスターで実行される実行の場合、これはクラスターの作成時刻です。既存のクラスターで実行される実行の場合は、この時間が非常に短くなります。For runs that run on new clusters this is the cluster creation time, for runs that run on existing clusters this time should be very short.
execution_durationexecution_duration INT64 完了、失敗、タイムアウト、キャンセルされた、または予期しないエラーが発生するまで、JAR または notebook でのコマンドの実行にかかった時間 (ミリ秒)。The time in milliseconds it took to execute the commands in the JAR or notebook until they completed, failed, timed out, were cancelled, or encountered an unexpected error.
cleanup_durationcleanup_duration INT64 クラスターを終了し、関連付けられているすべてのアイテムをクリーンアップするのにかかった時間 (ミリ秒)。The time in milliseconds it took to terminate the cluster and clean up any associated artifacts. 実行の合計期間は、setup_duration、execution_duration、および cleanup_duration の合計です。The total duration of the run is the sum of the setup_duration, the execution_duration, and the cleanup_duration.
end_timeend_time INT64 この実行がエポックミリ秒で終了した時刻 (UTC 1/1/1970 UTC からのミリ秒)。The time at which this run ended in epoch milliseconds (milliseconds since 1/1/1970 UTC). ジョブがまだ実行されている場合、このフィールドは0に設定されます。This field will be set to 0 if the job is still running.
トリガー (trigger)trigger TriggerTypeTriggerType この実行を開始したトリガーの種類。The type of trigger that fired this run.
run_namerun_name STRING 実行の名前を指定します (省略可能)。An optional name for the run. 既定値は Untitled です。The default value is Untitled. 許容される最大長は、UTF-8 エンコーディングでは4096バイトです。The maximum allowed length is 4096 bytes in UTF-8 encoding.
run_page_urlrun_page_url STRING 実行の詳細ページへの URL。The URL to the detail page of the run.
run_typerun_type STRING 実行の種類。The type of the run.

* JOB_RUN -通常のジョブの実行。* JOB_RUN - Normal job run. Nowで作成された実行。A run created with Run now.
* WORKFLOW_RUN -ワークフローの実行。* WORKFLOW_RUN - Workflow run. Dbutilsを使用して作成された実行。A run created with dbutils.notebook.run.
* SUBMIT_RUN -実行を送信します。* SUBMIT_RUN - Submit run. Nowで作成された実行。A run created with Run now.
attempt_numberattempt_number INT32 トリガーされたジョブの実行試行のシーケンス番号。The sequence number of this run attempt for a triggered job run. 実行の最初の試行では、attempt_number が0になります。The initial attempt of a run has an attempt_number of 0. 最初の実行の試行が失敗し、ジョブに再試行ポリシー ( max_retries > 0) がある場合、後続の実行は original_attempt_run_id 元の試行の ID とインクリメントのを使用して作成され attempt_number ます。If the initial run attempt fails, and the job has a retry policy (max_retries > 0), subsequent runs are created with an original_attempt_run_id of the original attempt’s ID and an incrementing attempt_number. 実行は成功するまで再試行され、最大 attempt_number max_retries 値はジョブの値と同じになります。Runs are retried only until they succeed, and the maximum attempt_number is the same as the max_retries value for the job.

Runparameters RunParameters

この実行のパラメーター。Parameters for this run. python_params run-now ジョブタスクの種類に応じて、要求で指定する jar_params、、または notebook_params のいずれか1つだけを指定する必要があります。Only one of jar_params, python_params, or notebook_params should be specified in the run-now request, depending on the type of job task. Spark JAR タスクまたは Python タスクを含むジョブは、位置ベースのパラメーターの一覧を取得し、notebook タスクを含むジョブはキー値のマップを取得します。Jobs with Spark JAR task or Python task take a list of position-based parameters, and jobs with notebook tasks take a key value map.

フィールド名Field Name TypeType DescriptionDescription
jar_paramsjar_params STRING の配列です。An array of STRING Spark JAR タスクを使用したジョブのパラメーターの一覧 (例: "jar_params": ["john doe", "35"] )。A list of parameters for jobs with Spark JAR tasks, e.g. "jar_params": ["john doe", "35"]. パラメーターは、Spark JAR タスクで指定されたメインクラスの main 関数を呼び出すために使用されます。The parameters will be used to invoke the main function of the main class specified in the Spark JAR task. で指定されていない場合 run-now 、既定で空のリストになります。If not specified upon run-now, it will default to an empty list. jar_params を notebook_params と組み合わせて指定することはできません。jar_params cannot be specified in conjunction with notebook_params. このフィールドの JSON 表現 (つまり) は、 {"jar_params":["john doe","35"]} 1万バイトを超えることはできません。The JSON representation of this field (i.e. {"jar_params":["john doe","35"]}) cannot exceed 10,000 bytes.

ジョブの実行に関する情報を含むパラメーターを設定するには、 タスクパラメーター変数 を使用します。Use Task parameter variables to set parameters containing information about job runs.
notebook_paramsnotebook_params ParampairのマップA map of ParamPair ノートブックタスクを含むジョブの値に対するキーからのマップ (例:A map from keys to values for jobs with notebook task, e.g.
"notebook_params": {"name": "john doe", "age": "35"}."notebook_params": {"name": "john doe", "age": "35"}. マップは notebook に渡され、 dbutils 関数を使用してアクセスできます。The map is passed to the notebook and is accessible through the dbutils.widgets.get function.

で指定されていない場合、トリガーされた run-now 実行はジョブの基本パラメーターを使用します。If not specified upon run-now, the triggered run uses the job’s base parameters.

notebook_params を jar_params と組み合わせて指定することはできません。notebook_params cannot be specified in conjunction with jar_params.

ジョブの実行に関する情報を含むパラメーターを設定するには、 タスクパラメーター変数 を使用します。Use Task parameter variables to set parameters containing information about job runs.

このフィールドの JSON 表現 (つまり、The JSON representation of this field (i.e.
{"notebook_params":{"name":"john doe","age":"35"}}) が1万バイトを超えることはできません。{"notebook_params":{"name":"john doe","age":"35"}}) cannot exceed 10,000 bytes.
python_paramspython_params STRING の配列です。An array of STRING Python タスクを含むジョブのパラメーターの一覧 (例: "python_params": ["john doe", "35"] )。A list of parameters for jobs with Python tasks, e.g. "python_params": ["john doe", "35"]. パラメーターは、コマンドラインパラメーターとして Python ファイルに渡されます。The parameters are passed to Python file as command-line parameters. で指定した場合 run-now 、ジョブ設定で指定されたパラメーターが上書きされます。If specified upon run-now, it would overwrite the parameters specified in job setting. このフィールドの JSON 表現 (つまり) は、 {"python_params":["john doe","35"]} 1万バイトを超えることはできません。The JSON representation of this field (i.e. {"python_params":["john doe","35"]}) cannot exceed 10,000 bytes.

ジョブの実行に関する情報を含むパラメーターを設定するには、 タスクパラメーター変数 を使用します。Use Task parameter variables to set parameters containing information about job runs.

> [!IMPORTANT] これらのパラメーター > > は、ラテン文字 (ASCII 文字セット) のみを受け入れます。> [!IMPORTANT] > > These parameters accept only Latin characters (ASCII character set). > ASCII 以外の文字を使用すると、エラーが返されます。> Using non-ASCII characters will return an error. 無効な非 ASCII 文字の例としては、> 中国語、日本語 kanjis、および emojis があります。Examples of invalid, non-ASCII characters are > Chinese, Japanese kanjis, and emojis.
spark_submit_paramsspark_submit_params STRING の配列です。An array of STRING Spark 送信タスクを使用したジョブのパラメーターの一覧 (例:A list of parameters for jobs with spark submit task, e.g.
"spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]."spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]. パラメーターは、コマンドラインパラメーターとして spark submit スクリプトに渡されます。The parameters are passed to spark-submit script as command-line parameters. で指定した場合 run-now 、ジョブ設定で指定されたパラメーターが上書きされます。If specified upon run-now, it would overwrite the parameters specified in job setting. このフィールドの JSON 表現 (つまり) は、 {"python_params":["john doe","35"]} 1万バイトを超えることはできません。The JSON representation of this field (i.e. {"python_params":["john doe","35"]}) cannot exceed 10,000 bytes.

ジョブの実行に関する情報を含むパラメーターを設定するには、 タスクパラメーター変数 を使用します。Use Task parameter variables to set parameters containing information about job runs.

> [!IMPORTANT] これらのパラメーター > > は、ラテン文字 (ASCII 文字セット) のみを受け入れます。> [!IMPORTANT] > > These parameters accept only Latin characters (ASCII character set). > ASCII 以外の文字を使用すると、エラーが返されます。> Using non-ASCII characters will return an error. 無効な非 ASCII 文字の例としては、> 中国語、日本語 kanjis、および emojis があります。Examples of invalid, non-ASCII characters are > Chinese, Japanese kanjis, and emojis.

Runstate RunState

フィールド名Field Name TypeType DescriptionDescription
life_cycle_statelife_cycle_state RunLifeCycleStateRunLifeCycleState 実行のライフサイクルにおける実行の現在の場所の説明。A description of a run’s current location in the run lifecycle. このフィールドは、応答で常に使用できます。This field is always available in the response.
result_stateresult_state RunResultStateRunResultState 実行の結果の状態です。The result state of a run. 使用できない場合は、応答にこのフィールドは含まれません。If it is not available, the response won’t include this field. Result_state の可用性の詳細については、「 Runresultstate 」を参照してください。See RunResultState for details about the availability of result_state.
state_messagestate_message STRING 現在の状態の説明メッセージ。A descriptive message for the current state. このフィールドは非構造化であり、正確な形式は変更される可能性があります。This field is unstructured, and its exact format is subject to change.

SparkJarTask SparkJarTask

フィールド名Field Name TypeType DescriptionDescription
jar_urijar_uri STRING 04/2016 以降は非推奨となりました。Deprecated since 04/2016. 代わりに、 jar フィールドを使用してを指定 libraries します。Provide a jar through the libraries field instead. 例については、「 Create」を参照してください。For an example, see Create.
main_class_namemain_class_name STRING 実行される main メソッドを含むクラスのフル ネーム。The full name of the class containing the main method to be executed. このクラスは、ライブラリとして提供される JAR に含まれている必要があります。This class must be contained in a JAR provided as a library.

このコードでは、を使用して SparkContext.getOrCreate Spark コンテキストを取得する必要があります。そうしないと、ジョブの実行が失敗します。The code should use SparkContext.getOrCreate to obtain a Spark context; otherwise, runs of the job will fail.
parametersparameters STRING の配列です。An array of STRING Main メソッドに渡されるパラメーター。Parameters passed to the main method.

ジョブの実行に関する情報を含むパラメーターを設定するには、 タスクパラメーター変数 を使用します。Use Task parameter variables to set parameters containing information about job runs.

SparkPythonTask SparkPythonTask

フィールド名Field Name TypeType DescriptionDescription
python_filepython_file STRING 実行される Python ファイルの URI。The URI of the Python file to be executed. DBFS のパスがサポートされています。DBFS paths are supported. このフィールドは必須です。This field is required.
parametersparameters STRING の配列です。An array of STRING Python ファイルに渡されるコマンドラインパラメーター。Command line parameters passed to the Python file.

ジョブの実行に関する情報を含むパラメーターを設定するには、 タスクパラメーター変数 を使用します。Use Task parameter variables to set parameters containing information about job runs.

SparkSubmitTask SparkSubmitTask

重要

  • Spark submit タスクは、新しいクラスターでのみ呼び出すことができます。You can invoke Spark submit tasks only on new clusters.
  • New_cluster の仕様で libraries は、および spark_conf はサポートされていません。In the new_cluster specification, libraries and spark_conf are not supported. 代わりに、およびを使用して --jars --py-files Java および Python ライブラリを追加し、 --conf Spark 構成を設定します。Instead, use --jars and --py-files to add Java and Python libraries and --conf to set the Spark configuration.
  • masterdeploy-mode 、および executor-cores は、Azure Databricks によって自動的に構成されます。パラメーターで指定する ことはできませんmaster, deploy-mode, and executor-cores are automatically configured by Azure Databricks; you cannot specify them in parameters.
  • 既定では、Spark submit ジョブは使用可能なすべてのメモリを使用します (Azure Databricks services の予約済みメモリは除く)。By default, the Spark submit job uses all available memory (excluding reserved memory for Azure Databricks services). とを設定し --driver-memory て、 --executor-memory ヒープを使用するための空き領域を残しておくことができます。You can set --driver-memory, and --executor-memory to a smaller value to leave some room for off-heap usage.
  • 、、の各引数では、DBFS パスがサポートされて --jars --py-files --files います。The --jars, --py-files, --files arguments support DBFS paths.

たとえば、JAR が DBFS にアップロードされたと仮定した場合は、次のパラメーターを設定すること SparkPi によってを実行できます。For example, assuming the JAR is uploaded to DBFS, you can run SparkPi by setting the following parameters.

{
  "parameters": [
    "--class",
    "org.apache.spark.examples.SparkPi",
    "dbfs:/path/to/examples.jar",
    "10"
  ]
}
フィールド名Field Name TypeType DescriptionDescription
parametersparameters STRING の配列です。An array of STRING Spark submit に渡されるコマンドラインパラメーター。Command-line parameters passed to spark submit.

ジョブの実行に関する情報を含むパラメーターを設定するには、 タスクパラメーター変数 を使用します。Use Task parameter variables to set parameters containing information about job runs.

Viewitem ViewItem

エクスポートされたコンテンツは HTML 形式です。The exported content is in HTML format. たとえば、エクスポートするビューがダッシュボードの場合、ダッシュボードごとに1つの HTML 文字列が返されます。For example, if the view to export is dashboards, one HTML string is returned for every dashboard.

フィールド名Field Name TypeType 説明Description
コンテンツcontent STRING ビューのコンテンツ。Content of the view.
namename STRING ビューアイテムの名前。Name of the view item. コードビューの場合は、notebook の名前になります。In the case of code view, it would be the notebook’s name. ダッシュボードビューの場合は、ダッシュボードの名前になります。In the case of dashboard view, it would be the dashboard’s name.
typetype ViewTypeViewType ビューアイテムの種類。Type of the view item.

RunLifeCycleState RunLifeCycleState

実行のライフサイクル状態。The life cycle state of a run. 許可される状態遷移は次のとおりです。Allowed state transitions are:

  • PENDING -> RUNNING -> TERMINATING -> TERMINATED
  • PENDING -> SKIPPED
  • PENDING -> INTERNAL_ERROR
  • RUNNING -> INTERNAL_ERROR
  • TERMINATING -> INTERNAL_ERROR
StateState DescriptionDescription
PENDING 実行がトリガーされました。The run has been triggered. 同じジョブがアクティブに実行されていない場合は、クラスターと実行コンテキストが準備されています。If there is not already an active run of the same job, the cluster and execution context are being prepared. 同じジョブのアクティブな実行が既に存在する場合、実行はリソースを準備せずにすぐに状態に移行し SKIPPED ます。If there is already an active run of the same job, the run will immediately transition into the SKIPPED state without preparing any resources.
RUNNING この実行のタスクが実行されています。The task of this run is being executed.
TERMINATING この実行のタスクが完了し、クラスターと実行コンテキストがクリーンアップされます。The task of this run has completed, and the cluster and execution context are being cleaned up.
TERMINATED この実行のタスクが完了し、クラスターと実行コンテキストがクリーンアップされました。The task of this run has completed, and the cluster and execution context have been cleaned up. この状態はターミナルです。This state is terminal.
SKIPPED 同じジョブの以前の実行が既にアクティブだったため、この実行は中止されました。This run was aborted because a previous run of the same job was already active. この状態はターミナルです。This state is terminal.
INTERNAL_ERROR 長期間にわたるネットワーク障害など、ジョブサービスのエラーを示す例外的な状態です。An exceptional state that indicates a failure in the Jobs service, such as network failure over a long period. 新しいクラスターでの実行が状態で終了した場合、 INTERNAL_ERROR ジョブサービスはできるだけ早くクラスターを終了します。If a run on a new cluster ends in the INTERNAL_ERROR state, the Jobs service terminates the cluster as soon as possible. この状態はターミナルです。This state is terminal.

Runresultstate RunResultState

実行の結果の状態。The result state of the run.

  • life_cycle_state = TERMINATED : 実行にタスクがある場合、結果は確実に使用可能であることが保証され、タスクの結果を示します。If life_cycle_state = TERMINATED: if the run had a task, the result is guaranteed to be available, and it indicates the result of the task.
  • life_cycle_state = PENDINGRUNNING 、またはの場合 SKIPPED 、結果の状態は使用できません。If life_cycle_state = PENDING, RUNNING, or SKIPPED, the result state is not available.
  • life_cycle_state = TERMINATING または lifecyclestate = INTERNAL_ERROR : 実行にタスクがあり、それを開始するために管理されている場合は、結果の状態が使用可能になります。If life_cycle_state = TERMINATING or lifecyclestate = INTERNAL_ERROR: the result state is available if the run had a task and managed to start it.

使用可能になると、結果の状態は変化しません。Once available, the result state never changes.

StateState DescriptionDescription
SUCCESSSUCCESS タスクが正常に完了しました。The task completed successfully.
FAILEDFAILED タスクが完了しましたが、エラーが発生しました。The task completed with an error.
TIMEDOUTTIMEDOUT タイムアウトに達した後、実行が停止しました。The run was stopped after reaching the timeout.
[CANCELED] (キャンセル済み)CANCELED ユーザーの要求時に実行が取り消されました。The run was canceled at user request.

Triggertype TriggerType

実行を起動できるトリガーの種類です。These are the type of triggers that can fire a run.

TypeType DescriptionDescription
周期PERIODIC Cron スケジューラなど、定期的に実行をトリガーするスケジュール。Schedules that periodically trigger runs, such as a cron scheduler.
ONE_TIMEONE_TIME 1回の実行を起動する1回限りのトリガー。One time triggers that fire a single run. これにより、UI または API を使用して、オンデマンドで1回の実行がトリガーされます。This occurs you triggered a single run on demand through the UI or the API.
再試行RETRY 以前に失敗した実行の再試行としてトリガーされる実行を示します。Indicates a run that is triggered as a retry of a previously failed run. このエラーは、障害発生時にジョブを再実行するように要求した場合に発生します。This occurs when you request to re-run the job in case of failures.

ViewType ViewType

TypeType DescriptionDescription
パソコンNOTEBOOK Notebook ビューアイテム。Notebook view item.
ダッシュボードDASHBOARD ダッシュボードビュー項目。Dashboard view item.

Viewstoexport ViewsToExport

エクスポートするビュー: コード、すべてのダッシュボード、またはすべて。View to export: either code, all dashboards, or all.

TypeType DescriptionDescription
CODECODE Notebook のコードビュー。Code view of the notebook.
ダッシュボードDASHBOARDS Notebook のすべてのダッシュボードビュー。All dashboard views of the notebook.
ALLALL Notebook のすべてのビュー。All views of the notebook.