API TravauxJobs API

L’API Jobs vous permet de créer, modifier et supprimer des travaux.The Jobs API allows you to create, edit, and delete jobs. La taille maximale autorisée pour une demande adressée à l’API Jobs est de 10 Mo.The maximum allowed size of a request to the Jobs API is 10MB. Pour obtenir des instructions sur cette API, consultez exemples d’API de travaux .See Jobs API examples for a how-to guide on this API.

Notes

Si vous recevez une erreur de niveau 500 lors de la création de demandes d’API de travaux, nous vous recommandons de retenter les demandes jusqu’à 10 minutes (avec un intervalle de 30 secondes au minimum entre les nouvelles tentatives).If you receive a 500-level error when making Jobs API requests, we recommend retrying requests for up to 10 min (with a minimum 30 second interval between retries).

Important

Pour accéder aux API REST Databricks, vous devez vous authentifier.To access Databricks REST APIs, you must authenticate.

Créer Create

Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/create POST

Créez une nouvelle tâche.Create a new job.

Exemple de demande pour un travail qui s’exécute à 10:15 chaque nuit :An example request for a job that runs at 10:15pm each night:

{
  "name": "Nightly model training",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "Standard_D3_v2",
    "num_workers": 10
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "timeout_seconds": 3600,
  "max_retries": 1,
  "schedule": {
    "quartz_cron_expression": "0 15 22 ? * *",
    "timezone_id": "America/Los_Angeles"
  },
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

Et réponse :And response:

{
  "job_id": 1
}

Structure de la requête Request structure

Créez une nouvelle tâche.Create a new job.

Important

  • Lorsque vous exécutez un travail sur un nouveau cluster de travaux, le travail est traité comme une charge de travail de calcul (automatique) de travaux soumise à la tarification du calcul des travaux.When you run a job on a new jobs cluster, the job is treated as a Jobs Compute (automated) workload subject to Jobs Compute pricing.
  • Lorsque vous exécutez un travail sur un cluster à usage général existant, il est traité comme une charge de travail de calcul All-Purpose (interactive) soumise à des tarifs de calcul All-Purpose.When you run a job on an existing all-purpose cluster, it is treated as an All-Purpose Compute (interactive) workload subject to All-Purpose Compute pricing.
Nom du champField Name TypeType DescriptionDescription
existing_cluster_id ou new_clusterexisting_cluster_id OR new_cluster STRING OU NewClusterSTRING OR NewCluster Si existing_cluster_id, ID d’un cluster existant qui sera utilisé pour toutes les exécutions de ce travail.If existing_cluster_id, the ID of an existing cluster that will be used for all runs of this job. Lors de l’exécution de travaux sur un cluster existant, vous devrez peut-être redémarrer manuellement le cluster s’il cesse de répondre.When running jobs on an existing cluster, you may need to manually restart the cluster if it stops responding. Nous suggérons d’exécuter des travaux sur de nouveaux clusters pour une plus grande fiabilité.We suggest running jobs on new clusters for greater reliability.

Si new_cluster, description d’un cluster qui sera créé pour chaque exécution.If new_cluster, a description of a cluster that will be created for each run.
notebook_task ou spark_jar_task ou spark_python_task ou spark_submit_tasknotebook_task OR spark_jar_task OR spark_python_task OR spark_submit_task NotebookTask OU SparkJarTask ou SparkPythonTask ou SparkSubmitTaskNotebookTask OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask Si notebook_task, indique que ce travail doit exécuter un bloc-notes.If notebook_task, indicates that this job should run a notebook. Ce champ ne peut pas être spécifié conjointement avec spark_jar_task.This field may not be specified in conjunction with spark_jar_task.

Si spark_jar_task, indique que ce travail doit exécuter un fichier JAR.If spark_jar_task, indicates that this job should run a JAR.

Si spark_python_task, indique que ce travail doit exécuter un fichier Python.If spark_python_task, indicates that this job should run a Python file.

Si spark_submit_task, indique que ce travail doit exécuter le script d’envoi Spark.If spark_submit_task, indicates that this job should run spark submit script.
namename STRING Nom facultatif du travail.An optional name for the job. La valeur par défaut est Untitled.The default value is Untitled.
librarieslibraries Tableau de bibliothèqueAn array of Library Liste facultative de bibliothèques à installer sur le cluster qui exécutera le travail.An optional list of libraries to be installed on the cluster that will execute the job. La valeur par défaut est une liste vide.The default value is an empty list.
email_notificationsemail_notifications JobEmailNotificationsJobEmailNotifications Un ensemble facultatif d’adresses e-mail notifiées quand les exécutions de ce travail commencent et se terminent et lorsque ce travail est supprimé.An optional set of email addresses notified when runs of this job begin and complete and when this job is deleted. Le comportement par défaut consiste à ne pas envoyer de courriers électroniques.The default behavior is to not send any emails.
timeout_secondstimeout_seconds INT32 Délai d’attente facultatif appliqué à chaque exécution de ce travail.An optional timeout applied to each run of this job. Le comportement par défaut est de ne pas avoir de délai d’attente.The default behavior is to have no timeout.
max_retriesmax_retries INT32 Nombre maximal facultatif de tentatives d’exécution d’une tentative infructueuse.An optional maximum number of times to retry an unsuccessful run. Une exécution est considérée comme ayant échoué si elle se termine avec le FAILED result_state ouA run is considered to be unsuccessful if it completes with the FAILED result_state or
INTERNAL_ERROR
life_cycle_state.life_cycle_state. La valeur-1 signifie de réessayer indéfiniment et la valeur 0 signifie de ne jamais réessayer.The value -1 means to retry indefinitely and the value 0 means to never retry. Le comportement par défaut consiste à ne jamais réessayer.The default behavior is to never retry.
min_retry_interval_millismin_retry_interval_millis INT32 Intervalle minimal facultatif, en millisecondes, entre le début de l’échec de l’exécution et l’exécution de nouvelle tentative suivante.An optional minimal interval in milliseconds between the start of the failed run and the subsequent retry run. Le comportement par défaut est que les exécutions ayant échoué sont immédiatement retentées.The default behavior is that unsuccessful runs are immediately retried.
retry_on_timeoutretry_on_timeout BOOL Stratégie facultative permettant de spécifier s’il faut réessayer un travail lorsqu’il expire. Le comportement par défaut consiste à ne pas réessayer en cas d’expiration du délai d’attente.An optional policy to specify whether to retry a job when it times out. The default behavior is to not retry on timeout.
scheduleschedule CronScheduleCronSchedule Planification périodique facultative pour ce travail.An optional periodic schedule for this job. Le comportement par défaut est que la tâche s’exécute quand elle est déclenchée en cliquant sur Exécuter maintenant dans l’interface utilisateur des tâches ou en envoyant une demande d’API à runNow .The default behavior is that the job runs when triggered by clicking Run Now in the Jobs UI or sending an API request to runNow.
max_concurrent_runsmax_concurrent_runs INT32 Nombre maximal d’exécutions simultanées autorisées du travail.An optional maximum allowed number of concurrent runs of the job.

Définissez cette valeur si vous souhaitez pouvoir exécuter plusieurs exécutions du même travail simultanément.Set this value if you want to be able to execute multiple runs of the same job concurrently. Cela est utile par exemple si vous déclenchez un travail à intervalles fréquents et que vous souhaitez autoriser les exécutions consécutives à se chevaucher, ou si vous souhaitez déclencher plusieurs exécutions qui diffèrent par leurs paramètres d’entrée.This is useful for example if you trigger your job on a frequent schedule and want to allow consecutive runs to overlap with each other, or if you want to trigger multiple runs which differ by their input parameters.

Ce paramètre affecte uniquement les nouvelles exécutions.This setting affects only new runs. Par exemple, supposons que la concurrence du travail est de 4 et qu’il y a 4 exécutions actives simultanées.For example, suppose the job’s concurrency is 4 and there are 4 concurrent active runs. Ensuite, l’affectation de la valeur 3 à la concurrence n’interrompt aucune des exécutions actives.Then setting the concurrency to 3 won’t kill any of the active runs. Toutefois, à partir de là, les nouvelles exécutions sont ignorées, à moins qu’il y ait moins de 3 exécutions actives.However, from then on, new runs are skipped unless there are fewer than 3 active runs.

Cette valeur ne peut pas dépasser 1000.This value cannot exceed 1000. Si vous affectez la valeur 0 à cette valeur, toutes les nouvelles exécutions sont ignorées.Setting this value to 0 causes all new runs to be skipped. Le comportement par défaut consiste à autoriser uniquement 1 exécution simultanée.The default behavior is to allow only 1 concurrent run.

Structure de la réponse Response structure

Nom du champField Name TypeType DescriptionDescription
job_idjob_id INT64 Identificateur canonique du travail nouvellement créé.The canonical identifier for the newly created job.

Liste List

Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/list GET

Affiche la liste de tous les travaux.List all jobs. Exemple de réponse :An example response:

{
  "jobs": [
    {
      "job_id": 1,
      "settings": {
        "name": "Nightly model training",
        "new_cluster": {
          "spark_version": "7.3.x-scala2.12",
          "node_type_id": "Standard_D3_v2",
          "num_workers": 10
        },
        "libraries": [
          {
            "jar": "dbfs:/my-jar.jar"
          },
          {
            "maven": {
              "coordinates": "org.jsoup:jsoup:1.7.2"
            }
          }
        ],
        "timeout_seconds": 100000000,
        "max_retries": 1,
        "schedule": {
          "quartz_cron_expression": "0 15 22 ? * *",
          "timezone_id": "America/Los_Angeles",
          "pause_status": "UNPAUSED"
        },
        "spark_jar_task": {
          "main_class_name": "com.databricks.ComputeModels"
        }
      },
      "created_time": 1457570074236
    }
  ]
}

Structure de la réponse Response structure

Nom du champField Name TypeType DescriptionDescription
jobsjobs Tableau de tâchesAn array of Job Liste des travaux.The list of jobs.

Supprimer Delete

Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/delete POST

Supprimez le travail et envoyez un e-mail aux adresses spécifiées dans JobSettings.email_notifications .Delete the job and send an email to the addresses specified in JobSettings.email_notifications. Aucune action ne se produit si la tâche a déjà été supprimée.No action occurs if the job has already been removed. Une fois le travail supprimé, ses détails ou son historique d’exécution ne sont pas visibles par le biais de l’interface utilisateur ou de l’API Jobs.After the job is removed, neither its details or its run history is visible via the Jobs UI or API. La suppression de la tâche est garantie à la fin de la demande.The job is guaranteed to be removed upon completion of this request. Toutefois, les exécutions qui étaient actives avant la réception de cette demande peuvent toujours être actives.However, runs that were active before the receipt of this request may still be active. Ils seront arrêtés de manière asynchrone.They will be terminated asynchronously.

Exemple de requête :An example request:

{
  "job_id": 1
}

Structure de la requête Request structure

Supprimer un travail et envoyer un e-mail aux adresses spécifiées dans JobSettings.email_notifications .Delete a job and send an email to the addresses specified in JobSettings.email_notifications. Aucune action ne se produit si la tâche a déjà été supprimée.No action occurs if the job has already been removed. Une fois le travail supprimé, ses détails et son historique des exécutions ne sont pas visibles via l’interface utilisateur ou l’API Jobs.After the job is removed, neither its details nor its run history is visible via the Jobs UI or API. La suppression de la tâche est garantie à la fin de la demande.The job is guaranteed to be removed upon completion of this request. Toutefois, les exécutions qui étaient actives avant la réception de cette demande peuvent toujours être actives.However, runs that were active before the receipt of this request may still be active. Ils seront arrêtés de manière asynchrone.They will be terminated asynchronously.

Nom du champField Name TypeType DescriptionDescription
job_idjob_id INT64 Identificateur canonique du travail à supprimer.The canonical identifier of the job to delete. Ce champ doit obligatoirement être renseigné.This field is required.

En savoir plus Get

Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/get GET

Récupère des informations sur un travail unique.Retrieves information about a single job. Exemple de requête :An example request:

/jobs/get?job_id=1

Exemple de réponse :An example response:

{
  "job_id": 1,
  "settings": {
    "name": "Nightly model training",
    "new_cluster": {
      "spark_version": "7.3.x-scala2.12",
      "node_type_id": "Standard_D3_v2",
      "num_workers": 10
    },
    "libraries": [
      {
        "jar": "dbfs:/my-jar.jar"
      },
      {
        "maven": {
          "coordinates": "org.jsoup:jsoup:1.7.2"
        }
      }
    ],
    "timeout_seconds": 100000000,
    "max_retries": 1,
    "schedule": {
      "quartz_cron_expression": "0 15 22 ? * *",
      "timezone_id": "America/Los_Angeles",
      "pause_status": "UNPAUSED"
    },
    "spark_jar_task": {
      "main_class_name": "com.databricks.ComputeModels"
    }
  },
  "created_time": 1457570074236
}

Structure de la requête Request structure

Récupérez des informations sur un travail unique.Retrieve information about a single job.

Nom du champField Name TypeType DescriptionDescription
job_idjob_id INT64 Identificateur canonique du travail sur lequel récupérer des informations.The canonical identifier of the job to retrieve information about. Ce champ doit obligatoirement être renseigné.This field is required.

Structure de la réponse Response structure

Nom du champField Name TypeType DescriptionDescription
job_idjob_id INT64 Identificateur canonique de ce travail.The canonical identifier for this job.
creator_user_namecreator_user_name STRING Nom d’utilisateur créateur.The creator user name. Ce champ n’est pas inclus dans la réponse si l’utilisateur a déjà été supprimé.This field won’t be included in the response if the user has already been deleted.
paramètressettings JobSettingsJobSettings Les paramètres de ce travail et de toutes ses exécutions.Settings for this job and all of its runs. Ces paramètres peuvent être mis à jour à l’aide de la resetJob méthode.These settings can be updated using the resetJob method.
created_timecreated_time INT64 Heure à laquelle ce travail a été créé en millisecondes (millisecondes depuis 1/1/1970 UTC).The time at which this job was created in epoch milliseconds (milliseconds since 1/1/1970 UTC).

Réinitialiser Reset

Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/reset POST

Remplacer les paramètres du travail.Overwrite job settings.

Un exemple de demande qui fait du travail 2 ressemble à Job 1 (à partir de l' create_job exemple) :An example request that makes job 2 look like job 1 (from the create_job example):

{
  "job_id": 2,
  "new_settings": {
    "name": "Nightly model training",
    "new_cluster": {
      "spark_version": "7.3.x-scala2.12",
      "node_type_id": "Standard_D3_v2",
      "num_workers": 10
    },
    "libraries": [
      {
        "jar": "dbfs:/my-jar.jar"
      },
      {
        "maven": {
          "coordinates": "org.jsoup:jsoup:1.7.2"
        }
      }
    ],
    "timeout_seconds": 100000000,
    "max_retries": 1,
    "schedule": {
      "quartz_cron_expression": "0 15 22 ? * *",
      "timezone_id": "America/Los_Angeles",
      "pause_status": "UNPAUSED"
    },
    "spark_jar_task": {
      "main_class_name": "com.databricks.ComputeModels"
    }
  }
}

Structure de la requête Request structure

Remplacer les paramètres du travail.Overwrite job settings.

Nom du champField Name TypeType DescriptionDescription
job_idjob_id INT64 Identificateur canonique du travail à réinitialiser.The canonical identifier of the job to reset. Ce champ doit obligatoirement être renseigné.This field is required.
new_settingsnew_settings JobSettingsJobSettings Nouveaux paramètres du travail.The new settings of the job. Ces nouveaux paramètres remplacent entièrement les anciens paramètres.These new settings replace the old settings entirely.

Les modifications apportées aux champs suivants ne sont pas appliquées aux exécutions actives :Changes to the following fields are not applied to active runs:
JobSettings.cluster_spec ou JobSettings.task.JobSettings.cluster_spec or JobSettings.task.

Les modifications apportées aux champs suivants sont appliquées aux exécutions actives et aux exécutions ultérieures :Changes to the following fields are applied to active runs as well as future runs:
JobSettings.timeout_second, JobSettings.email_notificationsou JobSettings.timeout_second, JobSettings.email_notifications, or
JobSettings.retry_policy.JobSettings.retry_policy. Ce champ doit obligatoirement être renseigné.This field is required.

Exécuter maintenant Run now

Important

  • Le nombre de travaux est limité à 1000.The number of jobs is limited to 1000.
  • Le nombre de travaux qu’un espace de travail peut créer dans une heure est limité à 5000 (y compris « exécuter maintenant » et « exécutions »).The number of jobs a workspace can create in an hour is limited to 5000 (includes “run now” and “runs submit”). Cette limite affecte également les travaux créés par les workflows de l’API REST et des notebooks.This limit also affects jobs created by the REST API and notebook workflows.
  • Un espace de travail est limité à 150 exécutions de travaux simultanées (exécution en cours).A workspace is limited to 150 concurrent (running) job runs.
  • Un espace de travail est limité à 1000 exécutions de travaux actives (exécution en cours et en attente).A workspace is limited to 1000 active (running and pending) job runs.
Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/run-now POST

Exécuter un travail maintenant et retourner le run_id de l’exécution déclenchée.Run a job now and return the run_id of the triggered run.

Notes

Si vous utilisez créer conjointement avec Exécuter maintenant , vous pouvez être intéressé par l’exécution de l’API Submit .If you find yourself using Create together with Run now a lot, you may actually be interested in the Runs submit API. Ce point de terminaison d’API vous permet d’envoyer vos charges de travail directement sans avoir à créer un travail dans Azure Databricks.This API endpoint allows you to submit your workloads directly without having to create a job in Azure Databricks.

Exemple de demande pour un travail de bloc-notes :An example request for a notebook job:

{
  "job_id": 1,
  "notebook_params": {
    "dry-run": "true",
    "oldest-time-to-consider": "1457570074236"
  }
}

Exemple de demande pour un travail JAR :An example request for a JAR job:

{
  "job_id": 2,
  "jar_params": ["param1", "param2"]
}

Structure de la requête Request structure

Exécuter un travail maintenant et retourner le run_id de l’exécution déclenchée.Run a job now and return the run_id of the triggered run.

Nom du champField Name TypeType DescriptionDescription
job_idjob_id INT64
jar_paramsjar_params Tableau de STRINGAn array of STRING Liste de paramètres pour les travaux avec des tâches JAR, par exemple "jar_params": ["john doe", "35"] .A list of parameters for jobs with JAR tasks, e.g. "jar_params": ["john doe", "35"]. Les paramètres sont utilisés pour appeler la fonction main de la classe principale spécifiée dans la tâche de fichier JAR Spark.The parameters will be used to invoke the main function of the main class specified in the Spark JAR task. S’il n’est pas spécifié sur run-now , il s’agit d’une liste vide par défaut.If not specified upon run-now, it will default to an empty list. jar_params ne peut pas être spécifié conjointement avec notebook_params.jar_params cannot be specified in conjunction with notebook_params. La représentation JSON de ce champ (autrement dit {"jar_params":["john doe","35"]} ,) ne peut pas dépasser 10 000 octets.The JSON representation of this field (i.e. {"jar_params":["john doe","35"]}) cannot exceed 10,000 bytes.
notebook_paramsnotebook_params Une carte de ParamPairA map of ParamPair Un mappage entre les clés et les valeurs des travaux avec la tâche du bloc-notes, par exempleA map from keys to values for jobs with notebook task, e.g.
"notebook_params": {"name": "john doe", "age": "35"}."notebook_params": {"name": "john doe", "age": "35"}. Le mappage est passé au bloc-notes et est accessible via la fonction dbutils. widgets. obten .The map is passed to the notebook and is accessible through the dbutils.widgets.get function.

S’il n’est pas spécifié sur run-now , l’exécution déclenchée utilise les paramètres de base du travail.If not specified upon run-now, the triggered run uses the job’s base parameters.

notebook_params ne peut pas être spécifié conjointement avec jar_params.notebook_params cannot be specified in conjunction with jar_params.

Représentation JSON de ce champ (c.-à-d.The JSON representation of this field (i.e.
{"notebook_params":{"name":"john doe","age":"35"}}) ne peut pas dépasser 10 000 octets.{"notebook_params":{"name":"john doe","age":"35"}}) cannot exceed 10,000 bytes.
python_paramspython_params Tableau de STRINGAn array of STRING Liste de paramètres pour les travaux avec des tâches Python, par exemple "python_params": ["john doe", "35"] .A list of parameters for jobs with Python tasks, e.g. "python_params": ["john doe", "35"]. Les paramètres sont passés au fichier Python en tant que paramètres de ligne de commande.The parameters will be passed to Python file as command-line parameters. S' run-now il est spécifié sur, il remplace les paramètres spécifiés dans le paramètre de travail.If specified upon run-now, it would overwrite the parameters specified in job setting. La représentation JSON de ce champ (autrement dit {"python_params":["john doe","35"]} ,) ne peut pas dépasser 10 000 octets.The JSON representation of this field (i.e. {"python_params":["john doe","35"]}) cannot exceed 10,000 bytes.
spark_submit_paramsspark_submit_params Tableau de STRINGAn array of STRING Liste de paramètres pour les travaux avec la tâche d’envoi Spark, par exempleA list of parameters for jobs with spark submit task, e.g.
"spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]."spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]. Les paramètres sont transmis au script Spark-Submit en tant que paramètres de ligne de commande.The parameters will be passed to spark-submit script as command-line parameters. S' run-now il est spécifié sur, il remplace les paramètres spécifiés dans le paramètre de travail.If specified upon run-now, it would overwrite the parameters specified in job setting. La représentation JSON de ce champ ne peut pas dépasser 10 000 octets.The JSON representation of this field cannot exceed 10,000 bytes.

Structure de la réponse Response structure

Nom du champField Name TypeType DescriptionDescription
run_idrun_id INT64 ID global unique de l’exécution qui vient d’être déclenchée.The globally unique ID of the newly triggered run.
number_in_jobnumber_in_job INT64 Numéro de séquence de cette exécution parmi toutes les exécutions du travail.The sequence number of this run among all runs of the job.

Exécutions envoyer Runs submit

Important

  • Le nombre de travaux est limité à 1000.The number of jobs is limited to 1000.
  • Le nombre de travaux qu’un espace de travail peut créer dans une heure est limité à 5000 (y compris « exécuter maintenant » et « exécutions »).The number of jobs a workspace can create in an hour is limited to 5000 (includes “run now” and “runs submit”). Cette limite affecte également les travaux créés par les workflows de l’API REST et des notebooks.This limit also affects jobs created by the REST API and notebook workflows.
  • Un espace de travail est limité à 150 exécutions de travaux simultanées (exécution en cours).A workspace is limited to 150 concurrent (running) job runs.
  • Un espace de travail est limité à 1000 exécutions de travaux actives (exécution en cours et en attente).A workspace is limited to 1000 active (running and pending) job runs.
Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/runs/submit POST

Soumettez une exécution unique.Submit a one-time run. Ce point de terminaison ne nécessite pas la création d’une tâche Databricks.This endpoint doesn’t require a Databricks job to be created. Vous pouvez envoyer directement votre charge de travail.You can directly submit your workload. Les exécutions soumises via ce point de terminaison ne s’affichent pas dans l’interface utilisateur.Runs submitted via this endpoint don’t display in the UI. Une fois l’exécution soumise, utilisez l' jobs/runs/get API pour vérifier l’état d’exécution.Once the run is submitted, use the jobs/runs/get API to check the run state.

Exemple de requête :An example request:

{
  "run_name": "my spark task",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "Standard_D3_v2",
    "num_workers": 10
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

Et réponse :And response:

{
  "run_id": 123
}

Structure de la requête Request structure

Envoyez une nouvelle exécution avec les paramètres fournis.Submit a new run with the provided settings.

Important

  • Lorsque vous exécutez un travail sur un nouveau cluster de travaux, le travail est traité comme une charge de travail de calcul (automatique) de travaux soumise à la tarification du calcul des travaux.When you run a job on a new jobs cluster, the job is treated as a Jobs Compute (automated) workload subject to Jobs Compute pricing.
  • Lorsque vous exécutez un travail sur un cluster à usage général existant, il est traité comme une charge de travail de calcul All-Purpose (interactive) soumise à des tarifs de calcul All-Purpose.When you run a job on an existing all-purpose cluster, it is treated as an All-Purpose Compute (interactive) workload subject to All-Purpose Compute pricing.
Nom du champField Name TypeType DescriptionDescription
existing_cluster_id ou new_clusterexisting_cluster_id OR new_cluster STRING OU NewClusterSTRING OR NewCluster Si existing_cluster_id, ID d’un cluster existant qui sera utilisé pour toutes les exécutions de ce travail.If existing_cluster_id, the ID of an existing cluster that will be used for all runs of this job. Lors de l’exécution de travaux sur un cluster existant, vous devrez peut-être redémarrer manuellement le cluster s’il cesse de répondre.When running jobs on an existing cluster, you may need to manually restart the cluster if it stops responding. Nous suggérons d’exécuter des travaux sur de nouveaux clusters pour une plus grande fiabilité.We suggest running jobs on new clusters for greater reliability.

Si new_cluster, description d’un cluster qui sera créé pour chaque exécution.If new_cluster, a description of a cluster that will be created for each run.
notebook_task ou spark_jar_task ou spark_python_task ou spark_submit_tasknotebook_task OR spark_jar_task OR spark_python_task OR spark_submit_task NotebookTask OU SparkJarTask ou SparkPythonTask ou SparkSubmitTaskNotebookTask OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask Si notebook_task, indique que ce travail doit exécuter un bloc-notes.If notebook_task, indicates that this job should run a notebook. Ce champ ne peut pas être spécifié conjointement avec spark_jar_task.This field may not be specified in conjunction with spark_jar_task.

Si spark_jar_task, indique que ce travail doit exécuter un fichier JAR.If spark_jar_task, indicates that this job should run a JAR.

Si spark_python_task, indique que ce travail doit exécuter un fichier Python.If spark_python_task, indicates that this job should run a Python file.

Si spark_submit_task, indique que ce travail doit exécuter le script d’envoi Spark.If spark_submit_task, indicates that this job should run spark submit script.
run_namerun_name STRING Nom facultatif pour l’exécution.An optional name for the run. La valeur par défaut est Untitled.The default value is Untitled.
librarieslibraries Tableau de bibliothèqueAn array of Library Liste facultative de bibliothèques à installer sur le cluster qui exécutera le travail.An optional list of libraries to be installed on the cluster that will execute the job. La valeur par défaut est une liste vide.The default value is an empty list.
timeout_secondstimeout_seconds INT32 Délai d’attente facultatif appliqué à chaque exécution de ce travail.An optional timeout applied to each run of this job. Le comportement par défaut est de ne pas avoir de délai d’attente.The default behavior is to have no timeout.
idempotency_tokenidempotency_token STRING Jeton facultatif qui peut être utilisé pour garantir le idempotence de demandes d’exécution de travaux.An optional token that can be used to guarantee the idempotency of job run requests. Si une exécution active avec le jeton fourni existe déjà, la demande ne crée pas de nouvelle exécution, mais retourne l’ID de l’exécution existante à la place.If an active run with the provided token already exists, the request will not create a new run, but will return the ID of the existing run instead.

Si vous spécifiez le jeton idempotence, en cas d’échec, vous pouvez réessayer jusqu’à ce que la demande aboutisse.If you specify the idempotency token, upon failure you can retry until the request succeeds. Azure Databricks garantit qu’une seule exécution sera lancée avec ce jeton idempotence.Azure Databricks guarantees that exactly one run will be launched with that idempotency token.

Ce jeton doit avoir au maximum 64 caractères.This token should have at most 64 characters.

Structure de la réponse Response structure

Nom du champField Name TypeType DescriptionDescription
run_idrun_id INT64 Identificateur canonique de la série récemment envoyée.The canonical identifier for the newly submitted run.

Liste des exécutions Runs list

Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/runs/list GET

Liste des exécutions du plus récemment démarrées au moins.List runs from most recently started to least.

Notes

Les exécutions sont automatiquement supprimées après 60 jours.Runs are automatically removed after 60 days. Si vous souhaitez les référencer au-delà de 60 jours, vous devez enregistrer les résultats de l’exécution précédente avant qu’ils n’expirent.If you to want to reference them beyond 60 days, you should save old run results before they expire. Pour exporter à l’aide de l’interface utilisateur, consultez exporter les résultats de l' exécution du travail.To export using the UI, see Export job run results. Pour exporter à l’aide de l’API de travail, consultez exécutionsde l’exportation.To export using the Job API, see Runs export.

Exemple de requête :An example request:

/jobs/runs/list?job_id=1&active_only=false&offset=1&limit=1

Et réponse :And response:

{
  "runs": [
    {
      "job_id": 1,
      "run_id": 452,
      "number_in_job": 5,
      "state": {
        "life_cycle_state": "RUNNING",
        "state_message": "Performing action"
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/donald@duck.com/my-notebook"
        }
      },
      "cluster_spec": {
        "existing_cluster_id": "1201-my-cluster"
      },
      "cluster_instance": {
        "cluster_id": "1201-my-cluster",
        "spark_context_id": "1102398-spark-context-id"
      },
      "overriding_parameters": {
        "jar_params": ["param1", "param2"]
      },
      "start_time": 1457570074236,
      "setup_duration": 259754,
      "execution_duration": 3589020,
      "cleanup_duration": 31038,
      "trigger": "PERIODIC"
    }
  ],
  "has_more": true
}

Structure de la requête Request structure

Liste des exécutions du plus récemment démarrées au moins.List runs from most recently started to least.

Nom du champField Name TypeType DescriptionDescription
active_only ou completed_onlyactive_only OR completed_only BOOL NI BOOLBOOL OR BOOL Si active_only est true , seules les exécutions actives sont incluses dans les résultats ; sinon, répertorie les exécutions active et terminée.If active_only is true, only active runs are included in the results; otherwise, lists both active and completed runs. Une exécution active est une exécution dans le PENDING , RUNNING ou TERMINATING RunLifecycleState.An active run is a run in the PENDING, RUNNING, or TERMINATING RunLifecycleState. Ce champ ne peut pas être true lorsque completed_only est true .This field cannot be true when completed_only is true.

Si completed_only est true , seules les exécutions terminées sont incluses dans les résultats ; sinon, répertorie les exécutions active et terminée.If completed_only is true, only completed runs are included in the results; otherwise, lists both active and completed runs. Ce champ ne peut pas être true lorsque active_only est true .This field cannot be true when active_only is true.
job_idjob_id INT64 Travail pour lequel la liste doit être exécutée.The job for which to list runs. Si ce paramètre est omis, le service travaux répertorie les exécutions de tous les travaux.If omitted, the Jobs service will list runs from all jobs.
offsetoffset INT32 Décalage de la première exécution à retourner, relatif à l’exécution la plus récente.The offset of the first run to return, relative to the most recent run.
limitlimit INT32 Nombre de séries à retourner.The number of runs to return. Cette valeur doit être supérieure à 0 et inférieure à 1000.This value should be greater than 0 and less than 1000. La valeur par défaut est 20.The default value is 20. Si une demande spécifie une limite de 0, le service utilisera à la place la limite maximale.If a request specifies a limit of 0, the service will instead use the maximum limit.

Structure de la réponse Response structure

Nom du champField Name TypeType DescriptionDescription
s’exécuteruns Tableau d' exécutionAn array of Run Liste des exécutions, du plus récemment démarré à la moins récente.A list of runs, from most recently started to least.
has_morehas_more BOOL Si la valeur est true, les exécutions supplémentaires correspondant au filtre fourni peuvent être répertoriées.If true, additional runs matching the provided filter are available for listing.

Exécutions de la commande Runs get

Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/runs/get GET

Récupérez les métadonnées d’une exécution.Retrieve the metadata of a run.

Notes

Les exécutions sont automatiquement supprimées après 60 jours.Runs are automatically removed after 60 days. Si vous souhaitez les référencer au-delà de 60 jours, vous devez enregistrer les résultats de l’exécution précédente avant qu’ils n’expirent.If you to want to reference them beyond 60 days, you should save old run results before they expire. Pour exporter à l’aide de l’interface utilisateur, consultez exporter les résultats de l' exécution du travail.To export using the UI, see Export job run results. Pour exporter à l’aide de l’API de travail, consultez exécutionsde l’exportation.To export using the Job API, see Runs export.

Exemple de requête :An example request:

/jobs/runs/get?run_id=452

Exemple de réponse :An example response:

{
  "job_id": 1,
  "run_id": 452,
  "number_in_job": 5,
  "state": {
    "life_cycle_state": "RUNNING",
    "state_message": "Performing action"
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/donald@duck.com/my-notebook"
    }
  },
  "cluster_spec": {
    "existing_cluster_id": "1201-my-cluster"
  },
  "cluster_instance": {
    "cluster_id": "1201-my-cluster",
    "spark_context_id": "1102398-spark-context-id"
  },
  "overriding_parameters": {
    "jar_params": ["param1", "param2"]
  },
  "start_time": 1457570074236,
  "setup_duration": 259754,
  "execution_duration": 3589020,
  "cleanup_duration": 31038,
  "trigger": "PERIODIC"
}

Structure de la requête Request structure

Récupérez les métadonnées d’une exécution sans aucune sortie.Retrieve the metadata of a run without any output.

Nom du champField Name TypeType DescriptionDescription
run_idrun_id INT64 Identificateur canonique de l’exécution pour laquelle récupérer les métadonnées.The canonical identifier of the run for which to retrieve the metadata. Ce champ doit obligatoirement être renseigné.This field is required.

Structure de la réponse Response structure

Nom du champField Name TypeType DescriptionDescription
job_idjob_id INT64 Identificateur canonique du travail qui contient cette exécution.The canonical identifier of the job that contains this run.
run_idrun_id INT64 Identificateur canonique de l’exécution.The canonical identifier of the run. Cet ID est unique pour toutes les exécutions de tous les travaux.This ID is unique across all runs of all jobs.
number_in_jobnumber_in_job INT64 Numéro de séquence de cette exécution parmi toutes les exécutions du travail.The sequence number of this run among all runs of the job. Cette valeur commence à 1.This value starts at 1.
original_attempt_run_idoriginal_attempt_run_id INT64 Si cette exécution est une nouvelle tentative d’une tentative d’exécution antérieure, ce champ contient la run_id de la tentative d’origine. dans le cas contraire, il est identique au run_id.If this run is a retry of a prior run attempt, this field contains the run_id of the original attempt; otherwise, it is the same as the run_id.
statestate RunStateRunState États de résultat et de cycle de vie de l’exécution.The result and lifecycle states of the run.
scheduleschedule CronScheduleCronSchedule Planification cron qui a déclenché cette exécution si elle a été déclenchée par le planificateur périodique.The cron schedule that triggered this run if it was triggered by the periodic scheduler.
tâchetask JobTaskJobTask Tâche exécutée par l’exécution, le cas échéant.The task performed by the run, if any.
cluster_speccluster_spec ClusterSpecClusterSpec Instantané de la spécification de cluster du travail lors de la création de cette série.A snapshot of the job’s cluster specification when this run was created.
cluster_instancecluster_instance ClusterInstanceClusterInstance Cluster utilisé pour cette exécution.The cluster used for this run. Si l’exécution est spécifiée pour utiliser un nouveau cluster, ce champ est défini une fois que le service de travaux a demandé un cluster pour l’exécution.If the run is specified to use a new cluster, this field will be set once the Jobs service has requested a cluster for the run.
overriding_parametersoverriding_parameters RunParametersRunParameters Paramètres utilisés pour cette exécution.The parameters used for this run.
start_timestart_time INT64 Heure à laquelle cette exécution a été démarrée en millisecondes (millisecondes depuis 1/1/1970 UTC).The time at which this run was started in epoch milliseconds (milliseconds since 1/1/1970 UTC). Cela peut ne pas être l’heure de début de l’exécution de la tâche de travail, par exemple, si le travail est planifié pour s’exécuter sur un nouveau cluster, il s’agit de l’heure à laquelle l’appel de création de cluster est émis.This may not be the time when the job task starts executing, for example, if the job is scheduled to run on a new cluster, this is the time the cluster creation call is issued.
setup_durationsetup_duration INT64 Le temps nécessaire à la configuration du cluster en millisecondes.The time it took to set up the cluster in milliseconds. Pour les exécutions qui s’exécutent sur de nouveaux clusters, il s’agit de l’heure de création du cluster, pour les exécutions qui s’exécutent sur les clusters existants. cette fois-ci, cette durée doit être trèsFor runs that run on new clusters this is the cluster creation time, for runs that run on existing clusters this time should be very short.
execution_durationexecution_duration INT64 Durée en millisecondes nécessaire à l’exécution des commandes dans le fichier JAR ou le bloc-notes jusqu’à ce qu’elles soient terminées, échouées, expirées, ont été annulées ou rencontré une erreur inattendue.The time in milliseconds it took to execute the commands in the JAR or notebook until they completed, failed, timed out, were cancelled, or encountered an unexpected error.
cleanup_durationcleanup_duration INT64 Durée en millisecondes nécessaire pour mettre fin au cluster et nettoyer les résultats intermédiaires, etc. La durée totale de l’exécution est la somme des setup_duration, de la execution_duration et de la cleanup_duration.The time in milliseconds it took to terminate the cluster and clean up any intermediary results, etc. The total duration of the run is the sum of the setup_duration, the execution_duration, and the cleanup_duration.
déclencheurtrigger TriggerTypeTriggerType Le type de déclencheur qui a déclenché cette exécution, par exemple, une planification périodique ou une exécution unique.The type of trigger that fired this run, e.g., a periodic schedule or a one time run.
creator_user_namecreator_user_name STRING Nom d’utilisateur créateur.The creator user name. Ce champ n’est pas inclus dans la réponse si l’utilisateur a déjà été supprimé.This field won’t be included in the response if the user has already been deleted.
run_page_urlrun_page_url STRING URL de la page de détails de l’exécution.The URL to the detail page of the run.

Exécute l’exportation Runs export

Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/runs/export GET

Exportez et récupérez la tâche d’exécution du travail.Export and retrieve the job run task.

Notes

Seules les exécutions de Notebook peuvent être exportées au format HTML.Only notebook runs can be exported in HTML format. L’exportation d’autres exécutions d’autres types échouera.Exporting other runs of other types will fail.

Exemple de requête :An example request:

/jobs/runs/export?run_id=452

Exemple de réponse :An example response:

{
  "views": [ {
    "content": "<!DOCTYPE html><html><head>Head</head><body>Body</body></html>",
    "name": "my-notebook",
    "type": "NOTEBOOK"
  } ]
}

Pour extraire le bloc-notes HTML de la réponse JSON, téléchargez et exécutez ce script Python.To extract the HTML notebook from the JSON response, download and run this Python script.

Notes

Le corps du bloc-notes dans l' __DATABRICKS_NOTEBOOK_MODEL objet est encodé.The notebook body in the __DATABRICKS_NOTEBOOK_MODEL object is encoded.

Structure de la requête Request structure

Récupérez l’exportation d’une tâche d’exécution de travail.Retrieve the export of a job run task.

Nom du champField Name TypeType DescriptionDescription
run_idrun_id INT64 Identificateur canonique de l’exécution.The canonical identifier for the run. Ce champ doit obligatoirement être renseigné.This field is required.
views_to_exportviews_to_export ViewsToExportViewsToExport Les vues à exporter (CODE, tableaux de bord, etc.).Which views to export (CODE, DASHBOARDS, or ALL). La valeur par défaut est CODE.Defaults to CODE.

Structure de la réponse Response structure

Nom du champField Name TypeType DescriptionDescription
viewsviews Tableau de ViewItemAn array of ViewItem Contenu exporté au format HTML (un pour chaque élément d’affichage).The exported content in HTML format (one for every view item).

Exécutions annuler Runs cancel

Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/runs/cancel POST

Annuler une exécution.Cancel a run. L’exécution est annulée de manière asynchrone. par conséquent, lorsque cette demande est terminée, l’exécution peut toujours être en cours d’exécution.The run is canceled asynchronously, so when this request completes, the run may still be running. L’exécution va bientôt se terminer.The run will be terminated shortly. Si la série de tests est déjà dans un terminal life_cycle_state , cette méthode n’est pas opérationnelle.If the run is already in a terminal life_cycle_state, this method is a no-op.

Ce point de terminaison valide que le run_id paramètre est valide et que les paramètres non valides renvoient le code d’état HTTP 400.This endpoint validates that the run_id parameter is valid and for invalid parameters returns HTTP status code 400.

Exemple de requête :An example request:

{
  "run_id": 453
}

Structure de la requête Request structure

Annuler une exécution.Cancel a run. L’exécution est annulée de manière asynchrone. par conséquent, lorsque cette demande est terminée, l’exécution peut être toujours active.The run is canceled asynchronously, so when this request completes the run may be still be active. L’exécution sera interrompue dès que possible.The run will be terminated as soon as possible.

Nom du champField Name TypeType DescriptionDescription
run_idrun_id INT64 Ce champ doit obligatoirement être renseigné.This field is required.

Exécute la sortie obtenue Runs get output

Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/runs/get-output GET

Récupère la sortie d’une exécution.Retrieve the output of a run. Quand une tâche de bloc-notes retourne une valeur via l’appel dbutils. Notebook. Exit () , vous pouvez utiliser ce point de terminaison pour récupérer cette valeur.When a notebook task returns a value through the dbutils.notebook.exit() call, you can use this endpoint to retrieve that value. Azure Databricks limite cette API pour retourner les 5 premiers Mo de la sortie.Azure Databricks restricts this API to return the first 5 MB of the output. Pour renvoyer un résultat plus grand, vous pouvez stocker les résultats des travaux dans un service de stockage cloud.For returning a larger result, you can store job results in a cloud storage service.

Ce point de terminaison valide que le run_id paramètre est valide et que les paramètres non valides renvoient le code d’état HTTP 400.This endpoint validates that the run_id parameter is valid and for invalid parameters returns HTTP status code 400.

Les exécutions sont automatiquement supprimées après 60 jours.Runs are automatically removed after 60 days. Si vous souhaitez les référencer au-delà de 60 jours, vous devez enregistrer les résultats de l’exécution précédente avant qu’ils n’expirent.If you to want to reference them beyond 60 days, you should save old run results before they expire. Pour exporter à l’aide de l’interface utilisateur, consultez exporter les résultats de l' exécution du travail.To export using the UI, see Export job run results. Pour exporter à l’aide de l’API de travail, consultez exécutionsde l’exportation.To export using the Job API, see Runs export.

Exemple de requête :An example request:

/jobs/runs/get-output?run_id=453

Et réponse :And response:

{
  "metadata": {
    "job_id": 1,
    "run_id": 452,
    "number_in_job": 5,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/donald@duck.com/my-notebook"
      }
    },
    "cluster_spec": {
      "existing_cluster_id": "1201-my-cluster"
    },
    "cluster_instance": {
      "cluster_id": "1201-my-cluster",
      "spark_context_id": "1102398-spark-context-id"
    },
    "overriding_parameters": {
      "jar_params": ["param1", "param2"]
    },
    "start_time": 1457570074236,
    "setup_duration": 259754,
    "execution_duration": 3589020,
    "cleanup_duration": 31038,
    "trigger": "PERIODIC"
  },
  "notebook_output": {
    "result": "the maybe truncated string passed to dbutils.notebook.exit()"
  }
}

Structure de la requête Request structure

Récupère la sortie et les métadonnées d’une exécution.Retrieves both the output and the metadata of a run.

Nom du champField Name TypeType DescriptionDescription
run_idrun_id INT64 Identificateur canonique de l’exécution.The canonical identifier for the run. Ce champ doit obligatoirement être renseigné.This field is required.

Structure de la réponse Response structure

Nom du champField Name TypeType DescriptionDescription
notebook_output ou erreurnotebook_output OR error NotebookOutput NI STRINGNotebookOutput OR STRING Si notebook_output, la sortie d’une tâche de bloc-notes, si elle est disponible.If notebook_output, the output of a notebook task, if available. Tâche de bloc-notes qui se termine (avec succès ou avec un échec) sans appelerA notebook task that terminates (either successfully or with a failure) without calling
dbutils.notebook.exit() est considéré comme ayant une sortie vide.dbutils.notebook.exit() is considered to have an empty output. Ce champ est défini, mais sa valeur de résultat est vide.This field will be set but its result value will be empty.

Si erreur, message d’erreur indiquant la raison pour laquelle la sortie n’est pas disponible.If error, an error message indicating why output is not available. Le message n’est pas structuré et son format exact est susceptible de changer.The message is unstructured, and its exact format is subject to change.
metadatametadata ExécuterRun Tous les détails de l’exécution, à l’exception de sa sortie.All details of the run except for its output.

Exécute Delete Runs delete

Point de terminaisonEndpoint Méthode HTTPHTTP Method
2.0/jobs/runs/delete POST

Supprimer une exécution non active.Delete a non-active run. Retourne une erreur si l’exécution est active.Returns an error if the run is active.

Exemple de requête :An example request:

{
  "run_id": 42
}

Structure de la requête Request structure

Récupérez les métadonnées d’une exécution sans aucune sortie.Retrieve the metadata of a run without any output.

Nom du champField Name TypeType DescriptionDescription
run_idrun_id INT64 Identificateur canonique de l’exécution pour laquelle récupérer les métadonnées.The canonical identifier of the run for which to retrieve the metadata.

Structures de données Data structures

Dans cette section :In this section:

ClusterInstance ClusterInstance

Identificateurs pour le cluster et le contexte Spark utilisés par une exécution.Identifiers for the cluster and Spark context used by a run. Ces deux valeurs identifient ensemble un contexte d’exécution à tout moment.These two values together identify an execution context across all time.

Nom du champField Name TypeType DescriptionDescription
cluster_idcluster_id STRING Identificateur canonique du cluster utilisé par une exécution.The canonical identifier for the cluster used by a run. Ce champ est toujours disponible pour les exécutions sur les clusters existants.This field is always available for runs on existing clusters. Pour les exécutions sur de nouveaux clusters, elle devient disponible une fois que le cluster est créé.For runs on new clusters, it becomes available once the cluster is created. Cette valeur peut être utilisée pour afficher les journaux en accédant à /#setting/sparkui/$cluster_id/driver-logs .This value can be used to view logs by browsing to /#setting/sparkui/$cluster_id/driver-logs. Les journaux restent disponibles une fois l’exécution terminée.The logs will continue to be available after the run completes.

Si cet identificateur n’est pas encore disponible, la réponse n’inclut pas ce champ.If this identifier is not yet available, the response won’t include this field.
spark_context_idspark_context_id STRING Identificateur canonique du contexte Spark utilisé par une exécution.The canonical identifier for the Spark context used by a run. Ce champ est renseigné une fois que l’exécution commence l’exécution.This field will be filled in once the run begins execution. Cette valeur peut être utilisée pour afficher l’interface utilisateur Spark en accédant à /#setting/sparkui/$cluster_id/$spark_context_id .This value can be used to view the Spark UI by browsing to /#setting/sparkui/$cluster_id/$spark_context_id. L’interface utilisateur Spark restera disponible une fois l’exécution terminée.The Spark UI will continue to be available after the run has completed.

Si cet identificateur n’est pas encore disponible, la réponse n’inclut pas ce champ.If this identifier is not yet available, the response won’t include this field.

ClusterSpec ClusterSpec

Important

  • Lorsque vous exécutez un travail sur un nouveau cluster de travaux, le travail est traité comme une charge de travail de calcul (automatique) de travaux soumise à la tarification du calcul des travaux.When you run a job on a new jobs cluster, the job is treated as a Jobs Compute (automated) workload subject to Jobs Compute pricing.
  • Lorsque vous exécutez un travail sur un cluster à usage général existant, il est traité comme une charge de travail de calcul All-Purpose (interactive) soumise à des tarifs de calcul All-Purpose.When you run a job on an existing all-purpose cluster, it is treated as an All-Purpose Compute (interactive) workload subject to All-Purpose Compute pricing.
Nom du champField Name TypeType DescriptionDescription
existing_cluster_id ou new_clusterexisting_cluster_id OR new_cluster STRING OU NewClusterSTRING OR NewCluster Si existing_cluster_id, ID d’un cluster existant qui sera utilisé pour toutes les exécutions de ce travail.If existing_cluster_id, the ID of an existing cluster that will be used for all runs of this job. Lors de l’exécution de travaux sur un cluster existant, vous devrez peut-être redémarrer manuellement le cluster s’il cesse de répondre.When running jobs on an existing cluster, you may need to manually restart the cluster if it stops responding. Nous suggérons d’exécuter des travaux sur de nouveaux clusters pour une plus grande fiabilité.We suggest running jobs on new clusters for greater reliability.

Si new_cluster, description d’un cluster qui sera créé pour chaque exécution.If new_cluster, a description of a cluster that will be created for each run.
librarieslibraries Tableau de bibliothèqueAn array of Library Liste facultative de bibliothèques à installer sur le cluster qui exécutera le travail.An optional list of libraries to be installed on the cluster that will execute the job. La valeur par défaut est une liste vide.The default value is an empty list.

CronSchedule CronSchedule

Nom du champField Name TypeType DescriptionDescription
quartz_cron_expressionquartz_cron_expression STRING Expression cron utilisant la syntaxe quartz qui décrit la planification d’un travail.A Cron expression using Quartz syntax that describes the schedule for a job. Pour plus d’informations, consultez le déclencheur cron .See Cron Trigger for details. Ce champ doit obligatoirement être renseigné.This field is required.
timezone_idtimezone_id STRING ID de fuseau horaire Java.A Java timezone ID. La planification d’un travail sera résolue par rapport à ce fuseau horaire.The schedule for a job will be resolved with respect to this timezone. Pour plus d’informations, consultez la page fuseau horaire Java .See Java TimeZone for details. Ce champ doit obligatoirement être renseigné.This field is required.
pause_statuspause_status STRING Indiquez si cette planification est suspendue ou non.Indicate whether this schedule is paused or not. « SUSPENDU » ou « non suspendu ».Either “PAUSED” or “UNPAUSED”.

Travail Job

Nom du champField Name TypeType DescriptionDescription
job_idjob_id INT64 Identificateur canonique de ce travail.The canonical identifier for this job.
creator_user_namecreator_user_name STRING Nom d’utilisateur créateur.The creator user name. Ce champ n’est pas inclus dans la réponse si l’utilisateur a déjà été supprimé.This field won’t be included in the response if the user has already been deleted.
paramètressettings JobSettingsJobSettings Les paramètres de ce travail et de toutes ses exécutions.Settings for this job and all of its runs. Ces paramètres peuvent être mis à jour à l’aide de la resetJob méthode.These settings can be updated using the resetJob method.
created_timecreated_time INT64 Heure à laquelle ce travail a été créé en millisecondes (millisecondes depuis 1/1/1970 UTC).The time at which this job was created in epoch milliseconds (milliseconds since 1/1/1970 UTC).

JobEmailNotifications JobEmailNotifications

Important

Les champs on_start, on_success et on_failure acceptent uniquement les caractères latins (jeu de caractères ASCII).The on_start, on_success, and on_failure fields accept only Latin characters (ASCII character set). L’utilisation de caractères non-ASCII retourne une erreur.Using non-ASCII characters will return an error. Les caractères chinois, Kanji japonais et Emoji sont des exemples de caractères non-ASCII non valides.Examples of invalid, non-ASCII characters are Chinese, Japanese kanjis, and emojis.

Nom du champField Name TypeType DescriptionDescription
on_starton_start Tableau de STRINGAn array of STRING Liste d’adresses de messagerie à avertir lors du démarrage d’une exécution.A list of email addresses to be notified when a run begins. S’il n’est pas spécifié lors de la création ou de la réinitialisation du travail, la liste est vide, ce qui signifie qu’aucune adresse n’est notifiée.If not specified upon job creation or reset, the list will be empty, i.e., no address will be notified.
on_successon_success Tableau de STRINGAn array of STRING Liste d’adresses de messagerie à notifier lorsqu’une exécution s’est terminée avec succès.A list of email addresses to be notified when a run successfully completes. Une exécution est considérée comme réussie si elle se termine par un TERMINATED life_cycle_state et un SUCCESSFUL result_state.A run is considered to have completed successfully if it ends with a TERMINATED life_cycle_state and a SUCCESSFUL result_state. S’il n’est pas spécifié lors de la création ou de la réinitialisation du travail, la liste est vide, ce qui signifie qu’aucune adresse n’est notifiée.If not specified upon job creation or reset, the list will be empty, i.e., no address will be notified.
on_failureon_failure Tableau de STRINGAn array of STRING Liste d’adresses de messagerie à notifier lorsqu’une exécution échoue.A list of email addresses to be notified when a run unsuccessfully completes. Une exécution est considérée comme ayant échoué si elle se termine par un INTERNAL_ERRORA run is considered to have completed unsuccessfully if it ends with an INTERNAL_ERROR
life_cycle_state ou SKIPPED , FAILED ou TIMED_OUT result_state.life_cycle_state or a SKIPPED, FAILED, or TIMED_OUT result_state. S’il n’est pas spécifié lors de la création ou de la réinitialisation du travail, la liste est vide, ce qui signifie qu’aucune adresse n’est notifiée.If not specified upon job creation or reset, the list will be empty, i.e., no address will be notified.
no_alert_for_skipped_runsno_alert_for_skipped_runs BOOL Si la valeur est true, ne pas envoyer de courrier électronique aux destinataires spécifiés dans on_failure si l’exécution est ignorée.If true, do not send email to recipients specified in on_failure if the run is skipped.

JobSettings JobSettings

Important

  • Lorsque vous exécutez un travail sur un nouveau cluster de travaux, le travail est traité comme une charge de travail de calcul (automatique) de travaux soumise à la tarification du calcul des travaux.When you run a job on a new jobs cluster, the job is treated as a Jobs Compute (automated) workload subject to Jobs Compute pricing.
  • Lorsque vous exécutez un travail sur un cluster à usage général existant, il est traité comme une charge de travail de calcul All-Purpose (interactive) soumise à des tarifs de calcul All-Purpose.When you run a job on an existing all-purpose cluster, it is treated as an All-Purpose Compute (interactive) workload subject to All-Purpose Compute pricing.

Paramètres d’un travail.Settings for a job. Ces paramètres peuvent être mis à jour à l’aide de la resetJob méthode.These settings can be updated using the resetJob method.

Nom du champField Name TypeType DescriptionDescription
existing_cluster_id ou new_clusterexisting_cluster_id OR new_cluster STRING OU NewClusterSTRING OR NewCluster Si existing_cluster_id, ID d’un cluster existant qui sera utilisé pour toutes les exécutions de ce travail.If existing_cluster_id, the ID of an existing cluster that will be used for all runs of this job. Lors de l’exécution de travaux sur un cluster existant, vous devrez peut-être redémarrer manuellement le cluster s’il cesse de répondre.When running jobs on an existing cluster, you may need to manually restart the cluster if it stops responding. Nous suggérons d’exécuter des travaux sur de nouveaux clusters pour une plus grande fiabilité.We suggest running jobs on new clusters for greater reliability.

Si new_cluster, description d’un cluster qui sera créé pour chaque exécution.If new_cluster, a description of a cluster that will be created for each run.
notebook_task ou spark_jar_task ou spark_python_task ou spark_submit_tasknotebook_task OR spark_jar_task OR spark_python_task OR spark_submit_task NotebookTask OU SparkJarTask ou SparkPythonTask ou SparkSubmitTaskNotebookTask OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask Si notebook_task, indique que ce travail doit exécuter un bloc-notes.If notebook_task, indicates that this job should run a notebook. Ce champ ne peut pas être spécifié conjointement avec spark_jar_task.This field may not be specified in conjunction with spark_jar_task.

Si spark_jar_task, indique que ce travail doit exécuter un fichier JAR.If spark_jar_task, indicates that this job should run a JAR.

Si spark_python_task, indique que ce travail doit exécuter un fichier Python.If spark_python_task, indicates that this job should run a Python file.

Si spark_submit_task, indique que ce travail doit exécuter le script d’envoi Spark.If spark_submit_task, indicates that this job should run Spark submit script.
namename STRING Nom facultatif du travail.An optional name for the job. La valeur par défaut est Untitled.The default value is Untitled.
librarieslibraries Tableau de bibliothèqueAn array of Library Liste facultative de bibliothèques à installer sur le cluster qui exécutera le travail.An optional list of libraries to be installed on the cluster that will execute the job. La valeur par défaut est une liste vide.The default value is an empty list.
email_notificationsemail_notifications JobEmailNotificationsJobEmailNotifications Un ensemble facultatif d’adresses e-mail qui seront notifiées lorsque des exécutions de ce travail commenceront ou se termineront, ainsi que de la suppression de ce travail.An optional set of email addresses that will be notified when runs of this job begin or complete as well as when this job is deleted. Le comportement par défaut consiste à ne pas envoyer de courriers électroniques.The default behavior is to not send any emails.
timeout_secondstimeout_seconds INT32 Délai d’attente facultatif appliqué à chaque exécution de ce travail.An optional timeout applied to each run of this job. Le comportement par défaut est de ne pas avoir de délai d’attente.The default behavior is to have no timeout.
max_retriesmax_retries INT32 Nombre maximal facultatif de tentatives d’exécution d’une tentative infructueuse.An optional maximum number of times to retry an unsuccessful run. Une exécution est considérée comme ayant échoué si elle se termine avec le FAILED result_state ouA run is considered to be unsuccessful if it completes with the FAILED result_state or
INTERNAL_ERROR
life_cycle_state.life_cycle_state. La valeur-1 signifie de réessayer indéfiniment et la valeur 0 signifie de ne jamais réessayer.The value -1 means to retry indefinitely and the value 0 means to never retry. Le comportement par défaut consiste à ne jamais réessayer.The default behavior is to never retry.
min_retry_interval_millismin_retry_interval_millis INT32 Intervalle minimal facultatif, en millisecondes, entre deux tentatives.An optional minimal interval in milliseconds between attempts. Le comportement par défaut est que les exécutions ayant échoué sont immédiatement retentées.The default behavior is that unsuccessful runs are immediately retried.
retry_on_timeoutretry_on_timeout BOOL Stratégie facultative permettant de spécifier s’il faut réessayer un travail lorsqu’il expire. Le comportement par défaut consiste à ne pas réessayer en cas d’expiration du délai d’attente.An optional policy to specify whether to retry a job when it times out. The default behavior is to not retry on timeout.
scheduleschedule CronScheduleCronSchedule Planification périodique facultative pour ce travail.An optional periodic schedule for this job. Le comportement par défaut est que le travail s’exécute uniquement lorsqu’il est déclenché en cliquant sur « Exécuter maintenant » dans l’interface utilisateur des tâches ou en envoyant une demande d’API àThe default behavior is that the job will only run when triggered by clicking “Run Now” in the Jobs UI or sending an API request to
runNow.runNow.
max_concurrent_runsmax_concurrent_runs INT32 Nombre maximal d’exécutions simultanées autorisées du travail.An optional maximum allowed number of concurrent runs of the job.

Définissez cette valeur si vous souhaitez pouvoir exécuter plusieurs exécutions du même travail simultanément.Set this value if you want to be able to execute multiple runs of the same job concurrently. Cela est utile par exemple si vous déclenchez un travail à intervalles fréquents et que vous souhaitez autoriser les exécutions consécutives à se chevaucher, ou si vous souhaitez déclencher plusieurs exécutions qui diffèrent par leurs paramètres d’entrée.This is useful for example if you trigger your job on a frequent schedule and want to allow consecutive runs to overlap with each other, or if you want to trigger multiple runs which differ by their input parameters.

Ce paramètre affecte uniquement les nouvelles exécutions.This setting affects only new runs. Par exemple, supposons que la concurrence du travail est de 4 et qu’il y a 4 exécutions actives simultanées.For example, suppose the job’s concurrency is 4 and there are 4 concurrent active runs. Ensuite, l’affectation de la valeur 3 à la concurrence n’interrompt aucune des exécutions actives.Then setting the concurrency to 3 won’t kill any of the active runs. Toutefois, à partir de là, les nouvelles exécutions seront ignorées, à moins qu’il y ait moins de 3 exécutions actives.However, from then on, new runs will be skipped unless there are fewer than 3 active runs.

Cette valeur ne peut pas dépasser 1000.This value cannot exceed 1000. Si vous affectez la valeur 0 à cette valeur, toutes les nouvelles exécutions sont ignorées.Setting this value to 0 causes all new runs to be skipped. Le comportement par défaut consiste à autoriser uniquement 1 exécution simultanée.The default behavior is to allow only 1 concurrent run.

JobTask JobTask

Nom du champField Name TypeType DescriptionDescription
notebook_task ou spark_jar_task ou spark_python_task ou spark_submit_tasknotebook_task OR spark_jar_task OR spark_python_task OR spark_submit_task NotebookTask OU SparkJarTask ou SparkPythonTask ou SparkSubmitTaskNotebookTask OR SparkJarTask OR SparkPythonTask OR SparkSubmitTask Si notebook_task, indique que ce travail doit exécuter un bloc-notes.If notebook_task, indicates that this job should run a notebook. Ce champ ne peut pas être spécifié conjointement avec spark_jar_task.This field may not be specified in conjunction with spark_jar_task.

Si spark_jar_task, indique que ce travail doit exécuter un fichier JAR.If spark_jar_task, indicates that this job should run a JAR.

Si spark_python_task, indique que ce travail doit exécuter un fichier Python.If spark_python_task, indicates that this job should run a Python file.

Si spark_submit_task, indique que ce travail doit exécuter le script d’envoi Spark.If spark_submit_task, indicates that this job should run spark submit script.

NewCluster NewCluster

Nom du champField Name TypeType DescriptionDescription
num_workers ou mise à l’échelle automatiquenum_workers OR autoscale INT32OU mise à l' échelle automatiqueINT32 OR AutoScale Si num_workers, nombre de nœuds Worker que ce cluster doit avoir.If num_workers, number of worker nodes that this cluster should have. Un cluster dispose d’un pilote Spark et de num_workers exécuteurs pour un total de num_workers + 1 nœuds Spark.A cluster has one Spark driver and num_workers executors for a total of num_workers + 1 Spark nodes.

Remarque : lors de la lecture des propriétés d’un cluster, ce champ reflète le nombre de Workers souhaité plutôt que le nombre actuel de travailleurs.Note: When reading the properties of a cluster, this field reflects the desired number of workers rather than the actual current number of workers. Par exemple, si un cluster est redimensionné de 5 à 10 travailleurs, ce champ sera immédiatement mis à jour pour refléter la taille cible de 10 Workers, tandis que les Workers répertoriés dans spark_info progressivement augmenté de 5 à 10 lorsque les nouveaux nœuds sont approvisionnés.For instance, if a cluster is resized from 5 to 10 workers, this field will immediately be updated to reflect the target size of 10 workers, whereas the workers listed in spark_info gradually increase from 5 to 10 as the new nodes are provisioned.

En cas de mise à l’échelle automatique, paramètres nécessaires pour mettre automatiquement à l’échelle les clusters en fonction de la charge.If autoscale, parameters needed in order to automatically scale clusters up and down based on load.
spark_versionspark_version STRING La version Spark du cluster.The Spark version of the cluster. Une liste des versions Spark disponibles peut être récupérée à l’aide de l’appel de l’API des versions du runtime .A list of available Spark versions can be retrieved by using the Runtime versions API call. Ce champ doit obligatoirement être renseigné.This field is required.
spark_confspark_conf SparkConfPairSparkConfPair Objet contenant un jeu de paires clé-valeur de configuration Spark facultatives spécifiées par l’utilisateur.An object containing a set of optional, user-specified Spark configuration key-value pairs. Vous pouvez également transmettre une chaîne d’options JVM supplémentaires au pilote et aux exécuteurs viaYou can also pass in a string of extra JVM options to the driver and the executors via
spark.driver.extraJavaOptions et spark.executor.extraJavaOptions respectivement.spark.driver.extraJavaOptions and spark.executor.extraJavaOptions respectively.

Exemple Spark conf :Example Spark confs:
{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} ou{"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} or
{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"}
node_type_idnode_type_id STRING Ce champ code, via une seule valeur, les ressources disponibles pour chacun des nœuds Spark de ce cluster.This field encodes, through a single value, the resources available to each of the Spark nodes in this cluster. Par exemple, les nœuds Spark peuvent être approvisionnés et optimisés pour les charges de travail de mémoire ou de calcul intensif. une liste de types de nœuds disponibles peut être récupérée à l’aide de l’appel d’API types de nœuds de liste .For example, the Spark nodes can be provisioned and optimized for memory or compute intensive workloads A list of available node types can be retrieved by using the List node types API call. Ce champ doit obligatoirement être renseigné.This field is required.
driver_node_type_iddriver_node_type_id STRING Type de nœud du pilote Spark.The node type of the Spark driver. Ce champ est facultatif. Si la valeur est non définie, le type de nœud du pilote est défini sur la même valeur que celle node_type_id définie ci-dessus.This field is optional; if unset, the driver node type is set as the same value as node_type_id defined above.
custom_tagscustom_tags ClusterTagClusterTag Objet contenant un ensemble de balises pour les ressources de cluster.An object containing a set of tags for cluster resources. Azure Databricks balise toutes les ressources de cluster avec ces balises en plus des default_tags.Azure Databricks tags all cluster resources with these tags in addition to default_tags.
Remarque: Databricks autorise au maximum 45 balises personnalisées.Note: Databricks allows at most 45 custom tags.
cluster_log_confcluster_log_conf ClusterLogConfClusterLogConf Configuration pour la transmission des journaux Spark à une destination de stockage à long terme.The configuration for delivering Spark logs to a long-term storage destination. Une seule destination peut être spécifiée pour un cluster.Only one destination can be specified for one cluster. Si le conf est donné, les journaux sont remis à chaque destination 5 mins .If the conf is given, the logs will be delivered to the destination every 5 mins. La destination des journaux de pilote est <destination>/<cluster-id>/driver , tandis que la destination des journaux d’exécuteur est <destination>/<cluster-id>/executor .The destination of driver logs is <destination>/<cluster-id>/driver, while the destination of executor logs is <destination>/<cluster-id>/executor.
init_scriptsinit_scripts Tableau de InitScriptInfoAn array of InitScriptInfo Configuration pour le stockage des scripts init.The configuration for storing init scripts. Vous pouvez spécifier un nombre quelconque de scripts.Any number of scripts can be specified. Les scripts sont exécutés séquentiellement dans l’ordre indiqué.The scripts are executed sequentially in the order provided. Si cluster_log_conf est spécifié, les journaux de script init sont envoyés àIf cluster_log_conf is specified, init script logs are sent to
<destination>/<cluster-id>/init_scripts.<destination>/<cluster-id>/init_scripts.
spark_env_varsspark_env_vars SparkEnvPairSparkEnvPair Objet contenant un ensemble de paires clé-valeur de variable d’environnement facultatives spécifiées par l’utilisateur.An object containing a set of optional, user-specified environment variable key-value pairs. La paire clé-valeur de la forme (X, Y) est exportée en l’occurrence (c.-à-d.,Key-value pair of the form (X,Y) are exported as is (i.e.,
export X='Y') lors du lancement du pilote et des Workers.export X='Y') while launching the driver and workers.

Pour spécifier un ensemble supplémentaire de SPARK_DAEMON_JAVA_OPTS , nous vous recommandons de les ajouter à $SPARK_DAEMON_JAVA_OPTS comme indiqué dans l’exemple suivant.In order to specify an additional set of SPARK_DAEMON_JAVA_OPTS, we recommend appending them to $SPARK_DAEMON_JAVA_OPTS as shown in the following example. Cela permet de s’assurer que toutes les variables d’environnement gérées par databricks par défaut sont également incluses.This ensures that all default databricks managed environmental variables are included as well.

Exemples de variables d’environnement Spark :Example Spark environment variables:
{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} ou{"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} or
{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"}
enable_elastic_diskenable_elastic_disk BOOL Mise à l’échelle automatique du stockage local : lorsqu’il est activé, ce cluster acquiert dynamiquement de l’espace disque supplémentaire lorsque ses travailleurs Spark manquent d’espace disque.Autoscaling Local Storage: when enabled, this cluster dynamically acquires additional disk space when its Spark workers are running low on disk space. Pour plus d’informations, consultez mise à l’échelle automatique du stockage local .Refer to Autoscaling local storage for details.
instance_pool_idinstance_pool_id STRING ID facultatif du pool d’instances auquel le cluster appartient.The optional ID of the instance pool to which the cluster belongs. Pour plus d’informations, consultez API pools d’instances .Refer to Instance Pools API for details.

NotebookOutput NotebookOutput

Nom du champField Name TypeType DescriptionDescription
resultresult STRING Valeur transmise à dbutils. Notebook. Exit ().The value passed to dbutils.notebook.exit(). Azure Databricks limite cette API pour retourner les premiers 1 Mo de la valeur.Azure Databricks restricts this API to return the first 1 MB of the value. Pour obtenir un résultat plus grand, votre travail peut stocker les résultats dans un service de stockage cloud.For a larger result, your job can store the results in a cloud storage service. Ce champ est absent si dbutils.notebook.exit() n’a jamais été appelé.This field will be absent if dbutils.notebook.exit() was never called.
tronquétruncated BOOLEAN Indique si le résultat a été tronqué.Whether or not the result was truncated.

NotebookTask NotebookTask

Toutes les cellules de sortie sont soumises à la taille de 8 Mo.All the output cells are subject to the size of 8MB. Si la sortie d’une cellule a une taille supérieure, le reste de l’exécution est annulé et l’exécution est marquée comme ayant échoué.If the output of a cell has a larger size, the rest of the run will be cancelled and the run will be marked as failed. Dans ce cas, une partie de la sortie de contenu provenant d’autres cellules peut également être manquante.In that case, some of the content output from other cells may also be missing. Si vous avez besoin d’aide pour trouver la cellule qui dépasse la limite, exécutez le bloc-notes sur un cluster à usage général et utilisez cette technique d’enregistrement automatique du bloc-notes.If you need help finding the cell that is beyond the limit, run the notebook against an all-purpose cluster and use this notebook autosave technique.

Nom du champField Name TypeType DescriptionDescription
notebook_pathnotebook_path STRING Chemin d’accès absolu du bloc-notes à exécuter dans l’espace de travail Azure Databricks.The absolute path of the notebook to be run in the Azure Databricks workspace. Ce chemin doit commencer par une barre oblique.This path must begin with a slash. Ce champ doit obligatoirement être renseigné.This field is required.
revision_timestamprevision_timestamp LONG Horodateur de la révision du bloc-notes.The timestamp of the revision of the notebook.
base_parametersbase_parameters Une carte de ParamPairA map of ParamPair Paramètres de base à utiliser pour chaque exécution de ce travail.Base parameters to be used for each run of this job. Si l’exécution est lancée par un appel à run-now avec les paramètres spécifiés, les deux mappages de paramètres sont fusionnés.If the run is initiated by a call to run-now with parameters specified, the two parameters maps will be merged. Si la même clé est spécifiée dans base_parameters et dans run-now , la valeur de run-now sera utilisée.If the same key is specified in base_parameters and in run-now, the value from run-now will be used.

Si le bloc-notes prend un paramètre qui n’est pas spécifié dans les paramètres de la tâche base_parameters ou du run-now remplacement, la valeur par défaut du bloc-notes est utilisée.If the notebook takes a parameter that is not specified in the job’s base_parameters or the run-now override parameters, the default value from the notebook will be used.

Récupérez ces paramètres dans un Notebook à l’aide de dbutils. widgets. obtenir.Retrieve these parameters in a notebook using dbutils.widgets.get.

ParamPair ParamPair

Paramètres basés sur le nom des tâches exécutant des tâches du bloc-notes.Name-based parameters for jobs running notebook tasks.

Important

Les champs de cette structure de données acceptent uniquement des caractères latins (jeu de caractères ASCII).The fields in this data structure accept only Latin characters (ASCII character set). L’utilisation de caractères non-ASCII retourne une erreur.Using non-ASCII characters will return an error. Les caractères chinois, Kanji japonais et Emoji sont des exemples de caractères non-ASCII non valides.Examples of invalid, non-ASCII characters are Chinese, Japanese kanjis, and emojis.

TypeType DescriptionDescription
STRING Nom du paramètre.Parameter name. Transmettez à dbutils. widgets. obtenir pour récupérer la valeur.Pass to dbutils.widgets.get to retrieve the value.
STRING Valeur du paramètre.Parameter value.

Exécuter Run

Toutes les informations relatives à une exécution à l’exception de sa sortie.All the information about a run except for its output. La sortie peut être récupérée séparément avec la getRunOutput méthode.The output can be retrieved separately with the getRunOutput method.

Nom du champField Name TypeType DescriptionDescription
job_idjob_id INT64 Identificateur canonique du travail qui contient cette exécution.The canonical identifier of the job that contains this run.
run_idrun_id INT64 Identificateur canonique de l’exécution.The canonical identifier of the run. Cet ID est unique pour toutes les exécutions de tous les travaux.This ID is unique across all runs of all jobs.
creator_user_namecreator_user_name STRING Nom d’utilisateur créateur.The creator user name. Ce champ n’est pas inclus dans la réponse si l’utilisateur a déjà été supprimé.This field won’t be included in the response if the user has already been deleted.
number_in_jobnumber_in_job INT64 Numéro de séquence de cette exécution parmi toutes les exécutions du travail.The sequence number of this run among all runs of the job. Cette valeur commence à 1.This value starts at 1.
original_attempt_run_idoriginal_attempt_run_id INT64 Si cette exécution est une nouvelle tentative d’une tentative d’exécution antérieure, ce champ contient la run_id de la tentative d’origine. dans le cas contraire, il est identique au run_id.If this run is a retry of a prior run attempt, this field contains the run_id of the original attempt; otherwise, it is the same as the run_id.
statestate RunStateRunState États de résultat et de cycle de vie de l’exécution.The result and lifecycle states of the run.
scheduleschedule CronScheduleCronSchedule Planification cron qui a déclenché cette exécution si elle a été déclenchée par le planificateur périodique.The cron schedule that triggered this run if it was triggered by the periodic scheduler.
tâchetask JobTaskJobTask Tâche exécutée par l’exécution, le cas échéant.The task performed by the run, if any.
cluster_speccluster_spec ClusterSpecClusterSpec Instantané de la spécification de cluster du travail lors de la création de cette série.A snapshot of the job’s cluster specification when this run was created.
cluster_instancecluster_instance ClusterInstanceClusterInstance Cluster utilisé pour cette exécution.The cluster used for this run. Si l’exécution est spécifiée pour utiliser un nouveau cluster, ce champ est défini une fois que le service de travaux a demandé un cluster pour l’exécution.If the run is specified to use a new cluster, this field will be set once the Jobs service has requested a cluster for the run.
overriding_parametersoverriding_parameters RunParametersRunParameters Paramètres utilisés pour cette exécution.The parameters used for this run.
start_timestart_time INT64 Heure à laquelle cette exécution a été démarrée en millisecondes (millisecondes depuis 1/1/1970 UTC).The time at which this run was started in epoch milliseconds (milliseconds since 1/1/1970 UTC). Cela peut ne pas être l’heure de début de l’exécution de la tâche de travail, par exemple, si le travail est planifié pour s’exécuter sur un nouveau cluster, il s’agit de l’heure à laquelle l’appel de création de cluster est émis.This may not be the time when the job task starts executing, for example, if the job is scheduled to run on a new cluster, this is the time the cluster creation call is issued.
setup_durationsetup_duration INT64 Le temps nécessaire à la configuration du cluster en millisecondes.The time it took to set up the cluster in milliseconds. Pour les exécutions qui s’exécutent sur de nouveaux clusters, il s’agit de l’heure de création du cluster, pour les exécutions qui s’exécutent sur les clusters existants. cette fois-ci, cette durée doit être trèsFor runs that run on new clusters this is the cluster creation time, for runs that run on existing clusters this time should be very short.
execution_durationexecution_duration INT64 Durée en millisecondes nécessaire à l’exécution des commandes dans le fichier JAR ou le bloc-notes jusqu’à ce qu’elles soient terminées, échouées, expirées, ont été annulées ou rencontré une erreur inattendue.The time in milliseconds it took to execute the commands in the JAR or notebook until they completed, failed, timed out, were cancelled, or encountered an unexpected error.
cleanup_durationcleanup_duration INT64 Durée en millisecondes nécessaire pour mettre fin au cluster et nettoyer les résultats intermédiaires, etc. La durée totale de l’exécution est la somme des setup_duration, de la execution_duration et de la cleanup_duration.The time in milliseconds it took to terminate the cluster and clean up any intermediary results, etc. The total duration of the run is the sum of the setup_duration, the execution_duration, and the cleanup_duration.
déclencheurtrigger TriggerTypeTriggerType Le type de déclencheur qui a déclenché cette exécution, par exemple, une planification périodique ou une exécution unique.The type of trigger that fired this run, e.g., a periodic schedule or a one time run.
run_namerun_name STRING Nom facultatif pour l’exécution.An optional name for the run. La valeur par défaut est Untitled.The default value is Untitled. La longueur maximale autorisée est de 4096 octets dans l’encodage UTF-8.The maximum allowed length is 4096 bytes in UTF-8 encoding.
run_page_urlrun_page_url STRING URL de la page de détails de l’exécution.The URL to the detail page of the run.
run_typerun_type STRING Type de l’exécution.The type of the run.

* JOB_RUN -Exécution normale du travail.* JOB_RUN - Normal job run. Une série créée avec Exécuter maintenant.A run created with Run now.
* WORKFLOW_RUN -Exécution du flux de travail.* WORKFLOW_RUN - Workflow run. Une série créée avec dbutils. Notebook. Run.A run created with dbutils.notebook.run.
* SUBMIT_RUN -Envoyer une exécution.* SUBMIT_RUN - Submit run. Une série créée avec Exécuter maintenant.A run created with Run now.

RunParameters RunParameters

Paramètres de cette exécution.Parameters for this run. Une seule des jar_params, python_params ou notebook_params doit être spécifiée dans la run-now demande, selon le type de tâche de travail.Only one of jar_params, python_params, or notebook_params should be specified in the run-now request, depending on the type of job task. Les travaux avec une tâche JAR Spark ou une tâche python prennent une liste de paramètres basés sur les positions, et les travaux avec des tâches de bloc-notes prennent un mappage des valeurs clés.Jobs with Spark JAR task or Python task take a list of position-based parameters, and jobs with notebook tasks take a key value map.

Nom du champField Name TypeType DescriptionDescription
jar_paramsjar_params Tableau de STRINGAn array of STRING Liste de paramètres pour les travaux avec des tâches JAR Spark, par exemple "jar_params": ["john doe", "35"] .A list of parameters for jobs with Spark JAR tasks, e.g. "jar_params": ["john doe", "35"]. Les paramètres sont utilisés pour appeler la fonction main de la classe principale spécifiée dans la tâche de fichier JAR Spark.The parameters will be used to invoke the main function of the main class specified in the Spark JAR task. S’il n’est pas spécifié sur run-now , il s’agit d’une liste vide par défaut.If not specified upon run-now, it will default to an empty list. jar_params ne peut pas être spécifié conjointement avec notebook_params.jar_params cannot be specified in conjunction with notebook_params. La représentation JSON de ce champ (autrement dit {"jar_params":["john doe","35"]} ,) ne peut pas dépasser 10 000 octets.The JSON representation of this field (i.e. {"jar_params":["john doe","35"]}) cannot exceed 10,000 bytes.
notebook_paramsnotebook_params Une carte de ParamPairA map of ParamPair Un mappage entre les clés et les valeurs des travaux avec la tâche du bloc-notes, par exempleA map from keys to values for jobs with notebook task, e.g.
"notebook_params": {"name": "john doe", "age": "35"}."notebook_params": {"name": "john doe", "age": "35"}. Le mappage est passé au bloc-notes et est accessible via la fonction dbutils. widgets. obten .The map is passed to the notebook and is accessible through the dbutils.widgets.get function.

S’il n’est pas spécifié sur run-now , l’exécution déclenchée utilise les paramètres de base du travail.If not specified upon run-now, the triggered run uses the job’s base parameters.

notebook_params ne peut pas être spécifié conjointement avec jar_params.notebook_params cannot be specified in conjunction with jar_params.

Représentation JSON de ce champ (c.-à-d.The JSON representation of this field (i.e.
{"notebook_params":{"name":"john doe","age":"35"}}) ne peut pas dépasser 10 000 octets.{"notebook_params":{"name":"john doe","age":"35"}}) cannot exceed 10,000 bytes.
python_paramspython_params Tableau de STRINGAn array of STRING Liste de paramètres pour les travaux avec des tâches Python, par exemple "python_params": ["john doe", "35"] .A list of parameters for jobs with Python tasks, e.g. "python_params": ["john doe", "35"]. Les paramètres sont passés au fichier Python en tant que paramètres de ligne de commande.The parameters are passed to Python file as command-line parameters. S' run-now il est spécifié sur, il remplace les paramètres spécifiés dans le paramètre de travail.If specified upon run-now, it would overwrite the parameters specified in job setting. La représentation JSON de ce champ (autrement dit {"python_params":["john doe","35"]} ,) ne peut pas dépasser 10 000 octets.The JSON representation of this field (i.e. {"python_params":["john doe","35"]}) cannot exceed 10,000 bytes.

> [!IMPORTANT] > > ces paramètres acceptent uniquement les caractères latins (jeu de caractères ASCII).> [!IMPORTANT] > > These parameters accept only Latin characters (ASCII character set). > l’utilisation de caractères non-ASCII retourne une erreur.> Using non-ASCII characters will return an error. Des exemples de caractères non-ASCII non valides sont > chinois, des kanjis japonais et des Emoji.Examples of invalid, non-ASCII characters are > Chinese, Japanese kanjis, and emojis.
spark_submit_paramsspark_submit_params Tableau de STRINGAn array of STRING Liste de paramètres pour les travaux avec la tâche d’envoi Spark, par exempleA list of parameters for jobs with spark submit task, e.g.
"spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]."spark_submit_params": ["--class", "org.apache.spark.examples.SparkPi"]. Les paramètres sont passés au script Spark-Submit en tant que paramètres de ligne de commande.The parameters are passed to spark-submit script as command-line parameters. S' run-now il est spécifié sur, il remplace les paramètres spécifiés dans le paramètre de travail.If specified upon run-now, it would overwrite the parameters specified in job setting. La représentation JSON de ce champ (autrement dit {"python_params":["john doe","35"]} ,) ne peut pas dépasser 10 000 octets.The JSON representation of this field (i.e. {"python_params":["john doe","35"]}) cannot exceed 10,000 bytes.

> [!IMPORTANT] > > ces paramètres acceptent uniquement les caractères latins (jeu de caractères ASCII).> [!IMPORTANT] > > These parameters accept only Latin characters (ASCII character set). > l’utilisation de caractères non-ASCII retourne une erreur.> Using non-ASCII characters will return an error. Des exemples de caractères non-ASCII non valides sont > chinois, des kanjis japonais et des Emoji.Examples of invalid, non-ASCII characters are > Chinese, Japanese kanjis, and emojis.

RunState RunState

Nom du champField Name TypeType DescriptionDescription
life_cycle_statelife_cycle_state RunLifeCycleStateRunLifeCycleState Description de l’emplacement actuel d’une exécution dans le cycle de vie de l’exécution.A description of a run’s current location in the run lifecycle. Ce champ est toujours disponible dans la réponse.This field is always available in the response.
result_stateresult_state RunResultStateRunResultState État du résultat d’une exécution.The result state of a run. S’il n’est pas disponible, la réponse n’inclut pas ce champ.If it is not available, the response won’t include this field. Pour plus d’informations sur la disponibilité des result_state, consultez RunResultState .See RunResultState for details about the availability of result_state.
state_messagestate_message STRING Message descriptif pour l’état actuel.A descriptive message for the current state. Ce champ est non structuré et son format exact est susceptible de changer.This field is unstructured, and its exact format is subject to change.

SparkJarTask SparkJarTask

Nom du champField Name TypeType DescriptionDescription
jar_urijar_uri STRING Déconseillé depuis 04/2016.Deprecated since 04/2016. Fournissez un jar par le biais du champ à la libraries place.Provide a jar through the libraries field instead. Pour obtenir un exemple, consultez créer.For an example, see Create.
main_class_namemain_class_name STRING Nom complet de la classe contenant la méthode principale à exécuter.The full name of the class containing the main method to be executed. Cette classe doit être contenue dans un fichier JAR fourni en tant que bibliothèque.This class must be contained in a JAR provided as a library.

Le code doit utiliser SparkContext.getOrCreate pour obtenir un contexte Spark ; sinon, les exécutions du travail échouent.The code should use SparkContext.getOrCreate to obtain a Spark context; otherwise, runs of the job will fail.
parametersparameters Tableau de STRINGAn array of STRING Paramètres passés à la méthode main.Parameters passed to the main method.

SparkPythonTask SparkPythonTask

Nom du champField Name TypeType DescriptionDescription
python_filepython_file STRING L’URI du fichier Python à exécuter.The URI of the Python file to be executed. Les chemins d’accès DBFS sont pris en charge.DBFS paths are supported. Ce champ doit obligatoirement être renseigné.This field is required.
parametersparameters Tableau de STRINGAn array of STRING Paramètres de ligne de commande passés au fichier Python.Command line parameters passed to the Python file.

SparkSubmitTask SparkSubmitTask

Important

  • Vous pouvez appeler des tâches d’envoi Spark uniquement sur de nouveaux clusters.You can invoke Spark submit tasks only on new clusters.
  • Dans la spécification new_cluster, libraries et ne spark_conf sont pas pris en charge.In the new_cluster specification, libraries and spark_conf are not supported. Au lieu de cela, utilisez --jars et --py-files pour ajouter des bibliothèques Java et Python et --conf pour définir la configuration Spark.Instead, use --jars and --py-files to add Java and Python libraries and --conf to set the Spark configuration.
  • master, deploy-mode et executor-cores sont configurés automatiquement par Azure Databricks ; vous ne pouvez pas les spécifier dans des paramètres.master, deploy-mode, and executor-cores are automatically configured by Azure Databricks; you cannot specify them in parameters.
  • Par défaut, la tâche d’envoi Spark utilise toute la mémoire disponible (à l’exclusion de la mémoire réservée pour les services Azure Databricks).By default, the Spark submit job uses all available memory (excluding reserved memory for Azure Databricks services). Vous pouvez définir --driver-memory , et --executor-memory à une valeur inférieure, pour laisser de la place à l’utilisation hors du tas.You can set --driver-memory, and --executor-memory to a smaller value to leave some room for off-heap usage.
  • Les --jars --py-files arguments,, --files prennent en charge les chemins d’accès dBFS.The --jars, --py-files, --files arguments support DBFS paths.

Par exemple, en supposant que le fichier JAR est chargé sur DBFS, vous pouvez SparkPi l’exécuter en définissant les paramètres suivants.For example, assuming the JAR is uploaded to DBFS, you can run SparkPi by setting the following parameters.

{
  "parameters": [
    "--class",
    "org.apache.spark.examples.SparkPi",
    "dbfs:/path/to/examples.jar",
    "10"
  ]
}
Nom du champField Name TypeType DescriptionDescription
parametersparameters Tableau de STRINGAn array of STRING Paramètres de ligne de commande passés à Spark Submit.Command-line parameters passed to spark submit.

ViewItem ViewItem

Le contenu exporté est au format HTML.The exported content is in HTML format. Par exemple, si la vue à exporter est un tableau de bord, une chaîne HTML est retournée pour chaque tableau de bord.For example, if the view to export is dashboards, one HTML string is returned for every dashboard.

Nom du champField Name TypeType DescriptionDescription
contenucontent STRING Contenu de la vue.Content of the view.
namename STRING Nom de l’élément d’affichage.Name of the view item. Dans le cas du mode Code, il s’agit du nom du bloc-notes.In the case of code view, it would be the notebook’s name. Dans le cas d’un affichage de tableau de bord, il s’agit du nom du tableau de bord.In the case of dashboard view, it would be the dashboard’s name.
typetype ViewTypeViewType Type de l’élément d’affichage.Type of the view item.

RunLifeCycleState RunLifeCycleState

État du cycle de vie d’une exécution.The life cycle state of a run. Les transitions d’État autorisées sont :Allowed state transitions are:

  • PENDING -> RUNNING -> TERMINATING -> TERMINATED
  • PENDING -> SKIPPED
  • PENDING -> INTERNAL_ERROR
  • RUNNING -> INTERNAL_ERROR
  • TERMINATING -> INTERNAL_ERROR
ÉtatState DescriptionDescription
PENDING L’exécution a été déclenchée.The run has been triggered. S’il n’existe pas déjà une exécution active du même travail, le cluster et le contexte d’exécution sont en cours de préparation.If there is not already an active run of the same job, the cluster and execution context are being prepared. Si une exécution du même travail est déjà en cours, l’exécution passe immédiatement à l' SKIPPED État sans préparer les ressources.If there is already an active run of the same job, the run will immediately transition into the SKIPPED state without preparing any resources.
RUNNING La tâche de cette exécution est en cours d’exécution.The task of this run is being executed.
TERMINATING La tâche de cette exécution est terminée et le cluster et le contexte d’exécution sont en cours de nettoyage.The task of this run has completed, and the cluster and execution context are being cleaned up.
TERMINATED La tâche de cette exécution est terminée et le cluster et le contexte d’exécution ont été nettoyés.The task of this run has completed, and the cluster and execution context have been cleaned up. Cet État est terminal.This state is terminal.
SKIPPED Cette exécution a été abandonnée, car une exécution précédente du même travail était déjà active.This run was aborted because a previous run of the same job was already active. Cet État est terminal.This state is terminal.
INTERNAL_ERROR État exceptionnel indiquant une défaillance dans le service travaux, tel qu’une défaillance réseau sur une longue période.An exceptional state that indicates a failure in the Jobs service, such as network failure over a long period. Si une exécution sur un nouveau cluster se termine dans l' INTERNAL_ERROR État, le service Jobs met le cluster à niveau dès que possible.If a run on a new cluster ends in the INTERNAL_ERROR state, the Jobs service terminates the cluster as soon as possible. Cet État est terminal.This state is terminal.

RunResultState RunResultState

État de résultat de l’exécution.The result state of the run.

  • Si life_cycle_state = TERMINATED : si la série de tests a été exécutée, le résultat est garanti comme étant disponible et indique le résultat de la tâche.If life_cycle_state = TERMINATED: if the run had a task, the result is guaranteed to be available, and it indicates the result of the task.
  • Si life_cycle_state = PENDING , RUNNING ou SKIPPED , l’état de résultat n’est pas disponible.If life_cycle_state = PENDING, RUNNING, or SKIPPED, the result state is not available.
  • Si life_cycle_state = TERMINATING ou lifecyclestate = INTERNAL_ERROR : l’état de résultat est disponible si l’exécution avait une tâche et gérée pour la démarrer.If life_cycle_state = TERMINATING or lifecyclestate = INTERNAL_ERROR: the result state is available if the run had a task and managed to start it.

Une fois disponible, l’état du résultat ne change jamais.Once available, the result state never changes.

ÉtatState DescriptionDescription
SUCCESSSUCCESS La tâche a été terminée avec succès.The task completed successfully.
FAILEDFAILED La tâche s’est terminée avec une erreur.The task completed with an error.
TIMEDOUTTIMEDOUT L’exécution a été arrêtée après avoir atteint le délai d’expiration.The run was stopped after reaching the timeout.
ANNULÉECANCELED L’exécution a été annulée à la demande de l’utilisateur.The run was canceled at user request.

TriggerType TriggerType

Il s’agit du type de déclencheur qui peut déclencher une exécution.These are the type of triggers that can fire a run.

TypeType DescriptionDescription
AmorPERIODIC Les planifications qui déclenchent périodiquement des exécutions, telles qu’un planificateur cron.Schedules that periodically trigger runs, such as a cron scheduler.
ONE_TIMEONE_TIME Déclencheurs uniques déclenchant une seule exécution.One time triggers that fire a single run. Cela se produit lorsque vous déclenchez une seule exécution à la demande par le biais de l’interface utilisateur ou de l’API.This occurs you triggered a single run on demand through the UI or the API.
RÉESSAYEZRETRY Indique une exécution qui est déclenchée comme une nouvelle tentative d’une exécution ayant échoué précédemment.Indicates a run that is triggered as a retry of a previously failed run. Cela se produit lorsque vous demandez à exécuter à nouveau le travail en cas d’échec.This occurs when you request to re-run the job in case of failures.

ViewType ViewType

TypeType DescriptionDescription
ÉQUIPÉSNOTEBOOK Élément d’affichage du bloc-notes.Notebook view item.
TABLEAU DE BORDDASHBOARD Élément d’affichage de tableau de bord.Dashboard view item.

ViewsToExport ViewsToExport

Affichage à exporter : code, tous les tableaux de bord, ou tout.View to export: either code, all dashboards, or all.

TypeType DescriptionDescription
CODECODE Mode Code du bloc-notes.Code view of the notebook.
TABLEAUX DE BORDDASHBOARDS Tous les affichages du tableau de bord du bloc-notes.All dashboard views of the notebook.
ALLALL Toutes les vues du bloc-notes.All views of the notebook.