AufträgeJobs

Ein Auftrag ist ein Verfahren, mit dem ein Notebook oder eine JAR-Daten entweder sofort oder nach einem Zeitplan ausgeführt werden kann.A job is a way of running a notebook or JAR either immediately or on a scheduled basis. Die andere Möglichkeit, ein Notebook auszuführen, erfolgt interaktiv in der Notebook-Benutzeroberfläche.The other way to run a notebook is interactively in the notebook UI.

Sie können Aufträge mithilfe der Benutzeroberfläche, der CLI und durch Aufrufen der Jobs-API erstellen und ausführen.You can create and run jobs using the UI, the CLI, and by invoking the Jobs API. Sie können die Ergebnisse von Auftrags Lauf in der Benutzeroberfläche überwachen, indem Sie die Befehlszeilenschnittstelle verwenden, indem Sie die API und e-Mail-Benachrichtigungen abfragen.You can monitor job run results in the UI, using the CLI, by querying the API, and through email alerts. Dieser Artikel konzentriert sich auf die Durchführung von Auftrags Aufgaben mithilfe der Benutzeroberfläche.This article focuses on performing job tasks using the UI. Informationen zu den anderen Methoden finden Sie unter Aufträge-CLI und Jobs-API.For the other methods, see Jobs CLI and Jobs API.

Wichtig

  • Die Anzahl von Aufträgen ist auf 1.000 beschränkt.The number of jobs is limited to 1000.
  • Die Anzahl der Aufträge, die ein Arbeitsbereich innerhalb einer Stunde erstellen kann, ist auf 5000 beschränkt (einschließlich "jetzt ausführen" und "Ausführung übermitteln").The number of jobs a workspace can create in an hour is limited to 5000 (includes “run now” and “runs submit”). Diese Beschränkung wirkt sich auch auf Aufträge aus, die mit den REST-API- und Notebook-Workflows erstellt wurden.This limit also affects jobs created by the REST API and notebook workflows.
  • Ein Arbeitsbereich ist auf 150 gleichzeitige (ausgeführte) Auftragsausführungen beschränkt.A workspace is limited to 150 concurrent (running) job runs.
  • Ein Arbeitsbereich ist auf 1.000 aktive Auftragsausführungen (ausgeführt und ausstehend) beschränkt.A workspace is limited to 1000 active (running and pending) job runs.

Anzeigen von AufträgenView jobs

Klicken auf das Symbol "Aufträge"Click the Jobs icon Menü Symbol "Aufträge" in der Rand Leiste.in the sidebar. Die Liste Aufträge wird angezeigt.The Jobs list displays. Auf der Seite Aufträge werden alle definierten Aufträge, die Cluster Definition, der Zeitplan, falls vorhanden, und das Ergebnis der letzten Ausführung aufgelistet.The Jobs page lists all defined jobs, the cluster definition, the schedule if any, and the result of the last run.

In der Liste Aufträge können Sie Aufträge filtern:In the Jobs list, you can filter jobs:

  • Verwenden von Schlüsselwörtern.Using key words.
  • Wählen Sie nur Aufträge aus, die Sie besitzen oder für die Sie Zugriff haben.Selecting only jobs you own or jobs you have access to. Der Zugriff auf diesen Filter ist davon abhängig, dass die Zugriffs Steuerung für Aufträge aktiviert ist.Access to this filter depends on Jobs access control being enabled.

Sie können auch auf eine beliebige Spaltenüberschrift klicken, um die Liste der Aufträge (absteigend oder aufsteigend) nach dieser Spalte zu sortieren.You can also click any column header to sort the list of jobs (either descending or ascending) by that column. Standardmäßig wird die Seite nach Auftrags Namen in aufsteigender Reihenfolge sortiert.By default, the page is sorted on job names in ascending order.

AuftragslisteJobs list

Erstellen eines Auftrags Create a job

  1. Klicken Sie auf + Auftrag erstellen.Click + Create Job. Die Seite "Auftragsdetails" wird angezeigt.The job detail page displays.

    AuftragsdetailsJob detail

  2. Geben Sie einen Namen in das Textfeld mit dem Platzhalter Text ein Untitled .Enter a name in the text field with the placeholder text Untitled.

  3. Geben Sie den Tasktyp an: Klicken Sie auf Notebook auswählen, legen Sie jar fest, oder Konfigurieren Sie Spark-Submit.Specify the task type: click Select Notebook, Set JAR, or Configure spark-submit.

    • NotebookNotebook

      1. Wählen Sie ein Notebook aus, und klicken Sie auf OK.Select a notebook and click OK.
      2. Klicken Sie neben Parameterauf Bearbeiten.Next to Parameters, click Edit. Angeben von Schlüssel-Wert-Paaren oder einer JSON-Zeichenfolge, die Schlüssel-Wert-Paare darstellt.Specify key-value pairs or a JSON string representing key-value pairs. Diese Parameter legen den Wert von Widgetsfest.Such parameters set the value of widgets.
    • Jar: Laden Sie ein JAR hoch, geben Sie die Hauptklasse und die Argumente an, und klicken Sie auf OK.JAR: Upload a JAR, specify the main class and arguments, and click OK. Weitere Informationen zu jar-Aufträgen finden Sie unter jar-Auftrags Tipps.To learn more about JAR jobs, see JAR job tips.

    • Spark-Submit: Geben Sie die Hauptklasse, den Pfad zur jar-Bibliotheks-und-Argumente an, und klicken Sie auf bestätigen.spark-submit: Specify the main class, path to the library JAR, arguments, and click Confirm. Weitere Informationen zu Spark-Submit finden Sie in der Apache Spark-Dokumentation.To learn more about spark-submit, see the Apache Spark documentation.

      Hinweis

      Die folgenden Azure Databricks Features sind für Spark-Submit-Aufträge nicht verfügbar:The following Azure Databricks features are not available for spark-submit jobs:

  4. Klicken Sie optional im Feld abhängige Bibliotheken auf Hinzufügen , und geben Sie abhängige Bibliotheken an.In the Dependent Libraries field, optionally click Add and specify dependent libraries. Abhängige Bibliotheken werden beim Start automatisch an den Cluster angefügt.Dependent libraries are automatically attached to the cluster on launch. Befolgen Sie die Empfehlungen unter Bibliotheksabhängigkeiten zum Angeben von Abhängigkeiten.Follow the recommendations in Library dependencies for specifying dependencies.

    Wichtig

    Wenn Sie eine Bibliothek so konfiguriert haben, dass Sie automatisch auf allen Clustern installiert wird, oder wenn Sie im nächsten Schritt einen vorhandenen beendeten Cluster auswählen, auf dem Bibliotheken installiert sind, wird bei der Auftragsausführung nicht auf den Abschluss der Bibliotheks Installation gewartet.If you have configured a library to automatically install on all clusters or in the next step you select an existing terminated cluster that has libraries installed, the job execution does not wait for library installation to complete. Wenn für einen Auftrag eine bestimmte Bibliothek erforderlich ist, sollten Sie die Bibliothek an den Auftrag im Feld abhängige Bibliotheken anfügen.If a job requires a certain library, you should attach the library to the job in the Dependent Libraries field.

  5. Klicken Sie im Feld Cluster auf Bearbeiten , und geben Sie den Cluster an, in dem der Auftrag ausgeführt werden soll.In the Cluster field, click Edit and specify the cluster on which to run the job. Wählen Sie in der Dropdown-Dropdown-Dropdown Gruppe Clustertyp die Option neuer Auftrags Cluster oder vorhandener Zweck ClusterIn the Cluster Type drop-down, choose New Job Cluster or Existing All-Purpose Cluster.

    Hinweis

    Beachten Sie Folgendes, wenn Sie einen Clustertyp auswählen:Keep the following in mind when you choose a cluster type:

    • Für Aufträge oder Aufträge auf Produktionsebene, die unbedingt ausgeführt werden müssen, empfiehlt es sich, die Option neuer Auftrags Clusterauszuwählen.For production-level jobs or jobs that are important to complete, we recommend that you select New Job Cluster.
    • Sie können Spark-Submit-Aufträge nur in neuen Clustern ausführen.You can run spark-submit jobs only on new clusters.
    • Wenn Sie einen Auftrag auf einem neuen Cluster ausführen, wird der Auftrag in Bezug auf die workloadpreise für Aufträge als Data Engineering (Job)-Arbeitsauslastung behandelt.When you run a job on a new cluster, the job is treated as a data engineering (job) workload subject to the job workload pricing. Wenn Sie einen Auftrag auf einem vorhandenen Cluster ausführen, wird der Auftrag als Datenanalyse-Arbeitsauslastung (alle Zweck) behandelt, die den Preisgestaltung für alle Zwecke entspricht.When you run a job on an existing cluster, the job is treated as a data analytics (all-purpose) workload subject to all-purpose workload pricing.
    • Wenn Sie einen beendeten vorhandenen Cluster auswählen und der Besitzer des Auftrags die Berechtigung neu starten kann , wird der Cluster von Azure Databricks gestartet, wenn die Ausführung des Auftrags geplant ist.If you select a terminated existing cluster and the job owner has Can Restart permission, Azure Databricks starts the cluster when the job is scheduled to run.
    • Vorhandene Cluster funktionieren am besten für Aufgaben wie das Aktualisieren von Dashboards in regelmäßigen Abständen.Existing clusters work best for tasks such as updating dashboards at regular intervals.
    • Neuer Auftrags Cluster : vervollständigen Sie die Cluster Konfiguration.New Job Cluster - complete the cluster configuration.
      1. Wählen Sie in der Cluster Konfiguration eine Laufzeitversion aus.In the cluster configuration, select a runtime version. Hilfe bei der Auswahl einer Laufzeitversion finden Sie unter Databricks Runtime und databricks Light.For help with selecting a runtime version, see Databricks Runtime and Databricks Light.
      2. Wählen Sie einen Pool in der Cluster Konfiguration aus, um die neue Start Zeit des Clusters zu verringern.To decrease new cluster start time, select a pool in the cluster configuration.
    • Vorhandener sämtlicher Zweck Cluster : Wählen Sie in der Dropdown-Dropdown-Dropdown-Gruppe den vorhandenen ClusterExisting All-Purpose Cluster - in the drop-down, select the existing cluster.
  6. Klicken Sie optional im Feld Zeitplan auf Bearbeiten , und planen Sie den Auftrag.In the Schedule field, optionally click Edit and schedule the job. Siehe Ausführen eines Auftrags.See Run a job.

  7. Klicken Sie optional auf erweitert , und geben Sie erweiterte Auftrags Optionen an.Optionally click Advanced and specify advanced job options. Siehe Erweiterte Auftrags Optionen.See Advanced job options.

Anzeigen von Auftragsdetails View job details

Klicken Sie auf der Seite Aufträge in der Spalte Name auf einen Auftrags Namen.On the Jobs page, click a job name in the Name column. Auf der Seite "Auftragsdetails" werden Konfigurationsparameter, aktive Ausführungen (ausgeführt und ausstehend) und abgeschlossene Ausführungen angezeigt.The job details page shows configuration parameters, active runs (running and pending), and completed runs.

AuftragsdetailsJob details

Databricks verwaltet einen Verlauf ihrer Auftrags Ausführungen für bis zu 60 Tage.Databricks maintains a history of your job runs for up to 60 days. Wenn Sie Auftrags Ausführungen beibehalten müssen, empfiehlt es sich, die Ergebnisse der Auftragsausführung zu exportieren, bevor Sie ablaufen.If you need to preserve job runs, we recommend that you export job run results before they expire. Weitere Informationen finden Sie unter Ergebnisse der Export Auftrags Führung.For more information, see Export job run results.

Auf der Seite Auftrags Ausführungen können Sie den Standardfehler (Standardausgabe, log4j Output) für einen Auftrag anzeigen, indem Sie auf den Link Protokolle in der Spark-Spalte klicken.In the job runs page, you can view the standard error, standard output, log4j output for a job run by clicking the Logs link in the Spark column.

Ausführen eines AuftragsRun a job

Sie können einen Auftrag nach einem Zeitplan oder sofort ausführen.You can run a job on a schedule or immediately.

Planen eines AuftragsSchedule a job

So definieren Sie einen Zeitplan für den AuftragTo define a schedule for the job:

  1. Klicken Sie neben Zeitplanauf Bearbeiten .Click Edit next to Schedule.

    Bearbeiten des ZeitplansEdit schedule

    Das Dialogfeld Auftrags Zeitplan wird angezeigt.The Schedule Job dialog displays.

    Auftrag planenSchedule job

  2. Geben Sie die Granularität, die Startzeit und die Zeitzone für den Zeitplan an.Specify the schedule granularity, starting time, and time zone. Aktivieren Sie optional das Kontrollkästchen cron-Syntax anzeigen , um den Zeitplan in der Quarz cron-Syntaxanzuzeigen und zu bearbeiten.Optionally select the Show Cron Syntax checkbox to display and edit the schedule in Quartz Cron Syntax.

    Hinweis

    • Azure Databricks erzwingt ein Mindestintervall von 10 Sekunden zwischen nachfolgenden Ausführungen, die durch den Zeitplan eines Auftrags ausgelöst werden, unabhängig von der Sekunden Konfiguration im Cron-Ausdruck.Azure Databricks enforces a minimum interval of 10 seconds between subsequent runs triggered by the schedule of a job regardless of the seconds configuration in the cron expression.
    • Sie können eine Zeitzone auswählen, die die Sommerzeit oder eine UTC-Zeit beobachtet.You can choose a time zone that observes daylight saving time or a UTC time. Wenn Sie eine Zone auswählen, in der die Sommerzeit beachtet wird, wird ein stündlicher Auftrag ausgelassen, oder er wird möglicherweise für eine Stunde oder zwei nicht ausgelöst, Wenn die Sommerzeit beginnt oder endet.If you select a zone that observes daylight saving time, an hourly job will be skipped or may appear to not fire for an hour or two when daylight saving time begins or ends. Wenn Aufträge für jede Stunde (absolute Zeit) ausgeführt werden sollen, wählen Sie eine UTC-Zeit aus.If you want jobs to run at every hour (absolute time), choose a UTC time.
    • Der Auftrags Planer ist wie die Spark-Batch Schnittstelle nicht für Aufträge mit geringer Latenz vorgesehen.The job scheduler, like the Spark batch interface, is not intended for low latency jobs. Aufgrund von Problemen mit dem Netzwerk oder der Cloud kann es vorkommen, dass Aufträge in einigen Minuten verzögert werden.Due to network or cloud issues, job runs may occasionally be delayed up to several minutes. In diesen Fällen werden geplante Aufträge sofort nach der Dienst Verfügbarkeit ausgeführt.In these situations, scheduled jobs will run immediately upon service availability.
  3. Klicken Sie auf Confirm (Bestätigen).Click Confirm.

    Auftrag geplantJob scheduled

Anhalten und Fortsetzen eines Auftrags ZeitplansPause and resume a job schedule

Klicken Sie zum Anhalten eines Auftrags neben dem Auftrags Zeitplan auf die Schaltfläche anhalten:To pause a job, click the Pause button next to the job schedule:

Auftrag geplantJob scheduled

Zum Fortsetzen eines angehaltenen Auftrags Zeitplans klicken Sie auf die Schalt Fläche fortsetzen:To resume a paused job schedule, click the Resume button:

Auftrag fortsetzenResume job

Sofortiges Ausführen eines AuftragsRun a job immediately

Um den Auftrag sofort auszuführen, klicken Sie in der Tabelle aktive Testläufe auf jetzt ausführen.To run the job immediately, in the Active runs table click Run Now.

Jetzt ausführenRun now

Tipp

Klicken Sie auf jetzt ausführen , um einen Testlauf Ihres Notebooks oder Ihrer JAR-Datei auszuführen, wenn Sie die Konfiguration Ihres Auftrags abgeschlossen haben.Click Run Now to do a test run of your notebook or JAR when you’ve finished configuring your job. Wenn Ihr Notebook fehlschlägt, können Sie es bearbeiten, und der Auftrag führt automatisch die neue Version des Notebooks aus.If your notebook fails, you can edit it and the job will automatically run the new version of the notebook.

Ausführen eines Auftrags mit unterschiedlichen Parametern Run a job with different parameters

Sie können jetzt ausführen mit unterschiedlichen Parametern verwenden, um einen Auftrag mit unterschiedlichen Parametern oder anderen Werten für vorhandene Parameter erneut auszuführen.You can use Run Now with Different Parameters to re-run a job specifying different parameters or different values for existing parameters.

  1. Klicken Sie in der Tabelle aktive Ausführungen auf jetzt mit unterschiedlichen Parametern ausführen.In the Active runs table, click Run Now with Different Parameters. Das Dialogfeld variiert abhängig davon, ob Sie einen Notebook-oder Spark-Submit-Auftrag ausführen.The dialog varies depending on whether you are running a notebook job or a spark-submit job.

    • Notebook : eine Benutzeroberfläche, mit der Sie Schlüssel-Wert-Paare oder ein JSON-Objekt anzeigen können.Notebook - A UI that lets you set key-value pairs or a JSON object displays. Mit diesem Dialogfeld können Sie die Werte von Widgetsfestlegen:You can use this dialog to set the values of widgets:

      Notebook mit Parametern ausführenRun notebook with parameters

    • Spark-Submit -ein Dialogfeld mit der Liste der angezeigten Parameter.spark-submit - A dialog containing the list of parameters displays. Beispielsweise können Sie die sparkpi-Schätzung ausführen, die unter Erstellen eines Auftrags mit 100 anstelle der standardmäßigen 10 Partitionen beschrieben wird:For example, you could run the SparkPi estimator described in Create a job with 100 instead of the default 10 partitions:

      Festlegen von Spark-Submit-ParameternSet spark-submit parameters

  2. Geben Sie die Parameter an.Specify the parameters. Die angegebenen Parameter werden mit den Standardparametern für die ausgelöste Testlauf zusammengeführt.The provided parameters are merged with the default parameters for the triggered run. Wenn Sie Schlüssel löschen, werden die Standardparameter verwendet.If you delete keys, the default parameters are used.

  3. Klicken Sie auf Ausführen.Click Run.

Notebook-Auftrags Tipps Notebook job tips

Die gesamte Ausgabe der Notebook Zelle (die kombinierte Ausgabe aller Notebook-Zellen) unterliegt einer Größenbeschränkung von 20 MB.Total notebook cell output (the combined output of all notebook cells) is subject to a 20MB size limit. Außerdem unterliegen die einzelnen Zellen Ausgaben einer Größenbeschränkung von 8 MB.Additionally, individual cell output is subject to an 8MB size limit. Wenn die gesamte Zellen Ausgabe eine Größe von 20 MB überschreitet oder wenn die Ausgabe einer einzelnen Zelle größer als 8 MB ist, wird der Testlauf abgebrochen und als fehlgeschlagen markiert.If total cell output exceeds 20MB in size, or if the output of an individual cell is larger than 8MB, the run will be canceled and marked as failed. Wenn Sie Hilfe bei der Suche nach Zellen benötigen, die sich in der Nähe oder außerhalb des Limits befinden, führen Sie das Notebook für einen gesamten Cluster aus, und verwenden Sie diese Notebook-Methode zum automatische SpeichernIf you need help finding cells that are near or beyond the limit, run the notebook against an all-purpose cluster and use this notebook autosave technique.

Jar-Auftrags Tipps JAR job tips

Es gibt einige Einschränkungen, die Sie beachten müssen, wenn Sie einen jar-Auftrag ausführen.There are some caveats you need to be aware of when you run a JAR job.

Größenbeschränkungen der Ausgabe Output size limits

Hinweis

Verfügbar in Databricks Runtime 6,3 und höher.Available in Databricks Runtime 6.3 and above.

Die Auftrags Ausgabe, wie z. b. die an stdout ausgegebene Protokoll Ausgabe, unterliegt einer Größenbeschränkung von 20 MB.Job output, such as log output emitted to stdout, is subject to a 20MB size limit. Wenn die Gesamtausgabe eine größere Größe hat, wird der Testlauf abgebrochen und als fehlgeschlagen markiert.If the total output has a larger size, the run will be canceled and marked as failed.

Um zu vermeiden, dass dieser Grenzwert erreicht wird, können Sie verhindern, dass stdout vom Azure Databricks Treiber zurückgegeben wird, indem Sie die spark.databricks.driver.disableScalaOutput Spark-Konfiguration auf festlegen true .To avoid encountering this limit, you can prevent stdout from being returned from the driver to Azure Databricks by setting the spark.databricks.driver.disableScalaOutput Spark configuration to true. Standardmäßig ist der Flagwert false .By default the flag value is false. Das Flag steuert die Zellen Ausgabe für Scala jar-Aufträge und Scala-Notebooks.The flag controls cell output for Scala JAR jobs and Scala notebooks. Wenn das Flag aktiviert ist, gibt Spark keine Ergebnisse der Auftragsausführung an den Client zurück.If the flag is enabled, Spark does not return job execution results to the client. Das-Flag wirkt sich nicht auf die Daten aus, die in den Protokolldateien des Clusters geschrieben werden.The flag does not affect the data that is written in the cluster’s log files. Das Festlegen dieses Flags wird nur für Auftrags Cluster für JAR-Aufträge empfohlen, da die Notebook-Ergebnisse deaktiviert werden.Setting this flag is recommended only for job clusters for JAR jobs, because it will disable notebook results.

Verwenden Sie die freigegebeneSparkContext Use the shared SparkContext

Da databricks ein verwalteter Dienst ist, können einige Codeänderungen erforderlich sein, um sicherzustellen, dass Ihre Apache Spark Aufträge ordnungsgemäß ausgeführt werden.Because Databricks is a managed service, some code changes may be necessary to ensure that your Apache Spark jobs run correctly. JAR-Auftrags Programme müssen die freigegebene SparkContext API verwenden, um das zu erhalten SparkContext .JAR job programs must use the shared SparkContext API to get the SparkContext. Da databricks initialisiert SparkContext , schlagen Programme fehl, die aufrufen new SparkContext() .Because Databricks initializes the SparkContext, programs that invoke new SparkContext() will fail. Um das zu erhalten SparkContext , verwenden Sie nur die freigegebene, die SparkContext von databricks erstellt wurde:To get the SparkContext, use only the shared SparkContext created by Databricks:

val goodSparkContext = SparkContext.getOrCreate()
val goodSparkSession = SparkSession.builder().getOrCreate()

Außerdem gibt es mehrere Methoden, die Sie vermeiden sollten, wenn Sie die freigegebene verwenden SparkContext .In addition, there are several methods you should avoid when using the shared SparkContext.

  • Rufen Sie SparkContext.stop() nicht auf.Do not call SparkContext.stop().
  • Sie können nicht System.exit(0) oder sc.stop() am Ende des Programms anrufen Main .Do not call System.exit(0) or sc.stop() at the end of your Main program. Dies kann zu undefiniertem Verhalten führen.This can cause undefined behavior.

Verwenden try-finally von Blöcken für die Auftrags BereinigungUse try-finally blocks for job clean up

Angenommen, es besteht aus zwei Teilen:Consider a JAR that consists of two parts:

  • jobBody() , der den Hauptteil des Auftrags enthält.jobBody() which contains the main part of the job
  • jobCleanup() die nach ausgeführt werden muss jobBody() , unabhängig davon, ob diese Funktion eine Ausnahme erhalten hat oder eine Ausnahme zurückgegeben hat.jobCleanup() which has to be executed after jobBody(), irrespective of whether that function succeded or returned an exception

Beispielsweise jobBody() können Tabellen erstellen, und Sie können verwenden, jobCleanup() um diese Tabellen zu löschen.As an example, jobBody() may create tables, and you can use jobCleanup() to drop these tables.

Um sicherzustellen, dass die Bereinigungs Methode aufgerufen wird, muss ein try-finally Block in den Code eingefügt werden:The safe way to ensure that the clean up method is called is to put a try-finally block in the code:

try {
  jobBody()
} finally {
  jobCleanup()
}

Sie sollten nicht versuchen, mithilfe von oder zu bereinigen. sys.addShutdownHook(jobCleanup)You should should not try to clean up using sys.addShutdownHook(jobCleanup) or

val cleanupThread = new Thread { override def run = jobCleanup() }
Runtime.getRuntime.addShutdownHook(cleanupThread)

Aufgrund der Art und Weise, wie die Lebensdauer von Spark-Containern in Azure Databricks verwaltet wird, werden die Hooks für das Herunterfahren nicht zuverlässig ausgeführt.Due to the way the lifetime of Spark containers is managed in Azure Databricks, the shutdown hooks are not run reliably.

Konfigurieren von JAR-Auftrags ParameternConfigure JAR job parameters

JAR-Aufträge werden mit einem Zeichen folgen Array parametrisiert.JAR jobs are parameterized with an array of strings.

  • In der Benutzeroberfläche geben Sie die Parameter in das Textfeld Argumente ein, die durch Anwenden der POSIX-shellparameterregeln in ein Array aufgeteilt werden.In the UI, you input the parameters in the Arguments text box which are split into an array by applying POSIX shell parsing rules. Weitere Informationen finden Sie in der ShlEx-Dokumentation.For more information, reference the shlex documentation.
  • In der API geben Sie die Parameter als JSON-Standard Array ein.In the API, you input the parameters as a standard JSON array. Weitere Informationen finden Sie unter sparkjartask.For more information, reference SparkJarTask. Um auf diese Parameter zuzugreifen, überprüfen Sie das Array, das an String ihre Funktion übermittelt wurde mainTo access these parameters, inspect the String array passed into your main function.

Details zur Auftrags Ausführungsdauer anzeigen View job run details

Eine Seite mit Details zur Auftrags Ausführungsseite enthält die Auftrags Ausgabe und Links zu Protokollen:A job run details page contains job output and links to logs:

Auftrags AusführungsdetailsJob run details

Sie können Details zur Auftrags Ausführungsseite auf der Seite Aufträge und auf der Seite Cluster anzeigen.You can view job run details from the Jobs page and the Clusters page.

  • Klicken Sie auf das  Symbol Auftrags Symbol Aufträge .Click the Jobs icon Jobs Menu Icon. Klicken Sie in der Spalte Ausführen der Tabelle abgeschlossen in der letzten 60 Tage auf den Link für die Lauf Zeit Nummer.In the Run column of the Completed in past 60 days table, click the run number link.

    Auftrag aus Aufträgen ausführenJob run from Jobs

  • Klicken Sie auf das Symbol  Cluster Symbol Cluster .Click the Clusters icon Clusters Icon. Klicken Sie in einer Auftrags Zeile in der Tabelle Auftrags Cluster auf den Link Auftrags ausführen .In a job row in the Job Clusters table, click the Job Run link.

    Auftrags Lauf aus ClusternJob run from Clusters

Ergebnisse der Auftrags Führung exportieren Export job run results

Sie können Notebook-Lauf Ergebnisse und Auftrags Testprotokolle für alle Auftrags Typen exportieren.You can export notebook run results and job run logs for all job types.

Ergebnisse für das Exportieren von NotebooksExport notebook run results

Sie können Auftrags Ausführungen persistent speichern, indem Sie Ihre Ergebnisse exportieren.You can persist job runs by exporting their results. Bei Notebook-Auftrags Ausführungen können Sie ein gerendertes Notebook exportieren , das später in ihren databricks-Arbeitsbereich importiert werden kann.For notebook job runs, you can export a rendered notebook which can be later be imported into your Databricks workspace.

  1. Klicken Sie auf der Seite "Auftragsdetails" in der Spalte "ausführen" auf einen Auftrags Testlauf.In the job detail page, click a job run name in the Run column.

    Auftrags LaufJob run

  2. Klicken Sie auf in HTML exportieren.Click Export to HTML.

    Ergebnis der Export LaufzeitExport run result

Auftrags Testlauf-Protokolle exportierenExport job run logs

Sie können auch die Protokolle für die Auftrags Testlauf exportieren.You can also export the logs for your job run. Um diesen Prozess zu automatisieren, können Sie Ihren Auftrag so einrichten, dass Protokolle automatisch über die Auftrags-API an dBFS übermittelt werden.To automate this process, you can set up your job so that it automatically delivers logs to DBFS through the Job API. Weitere Informationen finden Sie in den Feldern newcluster und clusterlogconf im Auftrag Create API-Befehl.For more information, see the NewCluster and ClusterLogConf fields in the Job Create API call.

Bearbeiten eines AuftragsEdit a job

Klicken Sie zum Bearbeiten eines Auftrags in der Liste Aufträge auf den Link Auftrags Name.To edit a job, click the job name link in the Jobs list.

Löschen eines AuftragsDelete a job

Um einen Auftrag zu löschen, klicken Sie in der Spalte Aktion in der Liste Aufträge auf das x .To delete a job, click the x in the Action column in the Jobs list.

BibliotheksabhängigkeitenLibrary dependencies

Der Spark-Treiber weist bestimmte Bibliotheksabhängigkeiten auf, die nicht überschrieben werden können.The Spark driver has certain library dependencies that cannot be overridden. Diese Bibliotheken haben Vorrang vor ihren eigenen Bibliotheken, die in Konflikt stehen.These libraries take priority over any of your own libraries that conflict with them.

Um die vollständige Liste der Treiber Bibliotheksabhängigkeiten zu erhalten, führen Sie den folgenden Befehl in einem Notebook aus, das an einen Cluster derselben Spark-Version angeschlossen ist (oder den Cluster mit dem Treiber, den Sie untersuchen möchten).To get the full list of the driver library dependencies, run the following command inside a notebook attached to a cluster of the same Spark version (or the cluster with the driver you want to examine).

%sh
ls /databricks/jars

Verwalten von BibliotheksabhängigkeitenManage library dependencies

Eine gute Faustregel beim Umgang mit Bibliotheksabhängigkeiten bei der Erstellung von Jars für Aufträge ist das Auflisten von Spark und Hadoop als provided Abhängigkeiten.A good rule of thumb when dealing with library dependencies while creating JARs for jobs is to list Spark and Hadoop as provided dependencies. Fügen Sie in Maven Spark und/oder Hadoop als bereitgestellte Abhängigkeiten hinzu, wie im folgenden Beispiel gezeigt.On Maven, add Spark and/or Hadoop as provided dependencies as shown in the following example.

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.11</artifactId>
  <version>2.3.0</version>
  <scope>provided</scope>
</dependency>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-core</artifactId>
  <version>1.2.1</version>
  <scope>provided</scope>
</dependency>

sbtFügen Sie in Spark und Hadoop als bereitgestellte Abhängigkeiten hinzu, wie im folgenden Beispiel gezeigt.In sbt, add Spark and Hadoop as provided dependencies as shown in the following example.

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.3.0" % "provided"
libraryDependencies += "org.apache.hadoop" %% "hadoop-core" % "1.2.1" % "provided"

Tipp

Geben Sie die richtige Scala-Version für ihre Abhängigkeiten basierend auf der Version an, die Sie ausführen.Specify the correct Scala version for your dependencies based on the version you are running.

Erweiterte Auftrags OptionenAdvanced job options

Maximale Anzahl gleichzeitiger AusführungenMaximum concurrent runs

Die maximale Anzahl von Ausführungen, die parallel ausgeführt werden können.The maximum number of runs that can be run in parallel. Beim Starten einer neuen Ausführung überspringt Azure Databricks den Testlauf, wenn der Auftrag bereits die maximale Anzahl aktiver Ausführungen erreicht hat.On starting a new run, Azure Databricks skips the run if the job has already reached its maximum number of active runs. Legen Sie diesen Wert auf einen höheren Wert als den Standardwert 1 fest, wenn Sie mehrere Ausführungen desselben Auftrags gleichzeitig ausführen möchten.Set this value higher than the default of 1 if you want to be able to perform multiple runs of the same job concurrently. Dies ist beispielsweise hilfreich, wenn Sie den Auftrag in einem regelmäßigen Zeitplan auslassen und die Überschneidung von aufeinander folgenden Ausführungen zulassen möchten, oder wenn Sie mehrere Ausführungen auslassen möchten, die von ihren Eingabe Parametern abweichen.This is useful for example if you trigger your job on a frequent schedule and want to allow consecutive runs to overlap with each other, or if you want to trigger multiple runs that differ by their input parameters.

WarnungenAlerts

E-Mail-Benachrichtigungen, die im Falle eines Auftrags Fehlers, Erfolgs oder Timeouts gesendet werden.Email alerts sent in case of job failure, success, or timeout. Sie können Warnungen für Auftrags Starts, Auftrags Erfolg und Auftrags Fehler (einschließlich übersprungener Aufträge) festlegen und mehrere durch Trennzeichen getrennte e-Mail-Adressen für jeden Warnungstyp bereitstellen.You can set alerts up for job start, job success, and job failure (including skipped jobs), providing multiple comma-separated email addresses for each alert type. Sie können auch Warnungen für übersprungene Auftrags Ausführungen ablehnen.You can also opt out of alerts for skipped job runs.

E-Mail-BenachrichtigungenConfigure email alerts

Integrieren Sie diese e-Mail-Benachrichtigungen mit Ihren bevorzugten Benachrichtigungs Tools, einschließlich:Integrate these email alerts with your favorite notification tools, including:

TimeoutTimeout

Die maximale Beendigungs Zeit für einen Auftrag.The maximum completion time for a job. Wenn der Auftrag in diesem Zeitraum nicht fertiggestellt wird, legt databricks seinen Status auf "Timeout" fest.If the job does not complete in this time, Databricks sets its status to “Timed Out”.

WiederholungsversucheRetries

Richtlinie, die bestimmt, wann und wie oft fehlgeschlagene Ausführungen wiederholt werden.Policy that determines when and how many times failed runs are retried.

WiederholungsrichtlinieRetry policy

Hinweis

Wenn Sie Timeout und Wiederholungs Versuchekonfigurieren, gilt das Timeout für jeden Wiederholungsversuch.If you configure both Timeout and Retries, the timeout applies to each retry.

Steuern des Zugriffs auf Aufträge Control access to jobs

Auftrags Zugriffs Steuerung ermöglicht es Auftrags Besitzern und Administratoren, differenzierte Berechtigungen für Ihre Aufträge zu erteilen.Job access control enable job owners and administrators to grant fine grained permissions on their jobs. Mit der Steuerung des Auftrags Zugriffs können Auftrags Besitzer auswählen, welche anderen Benutzer oder Gruppen die Ergebnisse des Auftrags anzeigen können.With job access controls, job owners can choose which other users or groups can view results of the job. Besitzer können auch auswählen, wer die Ausführung ihres Auftrags verwalten kann (d. h. Aufrufe jetzt ausführen und Abbrechen).Owners can also choose who can manage runs of their job (that is, invoke Run Now and Cancel.)

Weitere Informationen finden Sie unter Aufträge Access Control .See Jobs access control for details.