Spark Batch - Get Spark Batch Jobs

Referentie

Service:: Synapse

API Version:: 2020-12-01

Een lijst maken van alle Spark-batchtaken die worden uitgevoerd onder een bepaalde Spark-pool.

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

With optional parameters:

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?from={from}&size={size}&detailed={detailed}

URI-parameters

Name	In	Vereist	Type	Description
endpoint	path	True	string	Het eindpunt voor de ontwikkeling van de werkruimte, bijvoorbeeld `https://myworkspace.dev.azuresynapse.net`.
livyApiVersion	path	True	string	Geldige API-versie voor de aanvraag.
sparkPoolName	path	True	string	Naam van de Spark-pool.
detailed	query		boolean	Optionele queryparameter die aangeeft of een gedetailleerd antwoord wordt geretourneerd buiten gewone livy.
from	query		integer int32	Optionele param waarmee wordt opgegeven uit welke index de lijst moet beginnen.
size	query		integer int32	Optionele param die de grootte van de geretourneerde lijst aangeeft. `By default it is 20 and that is the maximum.`

Antwoorden

Name	Type	Description
200 OK	SparkBatchJobCollection	Geslaagd

Voorbeelden

List all spark batch jobs

Sample Request

HTTP

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches?from=0&size=2&detailed=True

Sample Response

Status code:: 200

{
  "from": 0,
  "total": 2,
  "sessions": []
}

Definities

Name	Description
LivyStates	De batchstatus
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobCollection	Antwoord voor batchlijstbewerking.
SparkBatchJobResultType	Het resultaat van de Spark-batchtaak.
SparkBatchJobState
SparkErrorSource
SparkJobType	Het taaktype.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

De batchstatus

Name	Type	Description
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Name	Type	Description
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Name	Type	Description
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Name	Type	Description
appId	string	De toepassings-id van deze sessie
appInfo	object	De gedetailleerde toepassingsgegevens.
artifactId	string	De artefact-id.
errorInfo	SparkServiceError[]	De foutinformatie.
id	integer	De sessie-id.
jobType	SparkJobType	Het taaktype.
livyInfo	SparkBatchJobState
log	string[]	De logboeklijnen.
name	string	De batchnaam.
pluginInfo	SparkServicePlugin	De informatie over de invoegtoepassing.
result	SparkBatchJobResultType	Het resultaat van de Spark-batchtaak.
schedulerInfo	SparkScheduler	De scheduler-informatie.
sparkPoolName	string	De naam van de Spark-pool.
state	LivyStates	De batchstatus
submitterId	string	De inzender-id.
submitterName	string	De naam van de inzender.
tags	object	De tags.
workspaceName	string	De naam van de werkruimte.

SparkBatchJobCollection

Antwoord voor batchlijstbewerking.

Name	Type	Description
from	integer	De startindex van opgehaalde sessies.
sessions	SparkBatchJob[]	Batch-lijst
total	integer	Aantal opgehaalde sessies.

SparkBatchJobResultType

Het resultaat van de Spark-batchtaak.

Name	Type	Description
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Name	Type	Description
currentState	string	de status van de Spark-taak.
deadAt	string	tijd waarop de "dode" livy-toestand voor het eerst werd gezien.
jobCreationRequest	SparkRequest
killedAt	string	het tijdstip waarop de "vermoorde" Livy-staat voor het eerst werd gezien.
notStartedAt	string	het tijdstip waarop "not_started" livy voor het eerst werd gezien.
recoveringAt	string	het tijdstip waarop het 'herstellen' van de livy-toestand voor het eerst werd gezien.
runningAt	string	het tijdstip waarop de "actieve" livy-status voor het eerst werd gezien.
startingAt	string	het tijdstip waarop de "beginnende" livy-status voor het eerst werd gezien.
successAt	string	het tijdstip waarop de livy-status 'succes' voor het eerst werd gezien.

SparkErrorSource

Name	Type	Description
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

Het taaktype.

Name	Type	Description
SparkBatch	string
SparkSession	string

SparkRequest

Name	Type	Description
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Name	Type	Description
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Name	Type	Description
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Name	Type	Description
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string

Share via