Spark Batch - Create Spark Batch Job

Service:

Synapse

API Version:

2020-12-01

Yeni Spark toplu işi oluşturun.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches

With optional parameters:

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

URI Parametreleri

Name	İçinde	Gerekli	Tür	Description
endpoint	path	True	string	Çalışma alanı geliştirme uç noktası, örneğin https://myworkspace.dev.azuresynapse.net.
livyApiVersion	path	True	string	İstek için geçerli api sürümü.
sparkPoolName	path	True	string	Spark havuzunun adı.
detailed	query		boolean	Ayrıntılı yanıtın düz livy dışında döndürülip döndürülmeyeceğini belirten isteğe bağlı sorgu parametresi.

İstek Gövdesi

Name	Gerekli	Tür	Description
file	True	string
name	True	string
archives		string[]
args		string[]
artifactId		string
className		string
conf		object
driverCores		integer
driverMemory		string
executorCores		integer
executorMemory		string
files		string[]
jars		string[]
numExecutors		integer
pyFiles		string[]
tags		object

Yanıtlar

Name	Tür	Description
200 OK	SparkBatchJob	Başarılı

Örnekler

Create new spark batch job.

Sample Request

HTTP

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Sample Response

Status code:

200

{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Tanımlar

Name	Description
LivyStates	Toplu iş durumu
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType	Spark toplu iş sonucu.
SparkBatchJobState
SparkErrorSource
SparkJobType	İş türü.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Toplu iş durumu

Name	Tür	Description
busy	string
dead	string
error	string
idle	string
killed	string
not_started	string
recovering	string
running	string
shutting_down	string
starting	string
success	string

PluginCurrentState

Name	Tür	Description
Cleanup	string
Ended	string
Monitoring	string
Preparation	string
Queued	string
ResourceAcquisition	string
Submission	string

SchedulerCurrentState

Name	Tür	Description
Ended	string
Queued	string
Scheduled	string

SparkBatchJob

Name	Tür	Description
appId	string	Bu oturumun uygulama kimliği
appInfo	object	Ayrıntılı uygulama bilgileri.
artifactId	string	Yapıt tanımlayıcısı.
errorInfo	SparkServiceError[]	Hata bilgileri.
id	integer	Oturum kimliği.
jobType	SparkJobType	İş türü.
livyInfo	SparkBatchJobState
log	string[]	Günlük satırları.
name	string	Toplu iş adı.
pluginInfo	SparkServicePlugin	Eklenti bilgileri.
result	SparkBatchJobResultType	Spark toplu iş sonucu.
schedulerInfo	SparkScheduler	Zamanlayıcı bilgileri.
sparkPoolName	string	Spark havuzu adı.
state	LivyStates	Toplu iş durumu
submitterId	string	Gönderen tanımlayıcısı.
submitterName	string	Gönderenin adı.
tags	object	Etiketler.
workspaceName	string	Çalışma alanı adı.

SparkBatchJobOptions

Name	Tür	Description
archives	string[]
args	string[]
artifactId	string
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]
tags	object

SparkBatchJobResultType

Spark toplu iş sonucu.

Name	Tür	Description
Cancelled	string
Failed	string
Succeeded	string
Uncertain	string

SparkBatchJobState

Name	Tür	Description
currentState	string	Spark iş durumu.
deadAt	string	"Ölü" livy durumunun ilk görüldüğü zaman.
jobCreationRequest	SparkRequest
killedAt	string	livy eyaletinin ilk kez "öldürüldüğü" zaman.
notStartedAt	string	"not_started" livy durumunun ilk görüldüğü zaman.
recoveringAt	string	livy durumunun "kurtarılması" işleminin ilk görüldüğü zaman.
runningAt	string	"çalışan" livy durumunun ilk görüldüğü zaman.
startingAt	string	"başlangıç" livy durumunun ilk görüldüğü zaman.
successAt	string	"başarı" livy durumunun ilk görüldüğü zaman.

SparkErrorSource

Name	Tür	Description
Dependency	string
System	string
Unknown	string
User	string

SparkJobType

İş türü.

Name	Tür	Description
SparkBatch	string
SparkSession	string

SparkRequest

Name	Tür	Description
archives	string[]
args	string[]
className	string
conf	object
driverCores	integer
driverMemory	string
executorCores	integer
executorMemory	string
file	string
files	string[]
jars	string[]
name	string
numExecutors	integer
pyFiles	string[]

SparkScheduler

Name	Tür	Description
cancellationRequestedAt	string
currentState	SchedulerCurrentState
endedAt	string
scheduledAt	string
submittedAt	string

SparkServiceError

Name	Tür	Description
errorCode	string
message	string
source	SparkErrorSource

SparkServicePlugin

Name	Tür	Description
cleanupStartedAt	string
currentState	PluginCurrentState
monitoringStartedAt	string
preparationStartedAt	string
resourceAcquisitionStartedAt	string
submissionStartedAt	string