az synapse spark job

  • Başvuru

Synapse Spark toplu işlerini yönetin.

Komutlar

az synapse spark job cancel

Spark işini iptal etme.
az synapse spark job list

Tüm Spark işlerini listeleyin.
az synapse spark job show

Spark işi edinin.
az synapse spark job submit

Spark işi gönderin.

az synapse spark job cancel

Düzenle

Spark işini iptal etme.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Örnekler

Spark işini iptal etme.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Gerekli Parametreler

--livy-id

Spark işinin kimliği.

--spark-pool-name

Spark havuzunun adı.

--workspace-name

Çalışma alanının adı.

İsteğe Bağlı Parametreler

--yes -y

Onay isteminde bulunmayın.

az synapse spark job list

Düzenle

Tüm Spark işlerini listeleyin.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Örnekler

Tüm Spark işlerini listeleyin.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Gerekli Parametreler

--spark-pool-name

Spark havuzunun adı.

--workspace-name

Çalışma alanının adı.

İsteğe Bağlı Parametreler

--from-index

Listenin hangi dizinden başlaması gerektiğini belirten isteğe bağlı parametre.

--size

Döndürülen listenin boyutu. Varsayılan olarak 20'dir ve maksimum değer budur.

az synapse spark job show

Düzenle

Spark işi edinin.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Örnekler

Spark işi edinin.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Gerekli Parametreler

--livy-id

Spark işinin kimliği.

--spark-pool-name

Spark havuzunun adı.

--workspace-name

Çalışma alanının adı.

az synapse spark job submit

Düzenle

Spark işi gönderin.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--reference-files]
                            [--tags]

Örnekler

Java Spark işi gönderin.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Gerekli Parametreler

--executor-size

Yürütücü boyutu.

kabul edilen değerler: Large, Medium, Small
--executors

Yürütücü sayısı.

--main-definition-file

İş için kullanılan ana dosya.

--name -n

Spark iş adı.

--spark-pool-name

Spark havuzunun adı.

--workspace-name

Çalışma alanının adı.

İsteğe Bağlı Parametreler

--archives

Arşiv dizisi.

--arguments

İşin isteğe bağlı bağımsız değişkenleri (Not: Lütfen dosya bağımsız değişkenleri için depolama URI'lerini kullanın).

--configuration

Spark işinin yapılandırması.

--language

Spark iş dili.

kabul edilen değerler: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
varsayılan değer: Scala
--main-class-name

Tam tanımlayıcı veya ana tanım dosyasındaki ana sınıf.

--reference-files

Ana tanım dosyasında başvuru için kullanılan ek dosyalar.

--tags

Boşlukla ayrılmış etiketler: key[=value] [key[=value] ...]. Mevcut etiketleri temizlemek için "" kullanın.