az synapse spark job

Synapse Spark 일괄 처리 작업을 관리합니다.

명령

Name	Description	형식	상태
az synapse spark job cancel	Spark 작업을 취소합니다.	핵심	GA
az synapse spark job list	모든 Spark 작업을 나열합니다.	핵심	GA
az synapse spark job show	Spark 작업을 가져옵니다.	핵심	GA
az synapse spark job submit	Spark 작업을 제출합니다.	핵심	GA

az synapse spark job cancel

Spark 작업을 취소합니다.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

예제

Spark 작업을 취소합니다.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

필수 매개 변수

--livy-id

Spark 작업의 ID입니다.

--spark-pool-name

Spark 풀의 이름입니다.

--workspace-name

작업 영역의 이름

선택적 매개 변수

--yes -y

확인 메시지를 표시하지 않습니다.

기본값: False

전역 매개 변수

--debug

로깅의 자세한 정도를 늘려 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--only-show-errors

경고를 표시하지 않고 오류만 표시합니다.

--output -o

출력 형식입니다.

허용되는 값: json, jsonc, none, table, tsv, yaml, yamlc

기본값: json

--query

JMESPath 쿼리 문자열입니다. 자세한 내용과 예제는 http://jmespath.org/를 참조하세요.

--subscription

구독의 이름 또는 ID입니다. 를 사용하여 az account set -s NAME_OR_ID기본 구독을 구성할 수 있습니다.

--verbose

로깅의 자세한 정도를 늘립니다. 전체 디버그 로그를 표시하려면 --debug를 사용합니다.

az synapse spark job list

모든 Spark 작업을 나열합니다.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

예제

모든 Spark 작업을 나열합니다.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

필수 매개 변수

--spark-pool-name

Spark 풀의 이름입니다.

--workspace-name

작업 영역의 이름

선택적 매개 변수

--from-index

목록을 시작해야 하는 인덱스 지정 선택적 매개 변수입니다.

--size

반환된 목록의 크기입니다. 기본적으로 최대값은 20입니다.

전역 매개 변수

--debug

로깅의 자세한 정도를 늘려 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--only-show-errors

경고를 표시하지 않고 오류만 표시합니다.

--output -o

출력 형식입니다.

허용되는 값: json, jsonc, none, table, tsv, yaml, yamlc

기본값: json

--query

JMESPath 쿼리 문자열입니다. 자세한 내용과 예제는 http://jmespath.org/를 참조하세요.

--subscription

구독의 이름 또는 ID입니다. 를 사용하여 az account set -s NAME_OR_ID기본 구독을 구성할 수 있습니다.

--verbose

로깅의 자세한 정도를 늘립니다. 전체 디버그 로그를 표시하려면 --debug를 사용합니다.

az synapse spark job show

Spark 작업을 가져옵니다.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

예제

Spark 작업을 가져옵니다.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

필수 매개 변수

--livy-id

Spark 작업의 ID입니다.

--spark-pool-name

Spark 풀의 이름입니다.

--workspace-name

작업 영역의 이름

전역 매개 변수

--debug

로깅의 자세한 정도를 늘려 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--only-show-errors

경고를 표시하지 않고 오류만 표시합니다.

--output -o

출력 형식입니다.

허용되는 값: json, jsonc, none, table, tsv, yaml, yamlc

기본값: json

--query

JMESPath 쿼리 문자열입니다. 자세한 내용과 예제는 http://jmespath.org/를 참조하세요.

--subscription

구독의 이름 또는 ID입니다. 를 사용하여 az account set -s NAME_OR_ID기본 구독을 구성할 수 있습니다.

--verbose

로깅의 자세한 정도를 늘립니다. 전체 디버그 로그를 표시하려면 --debug를 사용합니다.

az synapse spark job submit

Spark 작업을 제출합니다.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--reference-files]
                            [--tags]

예제

Java Spark 작업을 제출합니다.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

필수 매개 변수

--executor-size

실행기 크기입니다.

허용되는 값: Large, Medium, Small

--executors

실행기 수입니다.

--main-definition-file

작업에 사용되는 기본 파일입니다.

--name -n

Spark 작업 이름입니다.

--spark-pool-name

Spark 풀의 이름입니다.

--workspace-name

작업 영역의 이름

선택적 매개 변수

--archives

보관 파일의 배열입니다.

--arguments

작업에 대한 선택적 인수(참고: 파일 인수에 스토리지 URI를 사용하세요).

--configuration

Spark 작업의 구성입니다.

--language

Spark 작업 언어입니다.

허용되는 값: CSharp, PySpark, Python, Scala, Spark, SparkDotNet

기본값: Scala

--main-class-name

정규화된 식별자 또는 기본 정의 파일에 있는 기본 클래스입니다.

--reference-files

기본 정의 파일에서 참조에 사용되는 추가 파일입니다.

--tags

공백으로 구분된 태그: key[=value] [key[=value] ...]. ""를 사용하여 기존 태그를 지웁니다.

전역 매개 변수

--debug

로깅의 자세한 정도를 늘려 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--only-show-errors

경고를 표시하지 않고 오류만 표시합니다.

--output -o

출력 형식입니다.

허용되는 값: json, jsonc, none, table, tsv, yaml, yamlc

기본값: json

--query

JMESPath 쿼리 문자열입니다. 자세한 내용과 예제는 http://jmespath.org/를 참조하세요.

--subscription

구독의 이름 또는 ID입니다. 를 사용하여 az account set -s NAME_OR_ID기본 구독을 구성할 수 있습니다.

--verbose

로깅의 자세한 정도를 늘립니다. 전체 디버그 로그를 표시하려면 --debug를 사용합니다.