你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

az synapse spark job

管理 Synapse Spark 批处理作业。

命令

名称 说明 类型 状态
az synapse spark job cancel

取消 Spark 作业。

核心 GA
az synapse spark job list

列出所有 Spark 作业。

核心 GA
az synapse spark job show

获取 Spark 作业。

核心 GA
az synapse spark job submit

提交 Spark 作业。

核心 GA

az synapse spark job cancel

取消 Spark 作业。

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

示例

取消 Spark 作业。

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必需参数

--livy-id

Spark 作业的 ID。

--spark-pool-name

Spark 池的名称。

--workspace-name

工作区的名称。

可选参数

--yes -y

不提示确认。

默认值: False
全局参数
--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--only-show-errors

只显示错误,取消显示警告。

--output -o

输出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
默认值: json
--query

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--subscription

订阅的名称或 ID。 可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

az synapse spark job list

列出所有 Spark 作业。

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

示例

列出所有 Spark 作业。

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必需参数

--spark-pool-name

Spark 池的名称。

--workspace-name

工作区的名称。

可选参数

--from-index

指定列表应从哪个索引开始的可选参数。

--size

返回的列表的大小。默认情况下为 20,这是最大值。

全局参数
--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--only-show-errors

只显示错误,取消显示警告。

--output -o

输出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
默认值: json
--query

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--subscription

订阅的名称或 ID。 可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

az synapse spark job show

获取 Spark 作业。

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

示例

获取 Spark 作业。

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必需参数

--livy-id

Spark 作业的 ID。

--spark-pool-name

Spark 池的名称。

--workspace-name

工作区的名称。

全局参数
--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--only-show-errors

只显示错误,取消显示警告。

--output -o

输出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
默认值: json
--query

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--subscription

订阅的名称或 ID。 可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

az synapse spark job submit

提交 Spark 作业。

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--reference-files]
                            [--tags]

示例

提交 Java Spark 作业。

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

必需参数

--executor-size

执行程序大小。

接受的值: Large, Medium, Small
--executors

执行程序数。

--main-definition-file

用于作业的主文件。

--name -n

Spark 作业名称。

--spark-pool-name

Spark 池的名称。

--workspace-name

工作区的名称。

可选参数

--archives

存档数组。

--arguments

作业的可选参数(注意:请对文件参数使用存储 URI)。

--configuration

Spark 作业的配置。

--language

Spark 作业语言。

接受的值: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
默认值: Scala
--main-class-name

主定义文件中的完全限定标识符或主类。

--reference-files

用于主定义文件中的引用的其他文件。

--tags

空格分隔标记:key[=value] [key[=value] ...]。使用“”清除现有标记。

全局参数
--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--only-show-errors

只显示错误,取消显示警告。

--output -o

输出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
默认值: json
--query

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--subscription

订阅的名称或 ID。 可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。