你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
az synapse spark job
管理 Synapse Spark 批处理作业。
命令
名称 | 说明 | 类型 | 状态 |
---|---|---|---|
az synapse spark job cancel |
取消 Spark 作业。 |
核心 | GA |
az synapse spark job list |
列出所有 Spark 作业。 |
核心 | GA |
az synapse spark job show |
获取 Spark 作业。 |
核心 | GA |
az synapse spark job submit |
提交 Spark 作业。 |
核心 | GA |
az synapse spark job cancel
取消 Spark 作业。
az synapse spark job cancel --livy-id
--spark-pool-name
--workspace-name
[--yes]
示例
取消 Spark 作业。
az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool
必需参数
Spark 作业的 ID。
Spark 池的名称。
工作区的名称。
可选参数
不提示确认。
全局参数
提高日志记录详细程度以显示所有调试日志。
显示此帮助消息并退出。
只显示错误,取消显示警告。
输出格式。
JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/。
订阅的名称或 ID。 可以使用 az account set -s NAME_OR_ID
配置默认订阅。
提高日志记录详细程度。 使用 --debug 获取完整的调试日志。
az synapse spark job list
列出所有 Spark 作业。
az synapse spark job list --spark-pool-name
--workspace-name
[--from-index]
[--size]
示例
列出所有 Spark 作业。
az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool
必需参数
Spark 池的名称。
工作区的名称。
可选参数
指定列表应从哪个索引开始的可选参数。
返回的列表的大小。默认情况下为 20,这是最大值。
全局参数
提高日志记录详细程度以显示所有调试日志。
显示此帮助消息并退出。
只显示错误,取消显示警告。
输出格式。
JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/。
订阅的名称或 ID。 可以使用 az account set -s NAME_OR_ID
配置默认订阅。
提高日志记录详细程度。 使用 --debug 获取完整的调试日志。
az synapse spark job show
获取 Spark 作业。
az synapse spark job show --livy-id
--spark-pool-name
--workspace-name
示例
获取 Spark 作业。
az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool
必需参数
Spark 作业的 ID。
Spark 池的名称。
工作区的名称。
全局参数
提高日志记录详细程度以显示所有调试日志。
显示此帮助消息并退出。
只显示错误,取消显示警告。
输出格式。
JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/。
订阅的名称或 ID。 可以使用 az account set -s NAME_OR_ID
配置默认订阅。
提高日志记录详细程度。 使用 --debug 获取完整的调试日志。
az synapse spark job submit
提交 Spark 作业。
az synapse spark job submit --executor-size {Large, Medium, Small}
--executors
--main-definition-file
--name
--spark-pool-name
--workspace-name
[--archives]
[--arguments]
[--configuration]
[--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
[--main-class-name]
[--reference-files]
[--tags]
示例
提交 Java Spark 作业。
az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small
必需参数
执行程序大小。
执行程序数。
用于作业的主文件。
Spark 作业名称。
Spark 池的名称。
工作区的名称。
可选参数
存档数组。
作业的可选参数(注意:请对文件参数使用存储 URI)。
Spark 作业的配置。
Spark 作业语言。
主定义文件中的完全限定标识符或主类。
用于主定义文件中的引用的其他文件。
空格分隔标记:key[=value] [key[=value] ...]。使用“”清除现有标记。
全局参数
提高日志记录详细程度以显示所有调试日志。
显示此帮助消息并退出。
只显示错误,取消显示警告。
输出格式。
JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/。
订阅的名称或 ID。 可以使用 az account set -s NAME_OR_ID
配置默认订阅。
提高日志记录详细程度。 使用 --debug 获取完整的调试日志。
反馈
https://aka.ms/ContentUserFeedback。
即将发布:在整个 2024 年,我们将逐步淘汰作为内容反馈机制的“GitHub 问题”,并将其取代为新的反馈系统。 有关详细信息,请参阅:提交和查看相关反馈