您现在访问的是微软AZURE全球版技术文档网站,若需要访问由世纪互联运营的MICROSOFT AZURE中国区技术文档网站,请访问 https://docs.azure.cn.

az synapse spark job

管理 Synapse Spark 批处理作业。

命令

az synapse spark job cancel

取消 Spark 作业。

az synapse spark job list

列出所有 Spark 作业。

az synapse spark job show

获取 Spark 作业。

az synapse spark job submit

提交 Spark 作业。

az synapse spark job cancel

取消 Spark 作业。

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--subscription]
                            [--yes]

示例

取消 Spark 作业。

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必需参数

--livy-id

Spark 作业的 id。

--spark-pool-name

Spark 池的名称。

--workspace-name

工作区的名称。

可选参数

--subscription

订阅的名称或 ID。 您可以使用配置默认订阅 az account set -s NAME_OR_ID

--yes -y

不提示确认。

az synapse spark job list

列出所有 Spark 作业。

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--query-examples]
                          [--size]
                          [--subscription]

示例

列出所有 Spark 作业。

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必需参数

--spark-pool-name

Spark 池的名称。

--workspace-name

工作区的名称。

可选参数

--from-index

可选参数,用于指定列表应从哪个索引开始。

--query-examples

建议 JMESPath 字符串。 可以复制其中一个查询,然后将其粘贴在双引号内,以查看结果。 您可以添加一个或多个位置关键字,以便我们可以根据这些关键字提供建议。

--size

返回的列表的大小。默认情况下,它是20,这是最大值。

--subscription

订阅的名称或 ID。 您可以使用配置默认订阅 az account set -s NAME_OR_ID

az synapse spark job show

获取 Spark 作业。

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name
                          [--query-examples]
                          [--subscription]

示例

获取 Spark 作业。

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必需参数

--livy-id

Spark 作业的 id。

--spark-pool-name

Spark 池的名称。

--workspace-name

工作区的名称。

可选参数

--query-examples

建议 JMESPath 字符串。 可以复制其中一个查询,然后将其粘贴在双引号内,以查看结果。 您可以添加一个或多个位置关键字,以便我们可以根据这些关键字提供建议。

--subscription

订阅的名称或 ID。 您可以使用配置默认订阅 az account set -s NAME_OR_ID

az synapse spark job submit

提交 Spark 作业。

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-class-name
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--reference-files]
                            [--subscription]
                            [--tags]

示例

提交 Java Spark 作业。

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

必需参数

--executor-size

执行器大小。

接受的值: Large, Medium, Small
--executors

执行器的数目。

--main-class-name

主定义文件中的完全限定标识符或主类。

--main-definition-file

用于作业的主文件。

--name -n

Spark 作业名称。

--spark-pool-name

Spark 池的名称。

--workspace-name

工作区的名称。

可选参数

--archives

存档的数组。

--arguments

作业的可选参数 (注意:请使用存储 Uri) 文件参数。

--configuration

Spark 作业的配置。

--language

Spark 作业语言。

接受的值: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
默认值: Scala
--reference-files

用于主定义文件中的引用的其他文件。

--subscription

订阅的名称或 ID。 您可以使用配置默认订阅 az account set -s NAME_OR_ID

--tags

空格分隔标记:键 [= 值] [键 [= 值] ...]。使用 "" 清除现有标记。