Share via

az synapse spark pool

  • 參考

管理 Spark 集區。

命令

名稱 Description 類型 狀態
az synapse spark pool create

建立 Spark 集區。

 核心 GA
az synapse spark pool delete

刪除 Spark 集區。

 核心 GA
az synapse spark pool list

列出所有 Spark 集區。

 核心 GA
az synapse spark pool show

取得 Spark 集區。

 核心 GA
az synapse spark pool update

更新 Spark 集區。

 核心 GA
az synapse spark pool wait

將 CLI 置於等候狀態，直到符合 Spark 集區的條件為止。

 核心 GA

az synapse spark pool create

編輯

建立 Spark 集區。

az synapse spark pool create --name
                             --node-count
                             --node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
                             --resource-group
                             --spark-version
                             --workspace-name
                             [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--no-wait]
                             [--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
                             [--spark-config-file-path]
                             [--spark-events-folder]
                             [--spark-log-folder]
                             [--tags]

範例

建立 Spark 集區。

az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'

必要參數

--name -n

Spark 集區的名稱。

--node-count

節點數目。

--node-size

巨量資料集區中每個節點的計算能力層級。

接受的值: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--resource-group -g

資源組名。 您可以使用 來設定預設群組 az configure --defaults group=<name> 。

--spark-version

支援的 Spark 版本現在是 2.4。

--workspace-name

工作區名稱。

選擇性參數

--delay

單位為分鐘之延遲時間。

--enable-auto-pause

啟用自動暫停的旗標。

接受的值: false, true
--enable-auto-scale

啟用自動調整的旗標。

接受的值: false, true
--enable-dynamic-exec

指出是否啟用動態執行程式配置。

接受的值: false, true
--max-executors

已批註的執行程式數目上限。

--max-node-count

節點計數上限。

--min-executors

已批註的執行程式數目下限。

--min-node-count

最小節點計數。

--no-wait

請勿等候長時間執行的作業完成。

預設值: False
--node-size-family

巨量資料集區提供的節點種類。

接受的值: HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None
預設值: MemoryOptimized
--spark-config-file-path

Spark 集區屬性組態檔的絕對路徑。

--spark-events-folder

Spark 事件資料夾。

預設值: /events
--spark-log-folder

預設的 Spark 記錄檔資料夾。

預設值: /logs
--tags

以空格分隔的標記：key[=value] [key[=value] ...]。使用 「」 清除現有的標記。

全域參數
--debug

增加記錄詳細資訊，以顯示所有偵錯記錄。

--help -h

顯示此說明訊息並結束。

--only-show-errors

只顯示錯誤，隱藏警告。

--output -o

輸出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
預設值: json
--query

JMESPath 查詢字串。 如需詳細資訊和範例，請參閱 http://jmespath.org/。

--subscription

訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID 帳戶。

--verbose

增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。

az synapse spark pool delete

編輯

刪除 Spark 集區。

az synapse spark pool delete [--ids]
                             [--name]
                             [--no-wait]
                             [--resource-group]
                             [--subscription]
                             [--workspace-name]
                             [--yes]

範例

刪除 Spark 集區。

az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg

選擇性參數

--ids

一或多個資源識別碼 (以空格分隔)。 它應該是包含 「資源識別碼」引數所有資訊的完整資源識別碼。 您應該提供 --ids 或其他「資源識別碼」引數。

--name -n

Spark 集區的名稱。

--no-wait

請勿等候長時間執行的作業完成。

預設值: False
--resource-group -g

資源組名。 您可以使用 來設定預設群組 az configure --defaults group=<name> 。

--subscription

訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID 帳戶。

--workspace-name

工作區名稱。

--yes -y

不提示確認。

預設值: False
全域參數
--debug

增加記錄詳細資訊，以顯示所有偵錯記錄。

--help -h

顯示此說明訊息並結束。

--only-show-errors

只顯示錯誤，隱藏警告。

--output -o

輸出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
預設值: json
--query

JMESPath 查詢字串。 如需詳細資訊和範例，請參閱 http://jmespath.org/。

--subscription

訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID 帳戶。

--verbose

增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。

az synapse spark pool list

編輯

列出所有 Spark 集區。

az synapse spark pool list --resource-group
                           --workspace-name

範例

列出所有 Spark 集區。

az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg

必要參數

--resource-group -g

資源組名。 您可以使用 來設定預設群組 az configure --defaults group=<name> 。

--workspace-name

工作區名稱。

全域參數
--debug

增加記錄詳細資訊，以顯示所有偵錯記錄。

--help -h

顯示此說明訊息並結束。

--only-show-errors

只顯示錯誤，隱藏警告。

--output -o

輸出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
預設值: json
--query

JMESPath 查詢字串。 如需詳細資訊和範例，請參閱 http://jmespath.org/。

--subscription

訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID 帳戶。

--verbose

增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。

az synapse spark pool show

編輯

取得 Spark 集區。

az synapse spark pool show [--ids]
                           [--name]
                           [--resource-group]
                           [--subscription]
                           [--workspace-name]

範例

取得 Spark 集區。

az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg

選擇性參數

--ids

一或多個資源識別碼 (以空格分隔)。 它應該是包含 「資源識別碼」引數所有資訊的完整資源識別碼。 您應該提供 --ids 或其他「資源識別碼」引數。

--name -n

Spark 集區的名稱。

--resource-group -g

資源組名。 您可以使用 來設定預設群組 az configure --defaults group=<name> 。

--subscription

訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID 帳戶。

--workspace-name

工作區名稱。

全域參數
--debug

增加記錄詳細資訊，以顯示所有偵錯記錄。

--help -h

顯示此說明訊息並結束。

--only-show-errors

只顯示錯誤，隱藏警告。

--output -o

輸出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
預設值: json
--query

JMESPath 查詢字串。 如需詳細資訊和範例，請參閱 http://jmespath.org/。

--subscription

訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID 帳戶。

--verbose

增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。

az synapse spark pool update

編輯

更新 Spark 集區。

az synapse spark pool update [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--force {false, true}]
                             [--ids]
                             [--library-requirements]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--name]
                             [--no-wait]
                             [--node-count]
                             [--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
                             [--package]
                             [--package-action {Add, Remove}]
                             [--resource-group]
                             [--spark-config-file-path]
                             [--subscription]
                             [--tags]
                             [--workspace-name]

範例

更新 Spark 集區的標記。

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1

更新 Spark 集區的自動調整設定。

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100

更新 Spark 集區的自訂程式庫。

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar

更新 Spark 集區的組態檔。

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'

更新 Spark 集區的動態執行程式配置組態。

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10

選擇性參數

--delay

單位為分鐘之延遲時間。

--enable-auto-pause

啟用自動暫停的旗標。

接受的值: false, true
--enable-auto-scale

啟用自動調整的旗標。

接受的值: false, true
--enable-dynamic-exec

指出是否啟用動態執行程式配置。

接受的值: false, true
--force

強制作業的旗標。

接受的值: false, true
預設值: False
--ids

一或多個資源識別碼 (以空格分隔)。 它應該是包含 「資源識別碼」引數所有資訊的完整資源識別碼。 您應該提供 --ids 或其他「資源識別碼」引數。

--library-requirements

程式庫需求檔案。

--max-executors

已批註的執行程式數目上限。

--max-node-count

節點計數上限。

--min-executors

已批註的執行程式數目下限。

--min-node-count

最小節點計數。

--name -n

Spark 集區的名稱。

--no-wait

請勿等候長時間執行的作業完成。

預設值: False
--node-count

節點數目。

--node-size

巨量資料集區中每個節點的計算能力層級。

接受的值: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--package

工作區套件名稱的清單。

--package-action

當您從 Apache Spark 集區新增或移除工作區套件時，必須指定套件動作。

接受的值: Add, Remove
--resource-group -g

資源組名。 您可以使用 來設定預設群組 az configure --defaults group=<name> 。

--spark-config-file-path

Spark 集區屬性組態檔的絕對路徑。

--subscription

訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID 帳戶。

--tags

以空格分隔的標記：key[=value] [key[=value] ...]。使用 「」 清除現有的標記。

--workspace-name

工作區名稱。

全域參數
--debug

增加記錄詳細資訊，以顯示所有偵錯記錄。

--help -h

顯示此說明訊息並結束。

--only-show-errors

只顯示錯誤，隱藏警告。

--output -o

輸出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
預設值: json
--query

JMESPath 查詢字串。 如需詳細資訊和範例，請參閱 http://jmespath.org/。

--subscription

訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID 帳戶。

--verbose

增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。

az synapse spark pool wait

編輯

將 CLI 置於等候狀態，直到符合 Spark 集區的條件為止。

az synapse spark pool wait --big-data-pool-name
                           [--created]
                           [--custom]
                           [--deleted]
                           [--exists]
                           [--ids]
                           [--interval]
                           [--resource-group]
                           [--subscription]
                           [--timeout]
                           [--updated]
                           [--workspace-name]

必要參數

--big-data-pool-name

巨量資料集區名稱。

選擇性參數

--created

請等候在 'Succeeded' 使用 'provisioningState' 建立。

預設值: False
--custom

等到條件符合自訂 JMESPath 查詢為止。 例如 provisioningState！='InProgress'， instanceView.statuses[？code=='PowerState/running']。

--deleted

等到刪除為止。

預設值: False
--exists

等候資源存在。

預設值: False
--ids

一或多個資源識別碼 (以空格分隔)。 它應該是包含 「資源識別碼」引數所有資訊的完整資源識別碼。 您應該提供 --ids 或其他「資源識別碼」引數。

--interval

輪詢間隔以秒為單位。

預設值: 30
--resource-group -g

資源組名。 您可以使用 來設定預設群組 az configure --defaults group=<name> 。

--subscription

訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID 帳戶。

--timeout

以秒為單位的等候上限。

預設值: 3600
--updated

等到 provisioningState 更新為 'Succeeded'。

預設值: False
--workspace-name

工作區名稱。

全域參數
--debug

增加記錄詳細資訊，以顯示所有偵錯記錄。

--help -h

顯示此說明訊息並結束。

--only-show-errors

只顯示錯誤，隱藏警告。

--output -o

輸出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
預設值: json
--query

JMESPath 查詢字串。 如需詳細資訊和範例，請參閱 http://jmespath.org/。

--subscription

訂用帳戶的名稱或識別碼。 您可以使用 來設定預設訂用 az account set -s NAME_OR_ID 帳戶。

--verbose

增加記錄詳細資訊。 使用 --debug 來取得完整偵錯記錄。