az synapse spark pool

  • Ссылка

Управление пулами Spark.

Команды

Имя Описание Тип Состояние
az synapse spark pool create

Создание пула Spark.

 Основные сведения Общедоступная версия
az synapse spark pool delete

Удаление пула Spark.

 Основные сведения Общедоступная версия
az synapse spark pool list

Список всех пулов Spark.

 Основные сведения Общедоступная версия
az synapse spark pool show

Получение пула Spark.

 Основные сведения Общедоступная версия
az synapse spark pool update

Обновите пул Spark.

 Основные сведения Общедоступная версия
az synapse spark pool wait

Поместите интерфейс командной строки в состояние ожидания до тех пор, пока не будет выполнено условие пула Spark.

 Основные сведения Общедоступная версия

az synapse spark pool create

Изменить

Создание пула Spark.

az synapse spark pool create --name
                             --node-count
                             --node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
                             --resource-group
                             --spark-version
                             --workspace-name
                             [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--no-wait]
                             [--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
                             [--spark-config-file-path]
                             [--spark-events-folder]
                             [--spark-log-folder]
                             [--tags]

Примеры

Создание пула Spark.

az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'

Обязательные параметры

--name -n

Имя пула Spark.

--node-count

Количество узлов.

--node-size

Уровень вычислительной мощности каждого узла в пуле больших данных..

допустимые значения: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

--spark-version

Поддерживаемая версия Spark теперь — 2.4.

--workspace-name

Имя рабочей области.

Необязательные параметры

--delay

Время задержки, единица которого составляет минуту.

--enable-auto-pause

Флаг включения автоматической приостановки.

допустимые значения: false, true
--enable-auto-scale

Флаг включения автоматического масштабирования.

допустимые значения: false, true
--enable-dynamic-exec

Указывает, включена ли динамическое выделение исполнителя.

допустимые значения: false, true
--max-executors

Максимальное количество исполнителей.

--max-node-count

Максимальное число узлов.

--min-executors

Минимальное количество исполнителей.

--min-node-count

Минимальное число узлов.

--no-wait

Не ожидать завершения длительной операции.

значение по умолчанию: False
--node-size-family

Тип узлов, которые предоставляет пул больших данных.

допустимые значения: HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None
значение по умолчанию: MemoryOptimized
--spark-config-file-path

Абсолютный путь к файлу конфигурации свойств пула Spark.

--spark-events-folder

Папка событий Spark.

значение по умолчанию: /events
--spark-log-folder

Папка журнала Spark по умолчанию.

значение по умолчанию: /logs
--tags

Теги, разделенные пробелами: key[=value] [key[=value] ...]. Используйте "" для очистки существующих тегов.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az synapse spark pool delete

Изменить

Удаление пула Spark.

az synapse spark pool delete [--ids]
                             [--name]
                             [--no-wait]
                             [--resource-group]
                             [--subscription]
                             [--workspace-name]
                             [--yes]

Примеры

Удаление пула Spark.

az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg

Необязательные параметры

--ids

Один или несколько идентификаторов ресурсов (через пробелы). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие аргументы Resource Id.

--name -n

Имя пула Spark.

--no-wait

Не ожидать завершения длительной операции.

значение по умолчанию: False
--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--workspace-name

Имя рабочей области.

--yes -y

Не запрашивать подтверждение.

значение по умолчанию: False
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az synapse spark pool list

Изменить

Список всех пулов Spark.

az synapse spark pool list --resource-group
                           --workspace-name

Примеры

Список всех пулов Spark.

az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg

Обязательные параметры

--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

--workspace-name

Имя рабочей области.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az synapse spark pool show

Изменить

Получение пула Spark.

az synapse spark pool show [--ids]
                           [--name]
                           [--resource-group]
                           [--subscription]
                           [--workspace-name]

Примеры

Получение пула Spark.

az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg

Необязательные параметры

--ids

Один или несколько идентификаторов ресурсов (через пробелы). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие аргументы Resource Id.

--name -n

Имя пула Spark.

--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--workspace-name

Имя рабочей области.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az synapse spark pool update

Изменить

Обновите пул Spark.

az synapse spark pool update [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--force {false, true}]
                             [--ids]
                             [--library-requirements]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--name]
                             [--no-wait]
                             [--node-count]
                             [--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
                             [--package]
                             [--package-action {Add, Remove}]
                             [--resource-group]
                             [--spark-config-file-path]
                             [--subscription]
                             [--tags]
                             [--workspace-name]

Примеры

Обновите теги пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1

Обновите конфигурацию автоматического масштабирования пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100

Обновите пользовательские библиотеки пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar

Обновите файл конфигурации пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'

Обновите конфигурацию динамического выделения пула Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10

Необязательные параметры

--delay

Время задержки, единица которого составляет минуту.

--enable-auto-pause

Флаг включения автоматической приостановки.

допустимые значения: false, true
--enable-auto-scale

Флаг включения автоматического масштабирования.

допустимые значения: false, true
--enable-dynamic-exec

Указывает, включена ли динамическое выделение исполнителя.

допустимые значения: false, true
--force

Флаг принудительной операции.

допустимые значения: false, true
значение по умолчанию: False
--ids

Один или несколько идентификаторов ресурсов (через пробелы). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие аргументы Resource Id.

--library-requirements

Файл требований к библиотеке.

--max-executors

Максимальное количество исполнителей.

--max-node-count

Максимальное число узлов.

--min-executors

Минимальное количество исполнителей.

--min-node-count

Минимальное число узлов.

--name -n

Имя пула Spark.

--no-wait

Не ожидать завершения длительной операции.

значение по умолчанию: False
--node-count

Количество узлов.

--node-size

Уровень вычислительной мощности каждого узла в пуле больших данных..

допустимые значения: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--package

Список имен пакетов рабочей области.

--package-action

Действие пакета необходимо указать при добавлении или удалении пакета рабочей области из пула Apache Spark.

допустимые значения: Add, Remove
--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

--spark-config-file-path

Абсолютный путь к файлу конфигурации свойств пула Spark.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--tags

Теги, разделенные пробелами: key[=value] [key[=value] ...]. Используйте "" для очистки существующих тегов.

--workspace-name

Имя рабочей области.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az synapse spark pool wait

Изменить

Поместите интерфейс командной строки в состояние ожидания до тех пор, пока не будет выполнено условие пула Spark.

az synapse spark pool wait --big-data-pool-name
                           [--created]
                           [--custom]
                           [--deleted]
                           [--exists]
                           [--ids]
                           [--interval]
                           [--resource-group]
                           [--subscription]
                           [--timeout]
                           [--updated]
                           [--workspace-name]

Обязательные параметры

--big-data-pool-name

Имя пула больших данных.

Необязательные параметры

--created

Подождите, пока не будет создано с помощью provisioningState по адресу "Успешно".

значение по умолчанию: False
--custom

Подождите, пока условие не будет удовлетворено пользовательским запросом JMESPath. Например, provisioningState!='InProgress', instanceView.statuses[?code='PowerState/running'].

--deleted

Дождитесь удаления.

значение по умолчанию: False
--exists

Подождите, пока ресурс не существует.

значение по умолчанию: False
--ids

Один или несколько идентификаторов ресурсов (через пробелы). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие аргументы Resource Id.

--interval

Интервал опроса в секундах.

значение по умолчанию: 30
--resource-group -g

Имя группы ресурсов. Вы можете настроить расположение по умолчанию с помощью az configure --defaults group=<name>.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--timeout

Максимальное ожидание в секундах.

значение по умолчанию: 3600
--updated

Подождите, пока не будет обновлено с помощью provisioningState по адресу "Успешно".

значение по умолчанию: False
--workspace-name

Имя рабочей области.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Отображение этого справочного сообщения и выход.

--only-show-errors

Показывать только ошибки, блокируя предупреждения.

--output -o

Формат вывода.

допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
значение по умолчанию: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Повышение уровня детализации журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.