Partager via

Update-AzSynapseSparkPool

  • Référence
Module:
Az.Synapse

Mises à jour un pool Apache Spark dans Azure Synapse Analytics.

Syntax

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

L’applet de commande Update-AzSynapseSparkPool met à jour un pool Apache Spark dans Azure Synapse Analytics.

Remarque

Si le -SparkVersion paramètre est utilisé pour mettre à niveau la version du runtime Synapse Spark, vérifiez que le pool Spark n’a pas de bibliothèques ou de packages personnalisés attachés. Pour plus d’informations, reportez-vous à la migration entre les versions d’Apache Spark.

Exemples

Exemple 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics.

Exemple 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics via le pipeline.

Exemple 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics via le pipeline.

Exemple 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics avec l’ID de ressource.

Exemple 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Cette commande active la mise à l’échelle automatique d’un pool Apache Spark dans Azure Synapse Analytics.

Exemple 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Cette commande désactive la mise à l’échelle automatique d’un pool Apache Spark dans Azure Synapse Analytics.

Exemple 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Cette commande active la pause automatique pour un pool Apache Spark dans Azure Synapse Analytics.

Exemple 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Cette commande désactive la pause automatique pour un pool Apache Spark dans Azure Synapse Analytics.

Exemple 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Cette commande active l’allocation d’exécuteur dynamique et spécifie le nombre d’exécuteurs min et le nombre maximal d’exécuteurs pour un pool Apache Spark dans Azure Synapse Analytics.

Exemple 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Cette commande désactive l’allocation d’exécuteur dynamique pour un pool Apache Spark dans Azure Synapse Analytics.

Exemple 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

La première commande récupère les packages d’espace de travail. La deuxième commande lie ces packages d’espace de travail à un pool Apache Spark dans Azure Synapse Analytics.

Exemple 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

La première commande récupère les packages d’espace de travail nommés ContosoPackage. La deuxième commande supprime le package d’espace de travail d’un pool Apache Spark dans Azure Synapse Analytics.

Exemple 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

La première commande récupère un pool Apache Spark dans Azure Synapse Analytics. La deuxième commande supprime tous les packages d’espace de travail liés à ce pool Apache Spark.

Exemple 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

La première commande récupère les packages disponibles dans l’espace de travail. Le deuxième groupe de commandes récupère le pool Spark pour obtenir les packages actuellement liés à ce pool et supprime toutes les versions du package à partir new_package- de la liste récupérée. La nouvelle version du package est ensuite ajoutée à cette liste. Dans le troisième groupe de commandes, la liste des packages, contenant uniquement les noms de package, est transformée dans une liste de packages d’espace de travail en filtrant la liste des workspace_packages disponibles en conséquence et est ensuite liée au pool Spark.

Exemple 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics et spécifie une configuration Spark pour le pool Spark.

Exemple 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Cette commande met à jour un pool Apache Spark dans Azure Synapse Analytics, définissez NodeSize sur petit pour le pool Spark et forcez l’arrêt des travaux en cours d’exécution dans le pool Spark pour appliquer ce nouveau paramètre.

Exemple 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

La première commande récupère un pool Apache Spark dans Azure Synapse Analytics. La deuxième commande supprime tous les packages d’espace de travail liés à ce pool Apache Spark et force l’arrêt des travaux en cours d’exécution dans le pool Spark pour appliquer ce nouveau paramètre.

Exemple 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Cette commande active le calcul isolé et spécifie la taille du nœud sur XXXLarge(80 processeurs virtuels / 504 Go) pour un pool Apache Spark dans Azure Synapse Analytics.

Paramètres

-AsJob

Exécuter l’applet de commande en arrière-plan

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Nombre de minutes d’inactivité. Ce paramètre peut être spécifié lorsque la pause automatique est activée. La valeur par défaut est [15] si elle n’est pas spécifiée manuellement.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Nombre maximal de nœuds à allouer dans le pool Spark spécifié. Ce paramètre doit être spécifié lorsque la mise à l’échelle automatique est activée.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Nombre minimal de nœuds à allouer dans le pool Spark spécifié. Ce paramètre doit être spécifié lorsque la mise à l’échelle automatique est activée.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Vous demande une confirmation avant d’exécuter l’applet de commande.

Type:SwitchParameter
Aliases:cf
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

Informations d’identification, compte, locataire et abonnement utilisés pour la communication avec Azure.

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Indique si la pause automatique doit être activée.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Indique si la mise à l’échelle automatique doit être activée

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Indique si l’allocation d’exécuteur dynamique doit être activée.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

L’option Isolate Compute est disponible uniquement avec la taille de nœud XXXLarge (80 processeurs virtuels / 504 Go). L’activation de cette option offre une isolation pour le calcul Apache Spark pour les services non approuvés. Les coûts de calcul isolés sont identiques à ceux de la machine virtuelle non isolée de la même taille. Si vous prévoyez d’activer le calcul isolé pour le pool Spark, vérifiez que votre espace de travail Synapse est créé dans une région prise en charge par le calcul isolé, reportez-vous à ce document pour plus d’informations : https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Indique s’il faut arrêter les travaux en cours d’exécution dans le pool Big Data.

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Objet d’entrée de pool Spark, généralement passé par le pipeline.

Type:PSSynapseSparkPool
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

Fichier de configuration d’environnement (« GEL PIP » sortie).

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Nombre maximal d’exécuteurs à allouer dans le pool Spark spécifié. Ce paramètre peut être spécifié lorsque DynamicExecutorAllocation est activé. La valeur doit être comprise entre 1 (inclus) et maximumNodeCount (exclusif). S’il n’est pas spécifié manuellement, la valeur par défaut est 2.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Nombre minimal d’exécuteurs à allouer dans le pool Spark spécifié. Ce paramètre peut être spécifié lorsque DynamicExecutorAllocation est activé. La valeur doit être comprise entre 1 (inclus) et maxExecutors (exclusif). S’il n’est pas spécifié manuellement, la valeur par défaut est 1.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Nom du pool Synapse Spark.

Type:String
Aliases:SparkPoolName
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Nombre de nœuds à allouer dans le pool Spark spécifié.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Nombre de cœurs et de mémoire à utiliser pour les nœuds alloués dans le pool Spark spécifié. Ce paramètre doit être spécifié lorsque la mise à l’échelle automatique est désactivée

Type:String
Accepted values:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Packages d’espace de travail.

Type:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

L’action de package doit être spécifiée lorsque vous ajoutez ou supprimez un package d’espace de travail d’un pool Apache Spark.

Type:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Accepted values:Add, Remove, Set
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Nom du groupe de ressources.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Identificateur de ressource du pool Synapse Spark.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Configuration d’Apache Spark. Lorsqu’un travail est soumis au pool, les propriétés spécifiées dans la configuration sélectionnée sont référencées.

Type:PSSparkConfigurationResource
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Version d’Apache Spark. Valeurs autorisées : 3.1,3.2,3.3

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

Chaîne,dictionnaire de chaînes de balises associées à la ressource.

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Montre ce qui se passe en cas d’exécution de l’applet de commande. L’applet de commande n’est pas exécutée.

Type:SwitchParameter
Aliases:wi
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Nom de l’espace de travail Synapse.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

objet d’entrée d’espace de travail, généralement passé par le pipeline.

Type:PSSynapseWorkspace
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

Entrées

PSSynapseWorkspace

PSSynapseSparkPool

Sorties

PSSynapseSparkPool