Dela via

Update-AzSynapseSparkPool

  • Referens
Modul:
Az.Synapse

Uppdateringar en Apache Spark-pool i Azure Synapse Analytics.

Syntax

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

Cmdleten Update-AzSynapseSparkPool uppdaterar en Apache Spark-pool i Azure Synapse Analytics.

Kommentar

Om parametern -SparkVersion används för att uppgradera Synapse Spark-körningsversionen kontrollerar du att Spark-poolen inte har några anslutna anpassade bibliotek eller paket. Mer information finns i Migrering mellan Apache Spark-versioner.

Exempel

Exempel 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics.

Exempel 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics via pipeline.

Exempel 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics via pipeline.

Exempel 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics med resurs-ID.

Exempel 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Det här kommandot aktiverar automatisk skalning för en Apache Spark-pool i Azure Synapse Analytics.

Exempel 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Det här kommandot inaktiverar automatisk skalning för en Apache Spark-pool i Azure Synapse Analytics.

Exempel 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Det här kommandot aktiverar automatisk paus för en Apache Spark-pool i Azure Synapse Analytics.

Exempel 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Det här kommandot inaktiverar automatisk paus för en Apache Spark-pool i Azure Synapse Analytics.

Exempel 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Det här kommandot aktiverar dynamisk körningsallokering och anger minsta antal exekutorer och maximalt antal exekutorer för en Apache Spark-pool i Azure Synapse Analytics.This command enables dynamic executor allocation and specify min executor count and max executor count for an Apache Spark pool in Azure Synapse Analytics.

Exempel 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Det här kommandot inaktiverar dynamisk körallokering för en Apache Spark-pool i Azure Synapse Analytics.

Exempel 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Det första kommandot hämtar arbetsytepaket. Det andra kommandot länkar dessa arbetsytepaket till en Apache Spark-pool i Azure Synapse Analytics.

Exempel 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Det första kommandot hämtar arbetsytepaket med namnet ContosoPackage. Det andra kommandot tar bort arbetsytepaketet från en Apache Spark-pool i Azure Synapse Analytics.

Exempel 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Det första kommandot hämtar en Apache Spark-pool i Azure Synapse Analytics. Det andra kommandot tar bort alla arbetsytepaket som är länkade till Apache Spark-poolen.

Exempel 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Det första kommandot hämtar de paket som är tillgängliga på arbetsytan. Den andra kommandogruppen hämtar spark-poolen för att hämta de paket som för närvarande är länkade till den här poolen och tar bort alla versioner av paketet från new_package- den hämtade listan. Den nya versionen av paketet läggs sedan till i den här listan. I den tredje gruppen med kommandon transformeras paketlistan, som endast innehåller paketnamn, till en lista över arbetsytepaket genom att filtrera listan över tillgängliga workspace_packages och sedan länkas till Spark-poolen.

Exempel 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics och anger en Spark-konfiguration för Spark-poolen.

Exempel 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics, ställer in NodeSize till liten för spark-poolen och tvingar stoppa alla jobb som körs i Spark-poolen för att tillämpa den här nya inställningen.

Exempel 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Det första kommandot hämtar en Apache Spark-pool i Azure Synapse Analytics. Det andra kommandot tar bort alla arbetsytepaket som är länkade till Apache Spark-poolen och tvingar fram att alla jobb som körs i Spark-poolen stoppas för att tillämpa den här nya inställningen.

Exempel 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Det här kommandot aktiverar isolerad beräkning och anger nodstorlek till XXXLarge(80 vCPU/504 GB) för en Apache Spark-pool i Azure Synapse Analytics.

Parametrar

-AsJob

Kör cmdlet i bakgrunden

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Antal minuter som är inaktiva. Den här parametern kan anges när automatisk paus är aktiverad. Standardvärdet är [15] om det inte anges manuellt.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Maximalt antal noder som ska allokeras i den angivna Spark-poolen. Den här parametern måste anges när automatisk skalning är aktiverat.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Minsta antal noder som ska allokeras i den angivna Spark-poolen. Den här parametern måste anges när automatisk skalning är aktiverat.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Uppmanar dig att bekräfta innan du kör cmdleten.

Type:SwitchParameter
Aliases:cf
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

Autentiseringsuppgifter, konto, klientorganisation och prenumeration som används för kommunikation med Azure.

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Anger om automatisk paus ska aktiveras.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Anger om automatisk skalning ska aktiveras

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Anger om dynamisk körningsallokering ska aktiveras.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

Alternativet Isolera beräkning är endast tillgängligt med nodstorleken XXXLarge (80 vCPU/504 GB). Om du aktiverar det här alternativet får du isolering för Apache Spark-beräkning för ej betrodda tjänster. Isolerade beräkningskostnader är samma som den icke-isolerade virtuella datorn med samma storlek. Om du förväntar dig att aktivera Isolerad beräkning för Spark-pool kontrollerar du att din Synapse-arbetsyta skapas i en isolerad beräkningsregion som stöds. Mer information finns i det här dokumentet: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Om du vill stoppa jobb som körs i stordatapoolen.

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Spark-poolindataobjekt, som vanligtvis skickas via pipelinen.

Type:PSSynapseSparkPool
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

Miljökonfigurationsfil ("PIP freeze"-utdata).

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Maximalt antal utförare som ska allokeras i den angivna Spark-poolen. Den här parametern kan anges när DynamicExecutorAllocation är aktiverat. Värdet ska ligga mellan 1 (inkluderande) och maximumNodeCount (exklusivt). Om det inte anges manuellt blir standardvärdet 2.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Minsta antal utförare som ska allokeras i den angivna Spark-poolen. Den här parametern kan anges när DynamicExecutorAllocation är aktiverat. Värdet ska ligga mellan 1 (inkluderande) och maxExecutors (exklusivt). Om det inte anges manuellt blir standardvärdet 1.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Namnet på Synapse Spark-poolen.

Type:String
Aliases:SparkPoolName
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Antal noder som ska allokeras i den angivna Spark-poolen.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Antal kärnor och minne som ska användas för noder som allokerats i den angivna Spark-poolen. Den här parametern måste anges när automatisk skalning är inaktiverad

Type:String
Accepted values:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Arbetsytepaketen.

Type:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

Paketåtgärden måste anges när du lägger till eller tar bort ett arbetsytepaket från en Apache Spark-pool.

Type:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Accepted values:Add, Remove, Set
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Namn på resursgrupp.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Resursidentifierare för Synapse Spark-pool.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Apache Spark-konfiguration. När ett jobb skickas till poolen refereras de egenskaper som anges i den valda konfigurationen.

Type:PSSparkConfigurationResource
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Apache Spark-version. Tillåtna värden: 3.1,3.2,3.3

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

En sträng,strängordlista med taggar som är associerade med resursen.

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Visar vad som skulle hända om cmdleten kördes. Cmdleten körs inte.

Type:SwitchParameter
Aliases:wi
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Namnet på Synapse-arbetsytan.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

indataobjekt för arbetsytan, som vanligtvis skickas via pipelinen.

Type:PSSynapseWorkspace
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

Indata

PSSynapseWorkspace

PSSynapseSparkPool

Utdata

PSSynapseSparkPool