Share via

Update-AzSynapseSparkPool

  • Başvuru
Modül:
Az.Synapse

Azure Synapse Analytics'te bir Apache Spark havuzu Güncelleştirmeler.

Syntax

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

Update-AzSynapseSparkPool cmdlet'i, Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.

Not

-SparkVersion Synapse Spark çalışma zamanı sürümünü yükseltmek için parametresi kullanılıyorsa Spark havuzunda ekli özel kitaplık veya paket olmadığından emin olun. Diğer ayrıntılar için Apache Spark sürümleri arasında geçiş bölümüne bakın.

Örnekler

Örnek 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.

Örnek 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Bu komut, işlem hattı aracılığıyla Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.

Örnek 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Bu komut, işlem hattı aracılığıyla Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir.

Örnek 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzunu kaynak kimliğiyle güncelleştirir.

Örnek 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik ölçeklendirmeyi etkinleştirir.

Örnek 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik ölçeklendirmeyi devre dışı bırakır.

Örnek 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik duraklatma özelliğini etkinleştirir.

Örnek 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Bu komut, Azure Synapse Analytics'te Apache Spark havuzu için otomatik duraklatma özelliğini devre dışı bırakır.

Örnek 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Bu komut dinamik yürütücü ayırmayı etkinleştirir ve Azure Synapse Analytics'te apache Spark havuzu için en düşük yürütücü sayısını ve en fazla yürütücü sayısını belirtir.

Örnek 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzu için dinamik yürütücü ayırmayı devre dışı bırakır.

Örnek 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

İlk komut çalışma alanı paketlerini alır. İkinci komut, bu çalışma alanı paketlerini Azure Synapse Analytics'teki bir Apache Spark havuzuna bağlar.

Örnek 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

İlk komut ContosoPackage adlı çalışma alanı paketlerini alır. İkinci komut, Azure Synapse Analytics'teki bir Apache Spark havuzundan çalışma alanı paketini kaldırır.

Örnek 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

İlk komut, Azure Synapse Analytics'te bir Apache Spark havuzu alır. İkinci komut, bu Apache Spark havuzuna bağlı tüm çalışma alanı paketlerini kaldırır.

Örnek 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

İlk komut, çalışma alanında kullanılabilen paketleri alır. İkinci komut grubu, şu anda bu havuza bağlı olan paketleri almak için Spark havuzunu alır ve alınan listeden başlayarak new_package- paketin tüm sürümlerini kaldırır. Paketin yeni sürümü daha sonra bu listeye eklenir. Üçüncü komut grubunda paket listesi, yalnızca paket adlarını içeren, kullanılabilir workspace_packages listesi uygun şekilde filtrelenerek çalışma alanı paketleri listesine eklenir ve spark havuzuna bağlanır.

Örnek 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Bu komut, Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir ve Spark havuzu için bir Spark yapılandırması belirtir.

Örnek 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Bu komut Azure Synapse Analytics'teki bir Apache Spark havuzunu güncelleştirir, Spark havuzu için NodeSize'ı küçük olarak ayarlar ve spark havuzundaki çalışan işleri bu yeni ayarı uygulamaya zorlar.

Örnek 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

İlk komut, Azure Synapse Analytics'te bir Apache Spark havuzu alır. İkinci komut, bu Apache Spark havuzuna bağlı tüm çalışma alanı paketlerini kaldırır ve bu yeni ayarı uygulamak için Spark havuzundaki çalışan işleri durdurmaya zorlar.

Örnek 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Bu komut yalıtılmış işlem sağlar ve Azure Synapse Analytics'teki apache Spark havuzu için XXXLarge(80 vCPU / 504 GB) düğüm boyutunu belirtir.

Parametreler

-AsJob

Cmdlet'i arka planda çalıştırma

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Boşta kalan dakika sayısı. Otomatik duraklatma etkinleştirildiğinde bu parametre belirtilebilir. El ile belirtilmezse varsayılan değer [15] olur.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Belirtilen Spark havuzunda ayrılacak düğüm sayısı üst sınırı. Otomatik ölçeklendirme etkinleştirildiğinde bu parametre belirtilmelidir.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Belirtilen Spark havuzunda ayrılacak en az düğüm sayısı. Otomatik ölçeklendirme etkinleştirildiğinde bu parametre belirtilmelidir.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Cmdlet'i çalıştırmadan önce sizden onay ister.

Type:SwitchParameter
Aliases:cf
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

Azure ile iletişim için kullanılan kimlik bilgileri, hesap, kiracı ve abonelik.

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Otomatik duraklatma özelliğinin etkinleştirilmesi gerekip gerekmediğini gösterir.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Otomatik ölçeklendirmenin etkinleştirilip etkinleştirilmeydiğini gösterir

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Dinamik yürütücü ayırmanın etkinleştirilip etkinleştirilmeydiğini gösterir.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

İşlemi Yalıt seçeneği yalnızca XXXLarge (80 vCPU / 504 GB) düğüm boyutuyla kullanılabilir. Bu seçeneğin etkinleştirilmesi, güvenilmeyen hizmetler için Apache Spark işlem için yalıtım sağlar. Yalıtılmış işlem maliyetleri, aynı boyuttaki yalıtılmamış VM ile aynıdır. Spark havuzu için Yalıtılmış İşlem'i etkinleştirmeyi düşünüyorsanız Synapse çalışma alanınızın yalıtılmış işlem desteklenen bir bölgede oluşturulduğuna emin olun, daha fazla ayrıntı için lütfen bu belgeye bakın: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Büyük Veri havuzunda çalışan işlerin durdurulup durdurulmayacağı.

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Spark havuzu giriş nesnesi, genellikle işlem hattından geçirilir.

Type:PSSynapseSparkPool
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

Ortam yapılandırma dosyası ("PIP dondur" çıktısı).

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Belirtilen Spark havuzunda ayrılacak en fazla yürütücü sayısı. DynamicExecutorAllocation etkinleştirildiğinde bu parametre belirtilebilir. Değer 1 (dahil) ile maximumNodeCount (özel) arasında olmalıdır. El ile belirtilmezse, varsayılan değer 2 olur.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Belirtilen Spark havuzunda ayrılacak en az yürütücü sayısı. DynamicExecutorAllocation etkinleştirildiğinde bu parametre belirtilebilir. Değer 1 (dahil) ile maxExecutors (özel) arasında yer almalıdır. El ile belirtilmezse, varsayılan değer 1 olur.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Synapse Spark havuzunun adı.

Type:String
Aliases:SparkPoolName
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Belirtilen Spark havuzunda ayrılacak düğüm sayısı.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Belirtilen Spark havuzunda ayrılan düğümler için kullanılacak çekirdek ve bellek sayısı. Otomatik ölçeklendirme devre dışı bırakıldığında bu parametre belirtilmelidir

Type:String
Accepted values:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Çalışma alanı paketleri.

Type:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

Apache Spark havuzunda çalışma alanı paketi eklediğinizde veya kaldırdığınızda paket eylemi belirtilmelidir.

Type:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Accepted values:Add, Remove, Set
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Kaynak grubu adı.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Synapse Spark havuzunun kaynak tanımlayıcısı.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Apache Spark yapılandırması. Havuza bir iş gönderildiğinde, seçilen yapılandırmada belirtilen özelliklere başvurulur.

Type:PSSparkConfigurationResource
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Apache Spark sürümü. İzin verilen değerler: 3.1,3.2,3.3

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

Kaynakla ilişkilendirilmiş bir dize,etiket dizesi sözlüğü.

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Cmdlet çalıştırılıyorsa ne olacağını gösterir. Cmdlet çalıştırılmaz.

Type:SwitchParameter
Aliases:wi
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Synapse çalışma alanının adı.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

çalışma alanı giriş nesnesi, genellikle işlem hattından geçirilir.

Type:PSSynapseWorkspace
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

Girişler

PSSynapseWorkspace

PSSynapseSparkPool

Çıkışlar

PSSynapseSparkPool