Update-AzSynapseSparkPool

  • Referensi
Modul:
Az.Synapse

Memperbarui kumpulan Apache Spark di Azure Synapse Analytics.

Sintaks

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Deskripsi

Cmdlet Update-AzSynapseSparkPool memperbarui kumpulan Apache Spark di Azure Synapse Analytics.

Catatan

-SparkVersion Jika parameter digunakan untuk meningkatkan versi runtime Synapse Spark, pastikan bahwa kumpulan Spark tidak memiliki pustaka atau paket kustom yang terpasang. Lihat Migrasi antara versi Apache Spark untuk detail selengkapnya.

Contoh

Contoh 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics melalui alur.

Contoh 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics melalui alur.

Contoh 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics dengan ID sumber daya.

Contoh 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Perintah ini memungkinkan penskalaan otomatis untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Perintah ini menonaktifkan skala otomatis untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Perintah ini memungkinkan jeda otomatis untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Perintah ini menonaktifkan jeda otomatis untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Perintah ini memungkinkan alokasi pelaksana dinamis dan menentukan jumlah eksekutor min dan jumlah pelaksana maks untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Perintah ini menonaktifkan alokasi pelaksana dinamis untuk kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Perintah pertama mengambil paket ruang kerja. Perintah kedua menautkan paket ruang kerja ini ke kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Perintah pertama mengambil paket ruang kerja bernama ContosoPackage. Perintah kedua menghapus paket ruang kerja dari kumpulan Apache Spark di Azure Synapse Analytics.

Contoh 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Perintah pertama mengambil kumpulan Apache Spark di Azure Synapse Analytics. Perintah kedua menghapus semua paket ruang kerja yang ditautkan ke kumpulan Apache Spark tersebut.

Contoh 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Perintah pertama mengambil paket yang tersedia di ruang kerja. Grup perintah kedua mengambil kumpulan spark untuk mendapatkan paket yang saat ini ditautkan ke kumpulan ini dan menghapus semua versi paket yang dimulai dengan new_package- dari daftar yang diambil. Versi baru paket kemudian ditambahkan ke daftar ini. Dalam grup perintah ketiga daftar paket, yang hanya berisi nama paket, ditranformasi ke dalam daftar paket ruang kerja dengan memfilter daftar workspace_packages yang tersedia dan kemudian ditautkan ke kumpulan spark.

Contoh 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics dan menentukan konfigurasi Spark untuk kumpulan Spark.

Contoh 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Perintah ini memperbarui kumpulan Apache Spark di Azure Synapse Analytics, atur NodeSize ke kecil untuk kumpulan spark dan paksa hentikan pekerjaan yang sedang berjalan di kumpulan Spark untuk menerapkan pengaturan baru ini.

Contoh 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Perintah pertama mengambil kumpulan Apache Spark di Azure Synapse Analytics. Perintah kedua menghapus semua paket ruang kerja yang ditautkan ke kumpulan Apache Spark tersebut dan memaksa menghentikan pekerjaan yang sedang berjalan di kumpulan Spark untuk menerapkan pengaturan baru ini.

Contoh 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Perintah ini memungkinkan komputasi terisolasi dan menentukan ukuran simpul ke XXXLarge(80 vCPU / 504 GB) untuk kumpulan Apache Spark di Azure Synapse Analytics.

Parameter

-AsJob

Jalankan cmdlet di latar belakang

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Jumlah menit menganggur. Parameter ini dapat ditentukan ketika Jeda otomatis diaktifkan. Nilai defaultnya adalah [15] jika tidak ditentukan secara manual.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Jumlah maksimum simpul yang akan dialokasikan dalam kumpulan Spark yang ditentukan. Parameter ini harus ditentukan ketika Skala otomatis diaktifkan.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Jumlah minimum simpul yang akan dialokasikan dalam kumpulan Spark yang ditentukan. Parameter ini harus ditentukan ketika Skala otomatis diaktifkan.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Meminta Anda mengonfirmasi sebelum menjalankan cmdlet.

Type:SwitchParameter
Aliases:cf
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

Kredensial, akun, penyewa, dan langganan yang digunakan untuk komunikasi dengan Azure.

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Menunjukkan apakah Jeda otomatis harus diaktifkan.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Menunjukkan apakah Skala otomatis harus diaktifkan

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Menunjukkan apakah alokasi pelaksana dinamis harus diaktifkan.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

Opsi Komputasi Isolasi hanya tersedia dengan ukuran simpul XXXLarge (80 vCPU / 504 GB). Mengaktifkan opsi ini menawarkan isolasi untuk komputasi Apache Spark untuk layanan yang tidak tepercaya. Biaya komputasi terisolasi sama dengan VM yang tidak terisolasi dengan ukuran yang sama. Jika Anda berharap untuk mengaktifkan Komputasi Terisolasi untuk kumpulan spark, pastikan ruang kerja Synapse Anda dibuat di wilayah yang didukung komputasi terisolasi, silakan lihat dokumen ini untuk detail selengkapnya: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Apakah akan menghentikan pekerjaan yang sedang berjalan di kumpulan Big Data.

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Objek input kumpulan Spark, biasanya melewati alur.

Type:PSSynapseSparkPool
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

File konfigurasi lingkungan (output "PEMBekuan PIP").

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Jumlah maksimum pelaksana yang akan dialokasikan di kumpulan Spark yang ditentukan. Parameter ini dapat ditentukan ketika DynamicExecutorAllocation diaktifkan. Nilai harus terletak antara 1 (inklusif) dan maximumNodeCount (eksklusif). Jika tidak ditentukan secara manual, nilai defaultnya adalah 2.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Jumlah minimum pelaksana yang akan dialokasikan di kumpulan Spark yang ditentukan. Parameter ini dapat ditentukan ketika DynamicExecutorAllocation diaktifkan. Nilai harus terletak antara 1 (inklusif) dan maxExecutors (eksklusif). Jika tidak ditentukan secara manual, nilai defaultnya adalah 1.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Nama kumpulan Synapse Spark.

Type:String
Aliases:SparkPoolName
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Jumlah simpul yang akan dialokasikan dalam kumpulan Spark yang ditentukan.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Jumlah inti dan memori yang akan digunakan untuk simpul yang dialokasikan dalam kumpulan Spark yang ditentukan. Parameter ini harus ditentukan ketika Skala otomatis dinonaktifkan

Type:String
Accepted values:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Paket ruang kerja.

Type:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

Tindakan paket harus ditentukan saat Anda menambahkan atau menghapus paket ruang kerja dari kumpulan Apache Spark.

Type:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Accepted values:Add, Remove, Set
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Nama grup sumber daya.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Pengidentifikasi sumber daya kumpulan Synapse Spark.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Konfigurasi Apache Spark. Ketika pekerjaan dikirimkan ke kumpulan, properti yang ditentukan dalam konfigurasi yang dipilih akan dirujuk.

Type:PSSparkConfigurationResource
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Versi Apache Spark. Nilai yang diizinkan: 3.1,3.2,3.3

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

String, kamus string tag yang terkait dengan sumber daya.

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Menunjukkan apa yang akan terjadi jika cmdlet berjalan. Cmdlet tidak dijalankan.

Type:SwitchParameter
Aliases:wi
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Nama ruang kerja Synapse.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

objek input ruang kerja, biasanya melewati alur.

Type:PSSynapseWorkspace
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

Input

PSSynapseWorkspace

PSSynapseSparkPool

Output

PSSynapseSparkPool