次の方法で共有


New-AzSynapseSparkPool

Synapse Analytics Spark プールを作成します。

構文

New-AzSynapseSparkPool
   [-ResourceGroupName <String>]
   -WorkspaceName <String>
   -Name <String>
   [-Tag <Hashtable>]
   [-EnableIsolatedCompute]
   -NodeSize <String>
   -AutoScaleMinNodeCount <Int32>
   -AutoScaleMaxNodeCount <Int32>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]
New-AzSynapseSparkPool
   [-ResourceGroupName <String>]
   -WorkspaceName <String>
   -Name <String>
   [-Tag <Hashtable>]
   -NodeCount <Int32>
   [-EnableIsolatedCompute]
   -NodeSize <String>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]
New-AzSynapseSparkPool
   -WorkspaceObject <PSSynapseWorkspace>
   -Name <String>
   [-Tag <Hashtable>]
   [-EnableIsolatedCompute]
   -NodeSize <String>
   -AutoScaleMinNodeCount <Int32>
   -AutoScaleMaxNodeCount <Int32>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]
New-AzSynapseSparkPool
   -WorkspaceObject <PSSynapseWorkspace>
   -Name <String>
   [-Tag <Hashtable>]
   -NodeCount <Int32>
   [-EnableIsolatedCompute]
   -NodeSize <String>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

説明

New-AzSynapseSparkPool コマンドレットは、Azure Synapse Analytics Spark プールを作成します。

例 1

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

このコマンドにより、Azure Synapse Analytics Spark プールが作成されます。

例 2

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

このコマンドを実行すると、自動スケールが有効な Azure Synapse Analytics Spark プールが作成されます。

例 3

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation -MinExecutorCount 1 -MaxExecutorCount 4  -NodeCount 10 -SparkVersion 2.4 -NodeSize Small

このコマンドは、動的実行プログラムの割り当てを有効にして Azure Synapse Analytics Spark プールを作成し、最小 Executor 数と最大 Executor 数を指定します。

例 4

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small -SparkConfiguration $config

このコマンドは、Azure Synapse Analytics Spark プールを作成し、Spark プールの Spark 構成を指定します。

例 5

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

このコマンドは、パイプラインを介して Azure Synapse Analytics Spark プールを作成します。

例 6

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

このコマンドは、パイプラインを介して自動スケールが有効になっている Azure Synapse Analytics Spark プールを作成します。

例 7

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -EnableIsolatedCompute -NodeSize XXXLarge -NodeCount 3 -SparkVersion 2.4

このコマンドは、パイプラインを介して分離コンピューティングが有効になっている Azure Synapse Analytics Spark プールを作成します。

パラメーター

-AsJob

バックグラウンドでコマンドレットを実行する

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

アイドル状態の分数。 このパラメーターは、自動一時停止が有効になっている場合に指定できます。 手動で指定しない場合、既定値は [15] になります。

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

指定した Spark プールに割り当てられるノードの最大数。 このパラメーターは、自動スケールが有効な場合に指定する必要があります。

Type:Int32
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

指定した Spark プールに割り当てられるノードの最小数。 このパラメーターは、自動スケールが有効な場合に指定する必要があります。

Type:Int32
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

コマンドレットの実行前に確認を求めるメッセージが表示されます。

Type:SwitchParameter
Aliases:cf
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

Azure との通信のために使用される資格情報、アカウント、テナント、サブスクリプションです。

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

自動一時停止を有効にする必要があるかどうかを示します。

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

動的実行プログラムの割り当てを有効にする必要があるかどうかを示します。

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

[コンピューティングの分離] オプションは、XXXLarge (80 vCPU/ 504 GB) ノード サイズでのみ使用できます。 このオプションを有効にすると、信頼されていないサービスの Apache Spark コンピューティングが分離されます。 分離されたコンピューティング コストは、同じサイズの非分離 VM と同じです。 Spark プールに対して Isolated Compute を有効にする場合は、Synapse ワークスペースが分離コンピューティングサポートリージョンに作成されていることを確認してください。詳細 https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-computeについては、このドキュメントを参照してください。

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

指定した Spark プールに割り当てられる Executor の最大数。 このパラメーターは、DynamicExecutorAllocation が有効な場合に指定できます。 値は、1 (包括的) と maximumNodeCount (排他的) の間にある必要があります。 手動で指定しない場合、既定値は 2 になります。

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

指定した Spark プールに割り当てられる Executor の最小数。 このパラメーターは、DynamicExecutorAllocation が有効な場合に指定できます。 値は、1 (包括) と maxExecutors (排他的) の間にある必要があります。 手動で指定しない場合、既定値は 1 になります。

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Synapse Spark プールの名前。

Type:String
Aliases:SparkPoolName
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

指定した Spark プールに割り当てられるノードの数。

Type:Int32
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

指定した Spark プールに割り当てられたノードに使用するコアとメモリの数。 自動スケールが無効になっている場合は、このパラメーターを指定する必要があります

Type:String
Accepted values:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

リソース グループ名。

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Apache Spark の構成。 ジョブがプールに送信されると、選択した構成で指定されたプロパティが参照されます。

Type:PSSparkConfigurationResource
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Apache Spark のバージョン。 使用できる値: 2.4

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-Tag

リソースに関連付けられているタグの文字列、文字列ディクショナリ。

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

コマンドレットの実行時に発生する内容を示します。 このコマンドレットは実行されません。

Type:SwitchParameter
Aliases:wi
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Synapse ワークスペースの名前。

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

ワークスペース入力オブジェクト。通常はパイプラインを介して渡されます。

Type:PSSynapseWorkspace
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

入力

PSSynapseWorkspace

出力

PSSynapseSparkPool