Azure Databricks プールとは

  • [アーティクル]

Azure Databricks プールは、アイドル状態ですぐに使えるインスタンスのセットです。 アイドル状態のインスタンスを使ってクラスター ノードを作成すると、クラスターの起動時間と自動スケーリング時間が短縮されます。 プールにアイドル状態のインスタンスがない場合、クラスターの要求に対応するために、インスタンス プロバイダーから新しいインスタンスを割り当てることによってプールが拡張されます。

クラスターがインスタンスを解放すると、そのインスタンスはプールに戻り、別のクラスターが使用できるようになります。 プールに接続されているクラスターのみが、そのプールにあるアイドル状態のインスタンスを使用できます。

プール内でインスタンスがアイドル状態のときに、Azure Databricks によって DBU が課金されることはありません。 インスタンス プロバイダーの課金が適用されます。 「価格」を参照してください。

プールは、UI を使用するか、Instance Pools API を呼び出して管理できます。

プールを作成する

プールを作成するには、プールを作成するアクセス許可が必要です。 既定では、ワークスペース管理者のみがプールの作成アクセス許可を持ちます。 Group API を使用して、allow-instance-pool-create エンタイトルメントをグループに割り当てることができます。

UI を使用してプールを作成するには、次のようにします。

  1. サイドバーで、compute icon[コンピューティング]をクリックします。
  2. [プール] タブをクリックします。
  3. [Create Pool](プールの作成) ボタンをクリックします。
  4. プールの構成を指定します。
  5. [作成] ボタンをクリックします。

クラスターをプールに接続する

クラスター作成 UI を使用してクラスターをプールに接続するには、クラスターを構成するときに [ドライバーの種類] または [ワーカーの種類] ドロップダウンからプールを選択します。 使用可能なプールが、各ドロップダウン リストの上部に一覧表示されます。 ドライバー ノードとワーカー ノードには、同じプールを使用することも異なるプールを使用することもできます。

クラスター API を使用する場合は、ドライバー ノードの driver_instance_pool_id とワーカー ノードの instance_pool_id を指定する必要があります。

プールに関連するその他のベスト プラクティスについては、「プールのベスト プラクティス」を参照してください。

プールのアクセス許可

1 つのプールに対して、アクセス許可なし、アタッチ可能、管理可能という 3 つのアクセス許可レベルがあります。 表に、それぞれのアクセス許可でできることを示します。

能力 アクセス許可なし アタッチ可能 管理可能
クラスターをプールにアタッチする x x
プールを削除する x
プールを編集する x
アクセス許可の変更 x

ワークスペース管理者には、ワークスペース内のすべてのプールに対する管理可能アクセス許可があります。 ユーザーには、自身が作成したプールに対する管理可能アクセス許可が自動的に付与されます。

プールのアクセス許可を構成する

このセクションでは、ワークスペース UI を使用してアクセス許可を管理する方法について説明します。 Permissions API または Databricks Terraform プロバイダー を使用することもできます。

アクセス許可を構成するには、プールに対する管理可能アクセス許可が必要です。

  1. サイドバーで、[コンピューティング] をクリックします。

  2. [プール] タブをクリックします。

  3. 更新するプールを選びます。

  4. [アクセス許可] ボタンをクリックします。

  5. [アクセス許可の設定] で、[ユーザー、グループ、またはサービス プリンシパルの選択] ドロップダウン メニューをクリックし、ユーザー、グループ、またはサービス プリンシパルを選びます。

    Set pool permissions

  6. [アクセス許可] ドロップダウン メニューからアクセス許可を選択します。

  7. [追加] をクリックし、 [保存] をクリックします。

プールの削除

プールを削除すると、プールのアイドル状態のインスタンスが終了し、その構成が削除されます。 プールを削除するには、[プール] ページのアクションで Delete Icon アイコンをクリックします。 プールを削除すると、次のようになります。

  • プールに接続されている実行中のクラスターは引き続き実行されますが、サイズ変更またはスケールアップ中にインスタンスを割り当てることはできません。
  • プールに接続されている終了済みのクラスターは開始に失敗します。

重要

この操作を元に戻すことはできません。