クラスター ライブラリ

  • [アーティクル]

クラスター ライブラリは、クラスターで実行されているすべてのノートブックとジョブで使用できます。 この記事では、Azure Databricks ワークスペースでの [Install library] (ライブラリのインストール) UI の使用について詳しく説明します。

Note

ライブラリのインストールを適用するポリシーを使ってコンピューティングを作成した場合、コンピューティングにライブラリをインストールまたはアンインストールすることはできません。 ワークスペース管理者は、ポリシー レベルですべてのライブラリ管理を制御します。

次の方法を使用して、クラスターにライブラリをインストールできます。

クラスターにライブラリをインストールする

ライブラリをクラスターにインストールするには、次のようにします。

  1. サイドバーで、compute icon[コンピューティング]をクリックします。
  2. クラスター名をクリックします。
  3. [ライブラリ] タブをクリックします。
  4. [新規インストール] をクリックします。
  5. [Install library] (ライブラリのインストール) ダイアログが表示されます。
  6. [Library Source] (ライブラリ ソース) オプションのいずれかを選択し、表示される手順を完了して、[インストール] をクリックします。

重要

Databricks Runtime 14.3 LTS 以下を使用する場合は、DBFS からライブラリをインストールできます。 ただし、ワークスペース ユーザーは、DBFS に格納されているライブラリ ファイルを変更できます。 Azure Databricks ワークスペース内のライブラリのセキュリティを向上させるために、Databricks Runtime 15.0 以降では、ライブラリ ファイルを DBFS ルートに格納することは非推奨となり、既定では無効になっています。 「DBFS ルートにライブラリを格納することは非推奨であり、既定では無効になっている」を参照してください。

Databricks は、代わりにワークスペース ファイルまたは Unity Catalog ボリュームに Python ライブラリ、JAR ファイル、Spark コネクタを含むすべてのライブラリをアップロードするか、ライブラリ パッケージ リポジトリを使用することを推奨しています。 ワークロードでこれらのパターンがサポートされない場合、クラウド オブジェクト ストレージに格納されているライブラリも使用できます。

すべてのクラスター アクセス モードですべてのライブラリ構成がサポートされているわけではありません。 「クラスター スコープ ライブラリ」を参照してください。

ライブラリ ソース 手順
ワークスペース ワークスペース ファイルを選ぶか、Whl、zip 形式の wheelhouse、JAR、ZIP、tar、または requirements.txt ファイルをアップロードします。 「ワークスペース ファイルからライブラリをインストールする」を参照してください
Volumes ボリュームから Whl、JAR、またはrequirements.txt ファイルを選択します。 「ボリュームからライブラリをインストールする」を参照してください。
File Path/ADLS (ファイル パス/ADLS) ライブラリの種類を選び、ライブラリ オブジェクトへの完全な URI を指定します (例: /Workspace/path/to/library.whl、/Volumes/path/to/library.whl、または abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl)。 「オブジェクト ストレージからライブラリをインストールする」を参照してください。
PyPI PyPI パッケージ名を入力します。 「PyPi パッケージ」をご覧ください。
Maven Maven 座標を指定します。 「Maven または Spark パッケージ」をご覧ください。
CRAN パッケージの名前を入力します。 「CRAN パッケージ」をご覧ください。
DBFS (非推奨) JAR または Whl ファイルを DBFS ルートに読み込みます。 DBFS に保存されているファイルは、どのワークスペース ユーザーでも変更できるため、これはお勧めしません。

クラスターにライブラリをインストールする場合、そのクラスターに既に接続されているノートブックには新しいライブラリがすぐに表示されません。 最初にノートブックをデタッチしてから、クラスターに再アタッチする必要があります。

ポリシーを使ったライブラリのインストール

ライブラリのインストールを適用するポリシーを使ってクラスターを作成すると、指定したライブラリがクラスターに自動的にインストールされます。 追加ライブラリのインストールや、ライブラリのアンインストールはできません。

ワークスペース管理者は、ポリシーにライブラリを追加して、ポリシーを使うすべてのコンピューティングでライブラリのインストールを管理および適用できます。 管理者の手順については、「ライブラリをポリシーに追加する」を参照してください。

クラスターからライブラリをアンインストールする

注意

クラスターからライブラリをアンインストールした場合、そのライブラリは、クラスターを再起動したときに初めて削除されます。 クラスターを再起動するまで、アンインストールされたライブラリの状態は「再起動までアンインストールを保留」と表示されます。

ライブラリをアンインストールするには、クラスター UI を使用します。

  1. サイドバーで、compute icon[コンピューティング]をクリックします。
  2. クラスター名をクリックします。
  3. [ライブラリ] タブをクリックします。
  4. ライブラリをアンインストールするクラスターの横にあるチェックボックスをオンにし、[アンインストール]、[確認]の順にクリックします。 状態が [再起動までアンインストールを保留] に変わります。

[再起動] と [確認] をクリックすると、ライブラリがアンインストールされます。 ライブラリは、クラスターの [ライブラリ] タブから削除されます。

クラスターにインストールされているライブラリを表示する

  1. サイドバーで、compute icon[コンピューティング]をクリックします。
  2. クラスター名をクリックします。
  3. [ライブラリ] タブをクリックします。ライブラリごとに、名前とバージョン、種類、インストール状態が表示され、アップロードされている場合はソースファイルが表示されます。

クラスターにインストールされたライブラリを更新する

クラスターにインストールされているライブラリを更新するには、古いバージョンのライブラリをアンインストールしてから、新しいバージョンをインストールします。

Note

Requirements.txt ファイルをアンインストールして再起動する必要はありません。 requirements.txt ファイルの内容を変更した場合は、単に再インストールすれば、インストールされているファイルの内容が更新されます。