ワークスペース ライブラリ (レガシ)

  • [アーティクル]

重要

このドキュメントは廃止され、更新されない可能性があります。 このコンテンツで言及されている製品、サービス、テクノロジは、サポートされなくなりました。 「クラスター ライブラリ」を参照してください。

Note

ワークスペース ライブラリは非推奨になったので使用するべきではありません。 ただし、ライブラリをワークスペース ファイルとして保存することは、ワークスペース ライブラリとは別物であり、引き続き完全にサポートされています。 ワークスペース ファイルとして保存されているライブラリは、コンピューティングまたはジョブ タスクに直接インストールできます。

ワークスペース ライブラリは、クラスター インストール ライブラリの作成元のローカル リポジトリとして機能します。 ワークスペース ライブラリは、組織が作成したカスタム コードである場合もあれば、組織が標準化したオープンソース ライブラリの特定のバージョンである場合もあります。

ワークスペース ライブラリをノートブックまたはジョブで使用するには、クラスターにインストールする必要があります。 詳しくは、「クラスターにワークスペース ライブラリをインストールする」をご覧ください。

共有フォルダー内のワークスペース ライブラリは、ワークスペース内のすべてのユーザーが利用できます。一方、ユーザー フォルダー内のワークスペース ライブラリは、そのユーザーのみが使用できます。

重要

Databricks Runtime 14.3 LTS 以下を使用する場合は、DBFS からライブラリをインストールできます。 ただし、ワークスペース ユーザーは、DBFS に格納されているライブラリ ファイルを変更できます。 Azure Databricks ワークスペース内のライブラリのセキュリティを向上させるために、Databricks Runtime 15.0 以降では、ライブラリ ファイルを DBFS ルートに格納することは非推奨となり、既定では無効になっています。 「DBFS ルートにライブラリを格納することは非推奨であり、既定では無効になっている」を参照してください。

Databricks は、代わりにワークスペース ファイルまたは Unity Catalog ボリュームに Python ライブラリ、JAR ファイル、Spark コネクタを含むすべてのライブラリをアップロードするか、ライブラリ パッケージ リポジトリを使用することを推奨しています。 ワークロードでこれらのパターンがサポートされない場合、クラウド オブジェクト ストレージに格納されているライブラリも使用できます。

ワークスペース ライブラリは、ワークスペース ファイルとともに保存されているライブラリとどのように異なりますか?

"ワークスペース ライブラリ" という用語は、ワークスペースに登録されているあらゆるライブラリを指します。 ワークスペース ライブラリはノートブックやワークスペース ファイルと共に表示され、それが含まれているディレクトリの ACL 規則に従います。

"ワークスペース ファイル" という用語は、ワークスペースに格納されている任意のファイルを指します。 Python .whl パッケージをワークスペース ファイルとして格納し、それをワークスペース ライブラリとして登録できます。 「ワークスペース ファイルとは」を参照してください。

ライブラリはワークスペース ファイルとしてアップロードできます。 「ワークスペース ファイルの基本的な使用方法」を参照してください。

さまざまな種類のファイルをワークスペース ファイルにアップロードできますが、ワークスペース ファイルを使用してインストールできるのは Python .whl ファイルのみです。 「クラスター スコープ ライブラリ」を参照してください。

Databricks Runtime 13.3 LTS 以降では、%pip を使用し、ワークスペース ファイルとして格納されている Python ホイール ファイルをインストールできます。 「%pip を使用してワークスペース ファイルとして格納されたパッケージをインストールする」を参照してください。

ワークスペース ライブラリの作成

  1. ライブラリを保存したいワークスペース フォルダーを右クリックします。
  2. [作成] > [ライブラリ] を選択します。 [ライブラリの作成] ダイアログが表示されます。
  3. [ライブラリ ソース] を選択し、該当する手順に従います。

JAR、Python egg、または Python ホイール ファイルをアップロードする

Note

Python egg ファイルのインストールは非推奨となり、今後の Databricks Runtime リリースで削除される予定です。

重要

Databricks Runtime 14.3 LTS 以下を使用する場合は、DBFS からライブラリをインストールできます。 ただし、ワークスペース ユーザーは、DBFS に格納されているライブラリ ファイルを変更できます。 Azure Databricks ワークスペース内のライブラリのセキュリティを向上させるために、Databricks Runtime 15.0 以降では、ライブラリ ファイルを DBFS ルートに格納することは非推奨となり、既定では無効になっています。 「DBFS ルートにライブラリを格納することは非推奨であり、既定では無効になっている」を参照してください。

Databricks は、代わりにワークスペース ファイルまたは Unity Catalog ボリュームに Python ライブラリ、JAR ファイル、Spark コネクタを含むすべてのライブラリをアップロードするか、ライブラリ パッケージ リポジトリを使用することを推奨しています。 ワークロードでこれらのパターンがサポートされない場合、クラウド オブジェクト ストレージに格納されているライブラリも使用できます。

  1. ライブラリ ソース ボタン リストから [アップロード] を選択します。
  2. [Jar]、[Python Egg]、または [Python Whl] を選択します。
  3. 必要に応じて、ライブラリ名を入力します。
  4. JAR、egg または wheel をドロップ ボックスにドラッグするか、ドロップ ボックスをクリックしてファイルに移動します。 ファイルが dbfs:/FileStore/jars にアップロードされます。
  5. Create をクリックしてください。 [ライブラリの状態] 画面が表示されます。

アップロードされた JAR、Python egg、または Python ホイール ファイルを参照する

DBFS ルートに、オブジェクト ストレージに、あるいはワークスペース ファイルと共に格納されている JAR、Python egg、Python wheel ファイルを参照することで新しいワークスペース ライブラリを作成できます。 このワークフローに従うと、ファイルをアップロードしたり、移動したりしなくても、ライブラリ ポインターが登録されます。

Databricks Runtime 13.2 以降では、Unity Catalog のボリュームを参照することもできます。 この機能はパブリック プレビューの段階にあります。

共有アクセス モードの場合、allowlist に JAR を追加する必要があります。 「共有コンピューティングの許可リスト ライブラリと init スクリプト」を参照してください。

  1. [ライブラリ ソース] ボタン リストで [ファイル パス/ADLS] を選択します。
  2. [Jar]、[Python Egg]、または [Python Whl] を選択します。
  3. 必要に応じて、ライブラリ名を入力します。
  4. 次の例のように、ライブラリのパスを指定します。
    • abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl
    • /Workspace/path/to/library.whl
    • dbfs:/path/to/library.whl
    • /Volumes/<catalog>/<schema>/<volume>/<path_to_library_file>
  5. Create をクリックしてください。 [ライブラリの状態] 画面が表示されます。

オブジェクト ストレージ内のライブラリを操作する方法の詳細については、「オブジェクト ストレージからライブラリをインストールする」を参照してください。

ワークスペース ファイルの詳細については、「Azure Databricks 上のファイルを操作する」をご覧ください。

クラスターにワークスペース ライブラリをインストールする

Note

Azure Databricks は、クラスターにインストールされた順序ですべてのワークスペースライブラリを処理します。 ライブラリ間に依存関係がある場合は、クラスターへのインストール順序に注意する必要があります。

重要

Databricks Runtime 14.3 LTS 以下を使用する場合は、DBFS からライブラリをインストールできます。 ただし、ワークスペース ユーザーは、DBFS に格納されているライブラリ ファイルを変更できます。 Azure Databricks ワークスペース内のライブラリのセキュリティを向上させるために、Databricks Runtime 15.0 以降では、ライブラリ ファイルを DBFS ルートに格納することは非推奨となり、既定では無効になっています。 「DBFS ルートにライブラリを格納することは非推奨であり、既定では無効になっている」を参照してください。

Databricks は、代わりにワークスペース ファイルまたは Unity Catalog ボリュームに Python ライブラリ、JAR ファイル、Spark コネクタを含むすべてのライブラリをアップロードするか、ライブラリ パッケージ リポジトリを使用することを推奨しています。 ワークロードでこれらのパターンがサポートされない場合、クラウド オブジェクト ストレージに格納されているライブラリも使用できます。

シングル ユーザー アクセス モードでは、割り当てられたプリンシパル (ユーザーまたはサービス プリンシパル) の ID が使用されます。 共有アクセス モードでは、ライブラリをインストールしたユーザーの ID がライブラリで使用されます。 分離なし共有アクセス モードではボリュームがサポートされませんが、共有アクセス モードと同じ ID 割り当てが使用されます。

クラスターにライブラリをインストールするためのすべての選択肢を確認するには、「クラスター ライブラリ」を参照してください。

ワークスペースに既に存在するライブラリをインストールするには、クラスター UI またはライブラリ UI から開始できます。

クラスター

  1. サイドバーで、コンピューティング アイコン[コンピューティング] をクリックします。
  2. クラスター名をクリックします。
  3. [ライブラリ] タブをクリックします。
  4. [新規インストール] をクリックします。
  5. [ライブラリ ソース] ボタン リストから [ワークスペース ライブラリ] を選択します。
  6. ワークスペースライブラリを選択します。
  7. [インストール] をクリックします。

ライブラリ

  1. ライブラリが格納されているフォルダーに移動します。
  2. ライブラリ名をクリックします。
  3. ライブラリをインストールするクラスターの横にあるチェックボックスをオンにし、[インストール] をクリックします。 実行中のクラスターのみが一覧に表示されます。

ワークスペース ライブラリの詳細を表示する

Note

ワークスペース フォルダーは、ワークスペース ライブラリの検出と ACL の管理に便利です。

  1. ライブラリが格納されているワークスペース フォルダーに移動します。
  2. ライブラリ名をクリックします。

[ライブラリの詳細] ページには、実行中のクラスターとライブラリのインストール状態が表示されます。 ライブラリがインストールされている場合は、パッケージ ホストへのリンクがページに表示されます。 ライブラリがアップロードされた場合、アップロードされたパッケージ ファイルへのリンクがページに表示されます。

ワークスペース ライブラリの移動

Note

ワークスペース フォルダーは、ワークスペース ライブラリの検出と ACL の管理に便利です。 ワークスペース ライブラリを移動してもファイルは移動しませんが、ワークスペース ライブラリにアクセスできるユーザーが変更されることがあります。

  1. ライブラリが格納されているワークスペース フォルダーに移動します。
  2. ライブラリ名を右クリックし、[移動] を選択します。 フォルダー ブラウザーが表示されます。
  3. 宛先フォルダーをクリックします。
  4. [Move] (移行) をクリックします。

ワークスペース ライブラリの削除

重要

ワークスペース ライブラリを削除する前に、すべてのクラスターからアンインストールする必要があります。

ワークスペース ライブラリを削除するには次のようにします。

  1. ライブラリをごみ箱フォルダーに移動します。
  2. ごみ箱フォルダー内のライブラリを完全に削除するか、ごみ箱フォルダーを空にします。