Machine Learning の Databricks Runtime Databricks Runtime for Machine Learning

Machine Learning の Databricks Runtime (Databricks Runtime ML) は、機械学習とデータサイエンスのための準備が整った環境を提供します。Databricks Runtime for Machine Learning (Databricks Runtime ML) provides a ready-to-go environment for machine learning and data science. TensorFlow、PyTorch、Keras、XGBoost など、複数の一般的なライブラリが含まれています。It contains multiple popular libraries, including TensorFlow, PyTorch, Keras, and XGBoost. Horovod を使用した分散トレーニングもサポートします。It also supports distributed training using Horovod.

Databricks Runtime ML を使用すると、分散トレーニングに必要なすべてのライブラリを備えた Azure Databricks クラスターを起動できます。Databricks Runtime ML lets you start an Azure Databricks cluster with all of the libraries required for distributed training. この機能により、クラスターに含まれているライブラリの互換性が確保され (たとえば、「」のように)、クラスターのスタートアップが大幅に高速化されます。It ensures the compatibility of the libraries included on the cluster (between TensorFlow and CUDA / cuDNN, for example) and substantially speeds up cluster start-up.

注意

ライブラリユーティリティは Databricks Runtime ML では使用できません。Library utilities are not available in Databricks Runtime ML.

ML Databricks Runtime には何がありますか。 What’s in Databricks Runtime ML?

Databricks Runtime ML は Databricks Runtime に基づいて構築されています。Databricks Runtime ML is built on Databricks Runtime. たとえば、Databricks Runtime 5.0 ML は Databricks Runtime 5.0 上に構築されています。For example, Databricks Runtime 5.0 ML is built on Databricks Runtime 5.0. 基本 Databricks Runtime に含まれているライブラリは、 Databricks Runtime のリリースノートに記載されています。The libraries included in the base Databricks Runtime are listed in the Databricks Runtime Release Notes.

Databricks Runtime ML でサポートされているライブラリ Libraries supported by Databricks Runtime ML

Databricks Runtime ML には、さまざまな一般的な ML ライブラリが含まれています。The Databricks Runtime ML includes a variety of popular ML libraries. ライブラリは、新しい機能と修正プログラムを含むように、定期的に更新されます。The libraries are updated periodically to include new features and fixes.

Azure Databricks は、サポートされているライブラリのサブセットを最上位層ライブラリとして指定しました。Azure Databricks has designated a subset of the supported libraries as top-tier libraries. これらのライブラリについては、Azure Databricks によって更新間隔が短縮され、各ランタイムリリースで最新のアップストリームパッケージのリリースが更新されます (依存関係の競合はありません)。For these libraries, Azure Databricks provides a faster update cadence, updating to the latest upstream package releases with each runtime release (barring dependency conflicts). Azure Databricks では、最上位層ライブラリの高度なサポート、テスト、および埋め込みの最適化も提供されます。Azure Databricks also provides advanced support, testing, and embedded optimizations for top-tier libraries.

最上位層およびその他の指定されたライブラリの完全な一覧については、使用可能な各ランタイムに関する次のトピックを参照してください。For a full list of top-tier and other provided libraries, see the following topics for each available runtime:

Databricks Runtime ML を使用したクラスターの作成Create a cluster using Databricks Runtime ML

クラスターを作成するときに、[Databricks Runtime バージョン] ドロップダウンから Databricks Runtime ML バージョンを選択します。When you create a cluster, select a Databricks Runtime ML version from the Databricks Runtime Version drop-down. CPU と GPU 対応の ML ランタイムの両方を使用できます。Both CPU and GPU-enabled ML runtimes are available.

no-alternative-textno-alternative-text

GPU 対応の ML ランタイムを選択した場合は、互換性のあるドライバーの種類ワーカーの種類を選択するように求められます。If you select a GPU-enabled ML runtime, you are prompted to select a compatible Driver Type and Worker Type. 互換性のないインスタンスの種類は、ドロップダウンで淡色表示されます。Incompatible instance types are grayed out in the drop-downs. Gpu 対応のインスタンスの種類は、 Gpu アクセラレータのラベルの下に一覧表示されます。GPU-enabled instance types are listed under the GPU-Accelerated label.

警告

ワークスペース内のライブラリがすべてのクラスターに自動的にインストールされると、Databricks Runtime ML に含まれているライブラリと競合する可能性があります。Libraries in your workspace that automatically install into all clusters can conflict with the libraries included in Databricks Runtime ML. Databricks Runtime ML でクラスターを作成する前に、競合しているライブラリの [すべてのクラスターに自動的にインストールする] チェックボックスをオフにします。Before you create a cluster with Databricks Runtime ML, clear the Install automatically on all clusters checkbox for conflicting libraries.

Python パッケージの管理 Python package management

Databricks Runtime ML では、 Condaパッケージマネージャーを使用して Python パッケージをインストールします。In Databricks Runtime ML the Conda package manager is used to install Python packages. すべての Python パッケージは、1つの環境内にインストールされます。 python 2 を使用してクラスターに /databricks/python2 し、Python 3 を使用してクラスターで /databricks/python3 します。All Python packages are installed inside a single environment: /databricks/python2 on clusters using Python 2 and /databricks/python3 on clusters using Python 3. Conda 環境の切り替え (またはアクティブ化) はサポートされていません。Switching (or activating) Conda environments is not supported.

ドライバーノードに Python パッケージをインストールする Install Python packages on the driver node

Notebook 内で conda コマンドを呼び出して、Databricks Runtime ML を実行するクラスターのドライバー (マスター) ノードに Python パッケージをインストールすることができます。You can call the conda command inside a notebook to install a Python package on the driver (master) node of a cluster running Databricks Runtime ML. 一部のライブラリでは、新しくインストールされた Python モジュールをインポートする前に、再接続して notebook を再度アタッチすることが必要になる場合があります。For some libraries you may need to detach and attach your notebook again before you can import a newly installed Python module.

重要

Notebook 内の conda コマンドを使用してインストールされた Python パッケージは、worker ノードではなく、[_ドライバー] ノードでのみ_使用できます。Python packages installed using the conda command inside notebooks are available only on the driver node and not on the worker nodes. ライブラリまたはinit スクリプトを使用して、すべてのワーカーにパッケージをインストールできます。You can install a package on all workers using a library or an init script.

Databricks Runtime 6.0 ML 以降Databricks Runtime 6.0 ML and above

%sh conda install astropy

Databricks Runtime 6.0 ML では、%sh conda コマンドを直接使用して、ドライバーノードにライブラリをインストールできます。In Databricks Runtime 6.0 ML, you can directly use the %sh conda command to install libraries on the driver node. Conda 構成ファイルで always_yes: True が設定されているため、-y オプションは必要ありません。The -y option is not required since always_yes: True is set in the conda configuration file.

Databricks Runtime 3.3 から 5.5 MLDatabricks Runtime 3.3 to 5.5 ML

%sh /databricks/conda/bin/conda install -y -p /databricks/python astropy

すべてのクラスターノードに Python パッケージをインストールする Install Python packages on all cluster nodes

Conda を使用してすべてのクラスターノードにパッケージをインストールする最も簡単な方法は、 init スクリプト内で conda を呼び出すことです。The easiest way to use Conda to install a package on all cluster nodes is to call conda inside an init script. Init スクリプトで、既定の環境をアクティブ化し、conda を使用してパッケージをインストールします。In your init script, activate the default environment and install packages using conda.

#!/bin/bash
set -ex
/databricks/python/bin/python -V
. /databricks/conda/etc/profile.d/conda.sh
conda activate /databricks/python
conda install -y astropy

LicenseLicense

このバージョンの Databricks Runtime を使用すると、CUDA、cuDNN、および Tesla ライブラリに関する Nvidia の使用許諾契約書 (EULA)に記載されている使用条件と、nvidia の使用許諾契約書 (NCCL を使用) に同意したことになります。NCCL ライブラリ) を追加します。By using this version of Databricks Runtime, you agree to the terms and conditions outlined in the NVIDIA End User License Agreement (EULA) with respect to the CUDA, cuDNN, and Tesla libraries, and the NVIDIA End User License Agreement (with NCCL Supplement) for the NCCL library.