Databricks Runtime 4.1 ML (サポートされていません)Databricks Runtime 4.1 ML (Unsupported)

Databricks Runtime 4.1 ML は、機械学習とデータサイエンス用の準備が整った環境を提供します。Databricks Runtime 4.1 ML provides a ready-to-go environment for machine learning and data science. これには、"保存"、"Keras"、"XGBoost スト" などの一般的なライブラリが複数含まれています。It contains multiple popular libraries, including TensorFlow, Keras, and XGBoost. また、Horovod を使用した分散型の配信フロートレーニングもサポートしています。It also supports distributed TensorFlow training using Horovod.


このリリースは2019年1月17日に非推奨となりました。This release was deprecated on January 17, 2019. 使用するライブラリのバージョンに応じて、新しい バージョン の Databricks Runtime ML を使用することをお勧めします。We recommend that you use a newer version of Databricks Runtime ML, depending on which library versions you want to use.

Databricks Runtime ML クラスターを作成する手順など、詳細については、 Machine Learning の Databricks Runtimeを参照してください。For more information, including instructions for creating a Databricks Runtime ML cluster, see Databricks Runtime for Machine Learning.


Databricks Runtime ML リリースでは、基本 Databricks Runtime リリースのすべてのメンテナンス更新プログラムが選択されます。Databricks Runtime ML releases pick up all maintenance updates to the base Databricks Runtime release. すべてのメンテナンス更新プログラムの一覧については、「 Databricks runtime maintenance updates」を参照してください。For a list of all maintenance updates, see Databricks runtime maintenance updates.


Databricks Runtime 4.1 ML は Databricks Runtime 4.1 の上に構築されています。Databricks Runtime 4.1 ML is built on top of Databricks Runtime 4.1. Databricks Runtime 4.1 の新機能の詳細については、 Databricks Runtime 4.1 (サポートされていません) リリースノートを参照してください。For information on what’s new in Databricks Runtime 4.1, see the Databricks Runtime 4.1 (Unsupported) release notes. Databricks Runtime 4.1 の新機能に加えて、Databricks Runtime 4.1 ML には、機械学習をサポートする次のライブラリが含まれています。In addition to the new features in Databricks Runtime 4.1, Databricks Runtime 4.1 ML includes the following libraries to support machine learning. これらの一部はベース Databricks Runtime 4.1 にも含まれており、そのように記載されています。Some of these are also included in the base Databricks Runtime 4.1 and are noted as such.

カテゴリCategory ライブラリLibraries
分散ディープラーニングDistributed Deep Learning Horovod と Spark を使用した分散トレーニング:Distributed training with Horovod and Spark:

* HorovodEstimator* HorovodEstimator
* horovod 0.12.1* horovod 0.12.1
* openmpi 3.0.0* openmpi 3.0.0
* paramiko 2.4.1* paramiko 2.4.1
* cloudpickle 0.5.2* cloudpickle 0.5.2

分散された配信フローと Keras の予測:Distributed TensorFlow and Keras prediction:

* spark-ディープラーニング1.0 プレリリース* spark-deep-learning 1.0 pre-release
* v0.3.0* tensorframes 0.3.0
ディープ ラーニングDeep Learning [Keras]:

* keras 2.1.5* keras 2.1.5
* h5py 2.7.1* h5py 2.7.1


* (CPU クラスター) の1.7.1* (CPU clusters) tensorflow 1.7.1
* (GPU クラスター): 1.7.1* (GPU clusters) tensorflow-gpu 1.7.1

GPU ライブラリ:GPU libraries:

* CUDA 9.0 (ベース Databricks Runtime にもインストールされています)* CUDA 9.0 (also installed in base Databricks Runtime)
* cuDNN 7.0 (base Databricks Runtime にもインストールされています)* cuDNN 7.0 (also installed in base Databricks Runtime)
* NCCL 2.0.5* NCCL 2.0.5-3
XGBoostXGBoost * XGBoost4j 0.8-spark 2.3-s_2. 11* XGBoost4j 0.8-spark2.3-s_2.11
その他の機械学習ライブラリOther machine learning libraries * numpy 1.14.2 (ベース Databricks Runtime にもインストールされます。バージョンは異なる場合があります)* numpy 1.14.2 (also installed in base Databricks Runtime; version may differ)
* scikit-learn- 0.18.1 (base Databricks Runtime にもインストールされています)* scikit-learn 0.18.1 (also installed in base Databricks Runtime)
* scipy (base Databricks Runtime にもインストールされます)* scipy (also installed in base Databricks Runtime)