Databricks Runtime 4.1 ML(不受支持)

Databricks Runtime 4.1 ML 为机器学习和数据科学提供随时可用的环境。 它包含多个热门库,其中包括 TensorFlow、Keras 和 XGBoost。 它还支持使用 Horovod 进行分布式 TensorFlow 训练。

注意

此版本已于 2019 年 1 月 17 日弃用。 建议使用较新的 Databricks Runtime ML 版本,这取决于你要使用的库版本。

有关详细信息,包括有关创建 Databricks Runtime ML 群集的说明,请参阅用于机器学习的 Databricks Runtime

注意

Databricks Runtime ML 版本会获取基础 Databricks Runtime 版本的所有维护更新。 有关所有维护更新的列表,请参阅 Databricks 运行时维护更新

Databricks Runtime 4.1 ML 是基于 Databricks Runtime 4.1 构建的。 若要了解 Databricks Runtime 4.1 中的新增功能,请参阅 Databricks Runtime 4.1(不受支持)发行说明。 除了 Databricks Runtime 4.1 中的新功能,Databricks Runtime 4.1 ML 还包括以下库来支持机器学习。 其中一些功能也包含在基础 Databricks Runtime 4.1 中,并同样进行了说明。

类别
分布式深度学习 使用 Horovod 和 Spark 进行分布式训练

* HorovodEstimator
* horovod 0.12.1
* openmpi 3.0.0
* paramiko 2.4.1
* cloudpickle 0.5.2

分布式 TensorFlow 和 Keras 预测

* spark-deep-learning 1.0 pre-release
* tensorframes 0.3.0
深度学习 [Keras]:

* keras 2.1.5
* h5py 2.7.1

TensorFlow

* (CPU clusters) tensorflow 1.7.1
* (GPU clusters) tensorflow-gpu 1.7.1

GPU 库:

* CUDA 9.0 (也安装在基本Databricks Runtime)
* cuDNN 7.0 (也安装在基本Databricks Runtime)
* NCCL 2.0.5-3
XGBoost * * 0.8-spark2.3-s_2.11
其他机器学习库 * * 1.14.2 (也安装在基本Databricks Runtime;版本可能有所不同)
* * 0.18.1 (也安装在基本Databricks Runtime)
* * (也安装在基本Databricks Runtime)