Databricks Runtime 4.1 ML (no compatible)

  • Artículo

Databricks Runtime 4.1 ML proporciona un entorno listo para usar para el aprendizaje automático y la ciencia de datos. Contiene varias bibliotecas populares, como TensorFlow, Keras y XGBoost. También admite el entrenamiento distribuido de TensorFlow mediante Horovod.

Nota:

Esta versión quedó en desuso el 17 de enero de 2019. Se recomienda usar una versión más reciente de Databricks Runtime ML, en función de las versiones de biblioteca que quiera usar.

Para más información, incluidas las instrucciones para crear un clúster de Databricks Runtime ML, consulte IA y Machine Learning en Databricks.

Nota:

Las versiones de Databricks Runtime ML recogen todas las actualizaciones de mantenimiento de la versión base de Databricks Runtime. Para obtener una lista de todas las actualizaciones de mantenimiento, vea Actualizaciones de mantenimiento de Databricks Runtime (archivado).

Bibliotecas

Databricks Runtime 4.1 ML se basa en Databricks Runtime 4.1. Para información sobre las novedades de Databricks Runtime 4.1, consulte las notas de la versión de Databricks Runtime 4.1 (sin soporte técnico). Además de las características nuevas de Databricks Runtime 4.1 ML, Databricks Runtime 4.1 ML incluye las siguientes bibliotecas para admitir el aprendizaje automático: Algunos de ellas también se incluyen en la versión básica Databricks Runtime 4.1 y se indican como tales.

Category Bibliotecas
Aprendizaje profundo distribuido Aprendizaje distribuido con Horovod y Spark

* HorovodEstimator
* horovod 0.12.1
* openmpi 3.0.0
* paramiko 2.4.1
* cloudpickle 0.5.2

Predicción distribuida de TensorFlow y Keras:

* Versión previa de spark-deep-learning 1.0
* tensorframes 0.3.0
Aprendizaje profundo [Keras]:

* keras 2.1.5
* h5py 2.7.1

TensorFlow:

* (Clústeres de CPU) tensorflow 1.7.1
* (Clústeres de GPU) tensorflow-gpu 1.7.1

Bibliotecas de GPU:

* CUDA 9.0 (también instalada en la versión básica de Databricks Runtime)
* cuDNN 7.0 (también instalada en la versión básica de Databricks Runtime)
* NCCL 2.0.5-3
XGBoost * XGBoost4j 0.8-spark2.3-s_2.11
Otras bibliotecas de aprendizaje automático * numpy 1.14.2 (también instalada en la versión básica de Databricks Runtime; la versión puede diferir)
* scikit-learn 0.18.1 (también instalada en la versión básica de Databricks Runtime)
* scipy (también instalada en la versión básica de Databricks Runtime)