Databricks Runtime 4.1 ML (sem suporte)

O Databricks Runtime 4.1 ML fornece um ambiente pronto para uso em aprendizado de máquina e ciência de dados. Ele contém várias bibliotecas conhecidas, como TensorFlow, Keras e XGBoost. Também dá suporte ao treinamento distribuído do TensorFlow por meio do Horovod.

Observação

Esta versão foi preterida em 17 de janeiro de 2019. Recomendamos que você use uma versão mais recente do Databricks Runtime ML, dependendo de quais versões da biblioteca você deseja usar.

Para obter mais informações, como instruções para a criação de um cluster do Databricks Runtime ML, confira IA e Machine Learning no Databricks.

Observação

As versões do Databricks Runtime ML reúnem todas as atualizações de manutenção na versão base do Databricks Runtime. Para obter uma lista de todas as atualizações de manutenção, confira Atualizações de manutenção para o Databricks Runtime (arquivado).

Bibliotecas

O Databricks Runtime 4.1 ML foi criado com base no Databricks Runtime 4.1. Para obter informações sobre as novidades do Databricks Runtime 4.1, consulte as notas sobre a versão do Databricks Runtime 4.1 (sem suporte). Além dos novos recursos do Databricks Runtime 4.1, Databricks Runtime 4.1 ML inclui as bibliotecas a seguir para dar suporte ao aprendizado de máquina. Alguns deles também estão incluídos na base Databricks Runtime 4.1 e são indicados como tal.

Categoria	Bibliotecas
Aprendizado profundo distribuído	Treinamento distribuído com Horovod e Spark: * HorovodEstimator * horovod 0.12.1 * openmpi 3.0.0 * paramiko 2.4.1 * cloudpickle 0.5.2 Previsão de TensorFlow e Keras distribuído: * pré-lançamento do spark-deep-learning 1.0 * tensorframes 0.3.0
Aprendizado profundo	[Keras]: * keras 2.1.5 * h5py 2.7.1 TensorFlow: * (clusters de CPU) tensorflow 1.7.1 * (clusters de GPU) tensorflow-gpu 1.7.1 Bibliotecas de GPU: * CUDA 9.0 (também instalado na base Databricks Runtime) * cuDNN 7.0 (também instalado na base Databricks Runtime) * NCCL 2.0.5-3
XGBoost	* XGBoost4j 0.8-spark2.3-s_2.11
Outras bibliotecas de aprendizado de máquina	* numpy 1.14.2 (também instalado na base Databricks Runtime; a versão pode ser diferente) * scikit-learn 0.18.1 (também instalado na base Databricks Runtime) * scipy (também instalado na base Databricks Runtime)