Databricks Runtime 4.1 ML (Beta)

Databricks Runtime 4.1 ML fornece um ambiente pronto para ir para machine learning e ciência de dados. Contém várias bibliotecas populares, incluindo TensorFlow, Keras e XGBoost. Também suporta o treino de TensorFlow distribuído usando Horovod.

Nota

Este lançamento foi depretado a 17 de janeiro de 2019. Recomendamos que utilize uma versão mais recente do Databricks Runtime ML, dependendo das versões da biblioteca que pretende utilizar.

Para obter mais informações, incluindo instruções para a criação de um cluster ML de runtime de databricks, consulte databricks Runtime for Machine Learning.

Nota

As versões de Runtime ML de Databricks captam todas as atualizações de manutenção para o lançamento do prazo de execução databricks base. Para obter uma lista de todas as atualizações de manutenção, consulte as atualizações de manutenção do tempo de execução da Databricks.

Bibliotecas

Databricks O tempo de execução 4.1 ML é construído em cima do Databricks Runtime 4.1. Para obter informações sobre as novidades em Databricks Runtime 4.1, consulte as notas de lançamento databricks Runtime 4.1. Além das novas funcionalidades em Databricks Runtime 4.1, Databricks Runtime 4.1 ML inclui as seguintes bibliotecas para suporte de aprendizagem automática. Algumas delas também estão incluídas na base Databricks Runtime 4.1 e são notadas como tal.

Categoria Bibliotecas
Aprendizagem Profunda Distribuída Treino distribuído com Horovod e Spark:

HorovodEstimator
Horovod 0.12.1
* openmpi 3.0.0
* paramiko 2.4.1
* cloudpickle 0.5.2

Previsão de TensorFlow e Keras distribuídos:

* aprendizagem profunda de faísca 1.0 pré-lançamento
* tensores 0.3.0
Aprendizagem Profunda [Queas]:

* keras 2.1.5
* h5py 2.7.1

TensorFlow:

* (aglomerados de CPU) tensorflow 1.7.1
* (clusters GPU) tensorflow-gpu 1.7.1

Bibliotecas gpu:

* CUDA 9.0 (também instalado na base Databricks Runtime)
* cuDNN 7.0 (também instalado na base Databricks Runtime)
* NCCL 2.0.5-3
XGBoost * XGBoost4j 0.8-spark2.3-s_2.11
Outras bibliotecas de aprendizagem automática * numpy 1.14.2 (também instalado na base Databricks Runtime; versão pode diferir)
* scikit-learn 0.18.1 (também instalado na base Databricks Runtime)
* scipy (também instalado na base Databricks Runtime)