Databricks Runtime 4.1 ML (sem suporte)

  • Artigo

O Databricks Runtime 4.1 ML fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados. Ele contém várias bibliotecas populares, incluindo TensorFlow, Keras e XGBoost. Ele também suporta treinamento distribuído do TensorFlow usando Horovod.

Nota

Esta versão foi preterida em 17 de janeiro de 2019. Recomendamos que você use uma versão mais recente do Databricks Runtime ML, dependendo de quais versões de biblioteca você deseja usar.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e Machine Learning no Databricks.

Nota

As versões do Databricks Runtime ML recebem todas as atualizações de manutenção para a versão base do Databricks Runtime. Para obter uma lista de todas as atualizações de manutenção, consulte Atualizações de manutenção para Databricks Runtime (arquivado).

Bibliotecas

O Databricks Runtime 4.1 ML é construído sobre o Databricks Runtime 4.1. Para obter informações sobre o que há de novo no Databricks Runtime 4.1, consulte as notas de versão do Databricks Runtime 4.1 (sem suporte). Além dos novos recursos do Databricks Runtime 4.1, o Databricks Runtime 4.1 ML inclui as seguintes bibliotecas para oferecer suporte ao aprendizado de máquina. Alguns deles também estão incluídos no Databricks Runtime 4.1 base e são observados como tal.

Categoria Bibliotecas
Aprendizagem Profunda Distribuída Treinamento distribuído com Horovod e Spark:

* HorovodEstimator
* Horovod 0.12.1
* OpenMPI 3.0.0
* Paramiko 2.4.1
* Cloudpickle 0.5.2

Previsão distribuída de TensorFlow e Keras:

* Pré-lançamento do Spark-Deep-Learning 1.0
* tensorframes 0.3.0
Aprendizagem Aprofundada [Keras]:

* Keras 2.1.5
* H5PY 2.7.1

TensorFlow:

* (clusters de CPU) tensorflow 1.7.1
* (clusters GPU) tensorflow-gpu 1.7.1

Bibliotecas GPU:

* CUDA 9.0 (também instalado na base Databricks Runtime)
* cuDNN 7.0 (também instalado na base Databricks Runtime)
* NCCL 2.0.5-3
XGBoost * XGBoost4j 0.8-faísca2.3-s_2.11
Outras bibliotecas de aprendizado de máquina * numpy 1.14.2 (também instalado no Databricks Runtime base; a versão pode diferir)
* scikit-learn 0.18.1 (também instalado no Databricks Runtime base)
* scipy (também instalado no Databricks Runtime base)