Databricks Runtime 4,1 ML (не поддерживается)

Databricks Runtime 4,1 ML предоставляет готовую среду для машинного обучения и обработки и анализа данных. Он содержит несколько популярных библиотек, включая TensorFlow, keras и XGBoost. Он также поддерживает распределенное обучение TensorFlow с помощью хоровод.

Примечание

Эта версия устарела 17 января 2019 г. Рекомендуется использовать более новую версию Databricks Runtime ML в зависимости от того, какие версии библиотек вы хотите использовать.

Дополнительные сведения, включая инструкции по созданию кластера Databricks Runtime ML, см. в разделе Databricks Runtime for машинное обучение.

Примечание

Databricks Runtime выпуски ML получают все обновления для обслуживания базового Databricks Runtime выпуска. Список всех обновлений обслуживания см. в статье обновления для обслуживания среды выполнения модуляобработки данных.

Библиотеки

Databricks Runtime 4,1 ML построена на основе Databricks Runtime 4,1. Сведения о новых возможностях Databricks Runtime 4,1 см. в заметках о выпуске Databricks Runtime 4,1 (не поддерживается) . В дополнение к новым функциям в Databricks Runtime 4,1 Databricks Runtime 4,1 ML содержит следующие библиотеки для поддержки машинного обучения. Некоторые из них также включены в базовый Databricks Runtime 4,1 и отмечены как таковые.

Категория Библиотеки
Распределенное глубокое обучение Распределенное обучение с помощью хоровод и Spark:

* Хороводестиматор
* Хоровод 0.12.1
* опенмпи 3.0.0
* парамико 2.4.1
* клаудпиккле 0.5.2

Распределенный прогноз TensorFlow и keras:

* Spark-глубокое обучение 1,0 (Предварительная версия)
* тенсорфрамес 0.3.0
Глубокое обучение [Keras]:

* keras 2.1.5
* h5py 2.7.1

TensorFlow:

* (Кластеры ЦП) tensorflow 1.7.1
* (Кластеры GPU) tensorflow — GPU 1.7.1

Библиотеки GPU :

* CUDA 9,0 (также устанавливается в базовый Databricks Runtime)
* cuDNN 7,0 (также устанавливается в базовый Databricks Runtime)
* НККЛ 2.0.5-3
XGBoost; * XGBoost4j 0,8 — Spark 2.3 — S_2.11
Другие библиотеки машинного обучения * NumPy 1.14.2 (также устанавливается в базовый Databricks Runtime; версия может отличаться)
* scikit — сведения о 0.18.1 (также устанавливаются в базовый Databricks Runtime)
* SciPy (также устанавливается в базовый Databricks Runtime)