Databricks Runtime 5,4 ML (non pris en charge)Databricks Runtime 5.4 ML (Unsupported)

Databricks a publié cette image en juin 2019.Databricks released this image in June 2019.

Databricks Runtime 5,4 ML fournit un environnement prêt à l’emploi pour Machine Learning et la science des données basée sur Databricks Runtime 5,4 (non pris en charge).Databricks Runtime 5.4 ML provides a ready-to-go environment for machine learning and data science based on Databricks Runtime 5.4 (Unsupported). Databricks Runtime pour ML contient de nombreuses bibliothèques de Machine Learning populaires, notamment TensorFlow, PyTorch, keras et XGBoost.Databricks Runtime for ML contains many popular machine learning libraries, including TensorFlow, PyTorch, Keras, and XGBoost. Il prend également en charge la formation distribuée d’apprentissage profond à l’aide de Horovod.It also supports distributed deep learning training using Horovod.

Pour plus d’informations, y compris pour obtenir des instructions sur la création d’un cluster Databricks Runtime ML, consultez Databricks Runtime pour machine learning.For more information, including instructions for creating a Databricks Runtime ML cluster, see Databricks Runtime for Machine Learning.

Nouvelles fonctionnalitésNew features

Databricks Runtime 5,4 ML est basé sur Databricks Runtime 5,4.Databricks Runtime 5.4 ML is built on top of Databricks Runtime 5.4. Pour plus d’informations sur les nouveautés de Databricks Runtime 5,4, consultez les notes de publication Databricks Runtime 5,4 (non prises en charge) .For information on what’s new in Databricks Runtime 5.4, see the Databricks Runtime 5.4 (Unsupported) release notes.

Outre les mises à jour de bibliothèque, DATABRICKS Runtime 5,4 ml introduit les nouvelles fonctionnalités suivantes :In addition to library updates, Databricks Runtime 5.4 ML introduces the following new features:

Hyperopt distribué et suivi MLflow automatiséDistributed Hyperopt + automated MLflow tracking

Databricks Runtime 5,4 ML introduit une nouvelle implémentation de Hyperopt alimentée par Apache Spark pour mettre à l’échelle et simplifier le paramétrage des hyperparamètres.Databricks Runtime 5.4 ML introduces a new implementation of Hyperopt powered by Apache Spark to scale and simplify hyperparameter tuning. Une nouvelle Trials classe SparkTrials est implémentée pour distribuer des séries d’essais Hyperopt entre plusieurs ordinateurs et nœuds à l’aide de Apache Spark.A new Trials class SparkTrials is implemented to distribute Hyperopt trial runs among multiple machines and nodes using Apache Spark. En outre, toutes les expériences de paramétrage, ainsi que les hyperparamètres et les métriques ciblés, sont automatiquement enregistrées dans MLflow.In addition, all tuning experiments, along with the tuned hyperparameters and targeted metrics, are automatically logged to MLflow runs. Voir Hyperopt distribué et suivi MLflow automatisé.See Distributed Hyperopt and automated MLflow tracking.

Important

Cette fonctionnalité est disponible en préversion publique.This feature is in Public Preview.

Apache Spark MLlib + suivi MLflow automatiséApache Spark MLlib + automated MLflow tracking

Databricks Runtime 5,4 ML prend en charge la journalisation automatique des exécutions MLflow pour les modèles, à l’aide d’algorithmes de paramétrage PySpark CrossValidator et de TrainValidationSplit .Databricks Runtime 5.4 ML supports automatic logging of MLflow runs for models fit using PySpark tuning algorithms CrossValidator and TrainValidationSplit. Consultez Apache Spark MLlib et suivi MLflow automatisé.See Apache Spark MLlib and automated MLflow tracking. Cette fonctionnalité est activée par défaut dans Databricks Runtime 5,4 ML, mais elle est désactivée par défaut dans Databricks Runtime 5,3 ML.This feature is on by default in Databricks Runtime 5.4 ML but was off by default in Databricks Runtime 5.3 ML.

Important

Cette fonctionnalité est disponible en préversion publique.This feature is in Public Preview.

Amélioration de la HorovodRunnerHorovodRunner improvement

La sortie envoyée depuis Horovod vers le nœud de pilote Spark est désormais visible dans les cellules du bloc-notes.Output sent from Horovod to the Spark driver node is now visible in notebook cells.

Mise à jour du package XGBoost pythonXGBoost Python package update

Le package Python XGBoost 0,80 est installé.XGBoost Python package 0.80 is installed.

Environnement du systèmeSystem environment

L’environnement système de Databricks Runtime 5,4 ML diffère de Databricks Runtime 5,4, comme suit :The system environment in Databricks Runtime 5.4 ML differs from Databricks Runtime 5.4 as follows:

  • Python: 2.7.15 pour les clusters Python 2 et 3.6.5 pour les clusters python 3.Python: 2.7.15 for Python 2 clusters and 3.6.5 for Python 3 clusters.
  • DBUtils: DATABRICKS Runtime 5,4 ml ne contient pas d' utilitaires de bibliothèque.DBUtils: Databricks Runtime 5.4 ML does not contain Library utilities.
  • Pour les clusters GPU, les bibliothèques GPU NVIDIA suivantes :For GPU clusters, the following NVIDIA GPU libraries:
    • Pilote Tesla 396,44Tesla driver 396.44
    • CUDA 9,2CUDA 9.2
    • CUDNN 7.2.1CUDNN 7.2.1

Bibliothèques Libraries

Les sections suivantes répertorient les bibliothèques incluses dans Databricks Runtime 5,4 ML qui diffèrent de celles incluses dans Databricks Runtime 5,4.The following sections list the libraries included in Databricks Runtime 5.4 ML that differ from those included in Databricks Runtime 5.4.

Bibliothèques de niveau supérieurTop-tier libraries

Databricks Runtime 5,4 ML comprend les bibliothèquesde niveau supérieur suivantes :Databricks Runtime 5.4 ML includes the following top-tier libraries:

Bibliothèques PythonPython libraries

Databricks Runtime 5,4 ML utilise Conda pour la gestion des packages Python.Databricks Runtime 5.4 ML uses Conda for Python package management. Par conséquent, il existe des différences majeures dans les bibliothèques python installées par rapport à Databricks Runtime.As a result, there are major differences in installed Python libraries compared to Databricks Runtime. Voici la liste complète des packages et versions python fournis à l’aide du gestionnaire de package Conda.The following is a full list of provided Python packages and versions installed using Conda package manager.

BibliothèqueLibrary VersionVersion BibliothèqueLibrary VersionVersion BibliothèqueLibrary VersionVersion
absl-pyabsl-py 0.7.10.7.1 argparseargparse 1.4.01.4.0 asn1cryptoasn1crypto 0.24.00.24.0
astorastor 0.7.10.7.1 portaux-ABCbackports-abc 0.50.5 ports. functools-LRU-cachebackports.functools-lru-cache 1.51.5
ports. weakrefbackports.weakref 1.0. post11.0.post1 bcryptbcrypt 3.1.63.1.6 Gradinbleach 2.1.32.1.3
botoboto 2.48.02.48.0 boto3boto3 1.7.621.7.62 botocorebotocore 1.10.621.10.62
attestationcertifi 2018.04.162018.04.16 cfficffi 1.11.51.11.5 chardetchardet 3.0.43.0.4
cloudpicklecloudpickle 0.5.30.5.3 Coloramacolorama 0.3.90.3.9 configparserconfigparser 3.5.03.5.0
chiffrementcryptography 2.2.22.2.2 cyclecycler 0.10.00.10.0 CythonCython 0.28.20.28.2
décordecorator 4.3.04.3.0 docutilsdocutils 0.140.14 entryPointsentrypoints 0.2.30.2.3
enum34enum34 1.1.61.1.6 et-xmlfileet-xmlfile 1.0.11.0.1 funcsigsfuncsigs 1.0.21.0.2
functools32functools32 3.2.3-23.2.3-2 fusepyfusepy 2.0.42.0.4 postérieurfuture 0.17.10.17.1
tâches futuresfutures 3.2.03.2.0 gastgast 0.2.20.2.2 grpciogrpcio 1.12.11.12.1
h5pyh5py 2.8.02.8.0 horovodhorovod 0.16.00.16.0 html5libhtml5lib 1.0.11.0.1
hyperopthyperopt 0.1.2. est renommé db40.1.2.db4 norme IDNAidna 2.62.6 IPAddressipaddress 1.0.221.0.22
IPythonipython 5.7.05.7.0 ipython_genutilsipython_genutils 0.2.00.2.0 jdcaljdcal 1.41.4
Jinja2Jinja2 2.102.10 jmespathjmespath 0.9.40.9.4 jsonschemajsonschema 2.6.02.6.0
jupyter-clientjupyter-client 5.2.35.2.3 jupyter-Corejupyter-core 4.4.04.4.0 KerasKeras 2.2.42.2.4
Keras-applicationsKeras-Applications 1.0.71.0.7 Keras-prétraitementKeras-Preprocessing 1.0.91.0.9 kiwisolverkiwisolver 1.1.01.1.0
linecache2linecache2 1.0.01.0.0 llvmlitellvmlite 0.23.10.23.1 lxmllxml 4.2.14.2.1
MarkdownMarkdown 3.1.13.1.1 MarkupSafeMarkupSafe 1.01.0 matplotlibmatplotlib 2.2.22.2.2
réglage à la règlemistune 0.8.30.8.3 MKL-FFTmkl-fft 1.0.01.0.0 MKL-Randommkl-random 1.0.11.0.1
mleapmleap 0.8.10.8.1 Pseudomock 2.0.02.0.0 msgpackmsgpack 0.5.60.5.6
nbconvertnbconvert 5.3.15.3.1 nbformatnbformat 4.4.04.4.0 networkxnetworkx 2.22.2
piquenose 1.3.71.3.7 nez-exclurenose-exclude 0.5.00.5.0 numbanumba 0.38.0 +0. g2a2b772fc. Dirty0.38.0+0.g2a2b772fc.dirty
numpynumpy 1.14.31.14.3 olefileolefile 0.45.10.45.1 openpyxlopenpyxl 2.5.32.5.3
pandaspandas 0.23.00.23.0 pandocfilterspandocfilters 1.4.21.4.2 paramikoparamiko 2.4.12.4.1
pathlib2pathlib2 2.3.22.3.2 patsypatsy 0.5.00.5.0 Loadingpbr 5.1.35.1.3
pexpectpexpect 4.5.04.5.0 picklesharepickleshare 0.7.40.7.4 OreillePillow 5.1.05.1.0
pippip 10.0.110.0.1 pneusply 3.113.11 boîte à outilsprompt-toolkit 1.0.151.0.15
protobufprotobuf 3.7.13.7.1 psutilpsutil 5.6.25.6.2 psycopg2psycopg2 2.7.52.7.5
ptyprocessptyprocess 0.5.20.5.2 pyarrowpyarrow 0.12.10.12.1 pyasn1pyasn1 0.4.50.4.5
pycparserpycparser 2.182.18 PygmentsPygments 2.2.02.2.0 pymongopymongo 3.8.03.8.0
PyNaClPyNaCl 1.3.01.3.0 pyOpenSSLpyOpenSSL 18.0.018.0.0 pyparsingpyparsing 2.2.02.2.0
PySocksPySocks 1.6.81.6.8 PythonPython 2.7.152.7.15 python-dateutilpython-dateutil 2.7.32.7.3
pytzpytz 2018,42018.4 PyYAMLPyYAML 5,15.1 pyzmqpyzmq 17.0.017.0.0
requêtesrequests 2.18.42.18.4 s3transfers3transfer 0.1.130.1.13 scandirscandir 1.71.7
scikit-learnscikit-learn 0.19.10.19.1 scipyscipy 1.1.01.1.0 naissanceseaborn 0.8.10.8.1
setuptoolssetuptools 39.1.039.1.0 simplegenericsimplegeneric 0.8.10.8.1 singledispatchsingledispatch 3.4.0.33.4.0.3
sixsix 1.11.01.11.0 statsmodelsstatsmodels 0.9.00.9.0 subprocess32subprocess32 3.5.43.5.4
tensorboardtensorboard 1.12.21.12.2 tensorboardXtensorboardX 1.61.6 tensorflowtensorflow 1.12.01.12.0
termcolortermcolor 1.1.01.1.0 TestPathtestpath 0.3.10.3.1 pistolettorch 0.4.10.4.1
torchvisiontorchvision 0.2.10.2.1 tornadetornado 5.0.25.0.2 tqdmtqdm 4.32.14.32.1
traceback2traceback2 1.4.01.4.0 traitletstraitlets 4.3.24.3.2 unittest2unittest2 1.1.01.1.0
urllib3urllib3 1,221.22 virtualenvvirtualenv 16.0.016.0.0 wcwidthwcwidth 0.1.70.1.7
encodageswebencodings 0.5.10.5.1 WerkzeugWerkzeug 0.14.10.14.1 wheelwheel 0.31.10.31.1
retour automatique à la lignewrapt 1.10.111.10.11 wsgirefwsgiref 0.1.20.1.2

En outre, les packages Spark suivants incluent des modules python :In addition, the following Spark packages include Python modules:

Package SparkSpark Package Module pythonPython Module VersionVersion
graphframesgraphframes graphframesgraphframes 0.7.0-DB1-Spark 2.40.7.0-db1-spark2.4
Spark-apprentissage profondspark-deep-learning sparkdlsparkdl 1.5.0-n-Spark-Spark 2.41.5.0-db3-spark2.4
tensorframestensorframes tensorframestensorframes 0.6.0-s_2.110.6.0-s_2.11

Bibliothèques RR libraries

Les bibliothèques R sont identiques aux bibliothèques r dans Databricks Runtime 5,4.The R libraries are identical to the R Libraries in Databricks Runtime 5.4.

Bibliothèques Java et scalaire (cluster Scala 2,11)Java and Scala libraries (Scala 2.11 cluster)

En plus des bibliothèques Java et Scala dans Databricks Runtime 5,4, Databricks Runtime 5,4 ML contient les fichiers JAR suivants :In addition to Java and Scala libraries in Databricks Runtime 5.4, Databricks Runtime 5.4 ML contains the following JARs:

ID de groupeGroup ID ID d’artefactArtifact ID VersionVersion
com. databrickscom.databricks Spark-apprentissage profondspark-deep-learning 1.5.0-n-Spark-Spark 2.41.5.0-db3-spark2.4
com. sécurisé. Akka Streamscom.typesafe.akka Akka Streams-actor_2.11akka-actor_2.11 2.3.112.3.11
ml. chambre d’mleapml.combust.mleap mleap-databricks-runtime_2.11mleap-databricks-runtime_2.11 0.13.00.13.0
ml. DMLCml.dmlc xgboost4jxgboost4j 0.810.81
ml. DMLCml.dmlc xgboost4j-Sparkxgboost4j-spark 0.810.81
org. graphframesorg.graphframes graphframes_2.11graphframes_2.11 0.7.0-DB1-Spark 2.40.7.0-db1-spark2.4
org. tensorfloworg.tensorflow libtensorflowlibtensorflow 1.12.01.12.0
org. tensorfloworg.tensorflow libtensorflow_jnilibtensorflow_jni 1.12.01.12.0
org. tensorfloworg.tensorflow Spark-tensorflow-connector_2.11spark-tensorflow-connector_2.11 1.12.01.12.0
org. tensorfloworg.tensorflow tensorflowtensorflow 1.12.01.12.0
org. tensorframesorg.tensorframes tensorframestensorframes 0.6.0-s_2.110.6.0-s_2.11