Databricks Runtime 5,1 ML (bêta)Databricks Runtime 5.1 ML (Beta)

Databricks a publié cette image en décembre 2018.Databricks released this image in December 2018.

Databricks Runtime 5,1 ML fournit un environnement prêt à l’emploi pour Machine Learning et la science des données basée sur Databricks Runtime 5,1 (non pris en charge).Databricks Runtime 5.1 ML provides a ready-to-go environment for machine learning and data science based on Databricks Runtime 5.1 (Unsupported). Les runtimes Databricks pour ML contiennent de nombreuses bibliothèques de Machine Learning courantes, notamment TensorFlow, PyTorch, keras et XGBoost.Databricks Runtimes for ML contain many popular machine learning libraries, including TensorFlow, PyTorch, Keras, and XGBoost. Il prend également en charge la formation TensorFlow distribuée à l’aide de Horovod.It also supports distributed TensorFlow training using Horovod.

Pour plus d’informations, y compris pour obtenir des instructions sur la création d’un cluster Databricks Runtime ML, consultez Databricks Runtime pour machine learning.For more information, including instructions for creating a Databricks Runtime ML cluster, see Databricks Runtime for Machine Learning.

Nouvelles fonctionnalitésNew features

Databricks Runtime 5,1 ML est basé sur Databricks Runtime 5,1.Databricks Runtime 5.1 ML is built on top of Databricks Runtime 5.1. Pour plus d’informations sur les nouveautés de Databricks Runtime 5,1, consultez les notes de publication Databricks Runtime 5,1 (non prises en charge) .For information on what’s new in Databricks Runtime 5.1, see the Databricks Runtime 5.1 (Unsupported) release notes. Outre les mises à jour des bibliothèques existantes dans les bibliothèques, DATABRICKS Runtime 5,1 ml comprend les nouvelles fonctionnalités suivantes :In addition to the updates to existing libraries in Libraries, Databricks Runtime 5.1 ML includes the following new features:

  • PyTorch pour la création de réseaux d’apprentissage profond.PyTorch for building deep learning networks.

Notes

Les versions de Databricks Runtime ML récupèrent toutes les mises à jour de maintenance de la version de Databricks Runtime de base.Databricks Runtime ML releases pick up all maintenance updates to the base Databricks Runtime release. Pour obtenir la liste de toutes les mises à jour de maintenance, consultez mises à jour de maintenance du runtime Databricks.For a list of all maintenance updates, see Databricks runtime maintenance updates.

Environnement du systèmeSystem environment

La différence dans l’environnement système de Databricks Runtime 5,1 et celle de Databricks Runtime 5,1 ML est la suivante :The difference in system environment in Databricks Runtime 5.1 and that in Databricks Runtime 5.1 ML is:

  • Python: 2.7.15 pour les clusters Python 2 et 3.6.5 pour les clusters python 3.Python: 2.7.15 for Python 2 clusters and 3.6.5 for Python 3 clusters.
  • DBUtils: DATABRICKS Runtime 5,1 ml ne contient pas d' utilitaires de bibliothèque.DBUtils: Databricks Runtime 5.1 ML does not contain Library utilities.
  • Pour les clusters GPU, les bibliothèques GPU NVIDIA suivantes :For GPU clusters, the following NVIDIA GPU libraries:
    • Pilote Tesla 396,44Tesla driver 396.44
    • CUDA 9,2CUDA 9.2
    • CUDNN 7.2.1CUDNN 7.2.1

Bibliothèques Libraries

Les différences entre les bibliothèques incluses dans Databricks Runtime 5,1 et celles incluses dans Databricks Runtime 5,1 ML sont répertoriées dans cette section.The differences in the libraries included in Databricks Runtime 5.1 and those included in Databricks Runtime 5.1 ML are listed in this section.

Bibliothèques PythonPython libraries

Databricks Runtime 5,1 ML utilise Conda pour la gestion des packages Python.Databricks Runtime 5.1 ML uses Conda for Python package management. Par conséquent, il existe des modifications majeures dans les bibliothèques python préinstallées par rapport à Databricks Runtime.As a result, there are major changes in pre-installed Python libraries compared to Databricks Runtime. Voici la liste complète des packages et versions python fournis à l’aide du gestionnaire de package Conda.Following is the full list of provided Python packages and versions installed using Conda package manager.

BibliothèqueLibrary VersionVersion BibliothèqueLibrary VersionVersion BibliothèqueLibrary VersionVersion
absl-pyabsl-py 0.6.10.6.1 argparseargparse 1.4.01.4.0 asn1cryptoasn1crypto 0.24.00.24.0
astorastor 0.7.10.7.1 portaux-ABCbackports-abc 0.50.5 ports. functools-LRU-cachebackports.functools-lru-cache 1.51.5
ports. weakrefbackports.weakref 1.0. post11.0.post1 bcryptbcrypt 3.1.43.1.4 Gradinbleach 2.1.32.1.3
botoboto 2.48.02.48.0 boto3boto3 1.7.621.7.62 botocorebotocore 1.10.621.10.62
attestationcertifi 2018.04.162018.04.16 cfficffi 1.11.51.11.5 chardetchardet 3.0.43.0.4
cloudpicklecloudpickle 0.5.30.5.3 Coloramacolorama 0.3.90.3.9 configparserconfigparser 3.5.03.5.0
chiffrementcryptography 2.2.22.2.2 cyclecycler 0.10.00.10.0 CythonCython 0.28.20.28.2
décordecorator 4.3.04.3.0 docutilsdocutils 0.140.14 entryPointsentrypoints 0.2.30.2.3
enum34enum34 1.1.61.1.6 et-xmlfileet-xmlfile 1.0.11.0.1 funcsigsfuncsigs 1.0.21.0.2
functools32functools32 3.2.3-23.2.3-2 fusepyfusepy 2.0.42.0.4 tâches futuresfutures 3.2.03.2.0
gastgast 0.2.00.2.0 grpciogrpcio 1.12.11.12.1 h5pyh5py 2.8.02.8.0
horovodhorovod 0.15.00.15.0 html5libhtml5lib 1.0.11.0.1 norme IDNAidna 2.62.6
IPAddressipaddress 1.0.221.0.22 IPythonipython 5.7.05.7.0 ipython_genutilsipython_genutils 0.2.00.2.0
jdcaljdcal 1.41.4 Jinja2Jinja2 2.102.10 jmespathjmespath 0.9.30.9.3
jsonschemajsonschema 2.6.02.6.0 jupyter-clientjupyter-client 5.2.35.2.3 jupyter-Corejupyter-core 4.4.04.4.0
KerasKeras 2.2.42.2.4 Keras-applicationsKeras-Applications 1.0.61.0.6 Keras-prétraitementKeras-Preprocessing 1.0.51.0.5
kiwisolverkiwisolver 1.0.11.0.1 linecache2linecache2 1.0.01.0.0 llvmlitellvmlite 0.23.10.23.1
lxmllxml 4.2.14.2.1 MarkdownMarkdown 3.0.13.0.1 MarkupSafeMarkupSafe 1.01.0
matplotlibmatplotlib 2.2.22.2.2 réglage à la règlemistune 0.8.30.8.3 mleapmleap 0.8.10.8.1
Pseudomock 2.0.02.0.0 msgpackmsgpack 0.5.60.5.6 nbconvertnbconvert 5.3.15.3.1
nbformatnbformat 4.4.04.4.0 piquenose 1.3.71.3.7 nez-exclurenose-exclude 0.5.00.5.0
numbanumba 0.38.0 +0. g2a2b772fc. Dirty0.38.0+0.g2a2b772fc.dirty numpynumpy 1.14.31.14.3 olefileolefile 0.45.10.45.1
openpyxlopenpyxl 2.5.32.5.3 pandaspandas 0.23.00.23.0 pandocfilterspandocfilters 1.4.21.4.2
paramikoparamiko 2.4.12.4.1 pathlib2pathlib2 2.3.22.3.2 patsypatsy 0.5.00.5.0
Loadingpbr 5.1.15.1.1 pexpectpexpect 4.5.04.5.0 picklesharepickleshare 0.7.40.7.4
OreillePillow 5.1.05.1.0 pippip 10.0.110.0.1 pneusply 3.113.11
boîte à outilsprompt-toolkit 1.0.151.0.15 protobufprotobuf 3.6.13.6.1 psycopg2psycopg2 2.7.52.7.5
ptyprocessptyprocess 0.5.20.5.2 pyarrowpyarrow 0.8.00.8.0 pyasn1pyasn1 0.4.40.4.4
pycparserpycparser 2.182.18 PygmentsPygments 2.2.02.2.0 PyNaClPyNaCl 1.3.01.3.0
pyOpenSSLpyOpenSSL 18.0.018.0.0 pyparsingpyparsing 2.2.02.2.0 PySocksPySocks 1.6.81.6.8
PythonPython 2.7.152.7.15 python-dateutilpython-dateutil 2.7.32.7.3 pytzpytz 2018,42018.4
PyYAMLPyYAML 3,123.12 pyzmqpyzmq 17.0.017.0.0 requêtesrequests 2.18.42.18.4
s3transfers3transfer 0.1.130.1.13 scandirscandir 1.71.7 scikit-learnscikit-learn 0.19.10.19.1
scipyscipy 1.1.01.1.0 naissanceseaborn 0.8.10.8.1 setuptoolssetuptools 39.1.039.1.0
simplegenericsimplegeneric 0.8.10.8.1 singledispatchsingledispatch 3.4.0.33.4.0.3 sixsix 1.11.01.11.0
statsmodelsstatsmodels 0.9.00.9.0 subprocess32subprocess32 3.5.33.5.3 tensorboardtensorboard 1.12.01.12.0
tensorboardXtensorboardX 1.41.4 tensorflowtensorflow 1.12.01.12.0 termcolortermcolor 1.1.01.1.0
TestPathtestpath 0.3.10.3.1 pistolettorch 0.4.10.4.1 torchvisiontorchvision 0.2.10.2.1
tornadetornado 5.0.25.0.2 traceback2traceback2 1.4.01.4.0 traitletstraitlets 4.3.24.3.2
unittest2unittest2 1.1.01.1.0 urllib3urllib3 1,221.22 virtualenvvirtualenv 16.0.016.0.0
wcwidthwcwidth 0.1.70.1.7 encodageswebencodings 0.5.10.5.1 WerkzeugWerkzeug 0.14.10.14.1
wheelwheel 0.31.10.31.1 retour automatique à la lignewrapt 1.10.111.10.11 wsgirefwsgiref 0.1.20.1.2

En outre, les packages Spark suivants incluent des modules python :In addition, the following Spark packages include Python modules:

Package SparkSpark Package Module pythonPython Module VersionVersion
tensorframestensorframes tensorframestensorframes 0.6.0-s_2.110.6.0-s_2.11
graphframesgraphframes graphframesgraphframes 0.6.0--Spark-Spark 2.40.6.0-db3-spark2.4
Spark-apprentissage profondspark-deep-learning sparkdlsparkdl 1.4.0-DB2-Spark 2.41.4.0-db2-spark2.4

Bibliothèques RR libraries

Les bibliothèques R sont identiques aux bibliothèques r sur Databricks Runtime 5,1.The R libraries are identical to R Libraries on Databricks Runtime 5.1.

Bibliothèques Java et scalaire (cluster Scala 2,11)Java and Scala libraries (Scala 2.11 cluster)

En plus des bibliothèques Java et Scala dans Databricks Runtime 5,1, Databricks Runtime 5,1 ML contient les fichiers JAR suivants :In addition to Java and Scala libraries in Databricks Runtime 5.1, Databricks Runtime 5.1 ML contains the following JARs:

ID de groupeGroup ID ID d’artefactArtifact ID VersionVersion
com. databrickscom.databricks Spark-apprentissage profondspark-deep-learning 1.4.0-DB2-Spark 2.41.4.0-db2-spark2.4
org. tensorframesorg.tensorframes tensorframestensorframes 0.6.0-s_2.110.6.0-s_2.11
org. graphframesorg.graphframes graphframes_2.11graphframes_2.11 0.6.0--Spark-Spark 2.40.6.0-db3-spark2.4
org. tensorfloworg.tensorflow libtensorflowlibtensorflow 1.12.01.12.0
org. tensorfloworg.tensorflow libtensorflow_jnilibtensorflow_jni 1.12.01.12.0
org. tensorfloworg.tensorflow Spark-tensorflow-connector_2.11spark-tensorflow-connector_2.11 1.12.01.12.0
org. tensorfloworg.tensorflow tensorflowtensorflow 1.12.01.12.0
ml. DMLCml.dmlc xgboost4jxgboost4j 0.810.81
ml. DMLCml.dmlc xgboost4j-Sparkxgboost4j-spark 0.810.81
ml. chambre d’mleapml.combust.mleap mleap-databricks-runtime_2.11mleap-databricks-runtime_2.11 0.13.00.13.0