Databricks Runtime 5,4 ml (nicht unterstützt)Databricks Runtime 5.4 ML (Unsupported)

Databricks hat dieses Image im Juni 2019 veröffentlicht.Databricks released this image in June 2019.

Databricks Runtime 5,4 ml bietet eine sofort einsatzbereite Umgebung für Machine Learning und Data Science basierend auf Databricks Runtime 5,4 (nicht unterstützt).Databricks Runtime 5.4 ML provides a ready-to-go environment for machine learning and data science based on Databricks Runtime 5.4 (Unsupported). Databricks Runtime für ml enthält viele beliebte Machine Learning-Bibliotheken, einschließlich tensorflow, pytorch, keras und xgboost.Databricks Runtime for ML contains many popular machine learning libraries, including TensorFlow, PyTorch, Keras, and XGBoost. Außerdem wird das verteilte Deep Learning-Training mit Horovod unterstützt.It also supports distributed deep learning training using Horovod.

Weitere Informationen, einschließlich Anweisungen zum Erstellen eines Databricks Runtime ml-Clusters, finden Sie unter Databricks Runtime für Machine Learning.For more information, including instructions for creating a Databricks Runtime ML cluster, see Databricks Runtime for Machine Learning.

Neue FunktionenNew features

Databricks Runtime 5,4 ml baut auf Databricks Runtime 5,4 auf.Databricks Runtime 5.4 ML is built on top of Databricks Runtime 5.4. Informationen zu den Neuerungen in Databricks Runtime 5,4 finden Sie in den Anmerkungen zu dieser Version von Databricks Runtime 5,4 (nicht unterstützt) .For information on what’s new in Databricks Runtime 5.4, see the Databricks Runtime 5.4 (Unsupported) release notes.

Zusätzlich zu Bibliotheksaktualisierungenführt Databricks Runtime 5,4 ml die folgenden neuen Funktionen ein:In addition to library updates, Databricks Runtime 5.4 ML introduces the following new features:

Verteiltes hyperopt und automatisiertes mlflow -NachverfolgungDistributed Hyperopt + automated MLflow tracking

Databricks Runtime 5,4 ml führt eine neue Implementierung der hyperopt -Implementierung durch Apache Spark ein, um die Optimierung von hyperparametern zu skalieren und zu vereinfachen.Databricks Runtime 5.4 ML introduces a new implementation of Hyperopt powered by Apache Spark to scale and simplify hyperparameter tuning. Eine neue Trials Klasse SparkTrials wird implementiert, um hyperopt-Testläufe auf mehreren Computern und Knoten mithilfe Apache Spark zu verteilen.A new Trials class SparkTrials is implemented to distribute Hyperopt trial runs among multiple machines and nodes using Apache Spark. Außerdem werden alle Optimierungs Experimente zusammen mit den optimierten hyperparametern und zielmetriken automatisch in mlflow-Ausführungen protokolliert.In addition, all tuning experiments, along with the tuned hyperparameters and targeted metrics, are automatically logged to MLflow runs. Siehe verteilte hyperopt und automatisierte mlflow-Nachverfolgung.See Distributed Hyperopt and automated MLflow tracking.

Wichtig

Dieses Feature befindet sich in der Public Preview.This feature is in Public Preview.

Apache Spark mllib + automatisierte mlflow -NachverfolgungApache Spark MLlib + automated MLflow tracking

Databricks Runtime 5,4 ml unterstützt die automatische Protokollierung von mlflow -Ausführungen für Modelle mit den pyspark-Optimierungsalgorithmen CrossValidator und TrainValidationSplit .Databricks Runtime 5.4 ML supports automatic logging of MLflow runs for models fit using PySpark tuning algorithms CrossValidator and TrainValidationSplit. Siehe Apache Spark mllib und automatisierte mlflow-Nachverfolgung.See Apache Spark MLlib and automated MLflow tracking. Diese Funktion ist standardmäßig in Databricks Runtime 5,4 ml aktiviert, war jedoch in Databricks Runtime 5,3 ml standardmäßig deaktiviert.This feature is on by default in Databricks Runtime 5.4 ML but was off by default in Databricks Runtime 5.3 ML.

Wichtig

Dieses Feature befindet sich in der Public Preview.This feature is in Public Preview.

Horovodrunner -VerbesserungHorovodRunner improvement

Die aus Horovod an den Spark-Treiber Knoten gesendete Ausgabe ist nun in Notebook-Zellen sichtbar.Output sent from Horovod to the Spark driver node is now visible in notebook cells.

Xgboost-Python-Paket UpdateXGBoost Python package update

Das xgboost Python-Paket 0,80 ist installiert.XGBoost Python package 0.80 is installed.

SystemumgebungSystem environment

Die Systemumgebung in Databricks Runtime 5,4 ml unterscheidet sich wie folgt von Databricks Runtime 5,4:The system environment in Databricks Runtime 5.4 ML differs from Databricks Runtime 5.4 as follows:

  • Python: 2.7.15 für python 2-Cluster und 3.6.5 für python 3-Cluster.Python: 2.7.15 for Python 2 clusters and 3.6.5 for Python 3 clusters.
  • Dbutils: Databricks Runtime 5,4 ml enthält keine Bibliotheks Dienstprogramme.DBUtils: Databricks Runtime 5.4 ML does not contain Library utilities.
  • Für GPU-Cluster die folgenden NVIDIA-GPU-Bibliotheken:For GPU clusters, the following NVIDIA GPU libraries:
    • Tesla-Treiber 396,44Tesla driver 396.44
    • CUDA 9,2CUDA 9.2
    • Cudnn 7.2.1CUDNN 7.2.1

Bibliotheken Libraries

In den folgenden Abschnitten sind die Bibliotheken aufgeführt, die in Databricks Runtime 5,4 ml enthalten sind und sich von den in Databricks Runtime 5,4 enthaltenen Bibliotheken unterscheiden.The following sections list the libraries included in Databricks Runtime 5.4 ML that differ from those included in Databricks Runtime 5.4.

Bibliotheken der obersten EbeneTop-tier libraries

Databricks Runtime 5,4 ml umfasst die folgenden Bibliothekender obersten Ebene:Databricks Runtime 5.4 ML includes the following top-tier libraries:

Python-BibliothekenPython libraries

Databricks Runtime 5,4 ml verwendet für die python-Paketverwaltung die-Verwaltung.Databricks Runtime 5.4 ML uses Conda for Python package management. Demzufolge gibt es im Vergleich zu Databricks Runtime wesentliche Unterschiede in den installierten Python-Bibliotheken.As a result, there are major differences in installed Python libraries compared to Databricks Runtime. Im folgenden finden Sie eine vollständige Liste der bereitgestellten Python-Pakete und-Versionen, die mit dem Paket-Manager von Configuration ManagerThe following is a full list of provided Python packages and versions installed using Conda package manager.

BibliothekLibrary VersionVersion BibliothekLibrary VersionVersion BibliothekLibrary VersionVersion
absl-pyabsl-py 0.7.10.7.1 argparseargparse 1.4.01.4.0 asn1cryptoasn1crypto 0.24.00.24.0
storsastor 0.7.10.7.1 backports-ABCbackports-abc 0.50.5 backports. functools-LRU-Cachebackports.functools-lru-cache 1.51.5
backports. weakrefbackports.weakref 1.0. post11.0.post1 bcryptbcrypt 3.1.63.1.6 Bleachbleach 2.1.32.1.3
botoboto 2.48.02.48.0 boto3boto3 1.7.621.7.62 botocorebotocore 1.10.621.10.62
Zertificertifi 2018.04.162018.04.16 cfficffi 1.11.51.11.5 chardetchardet 3.0.43.0.4
cloudpicklecloudpickle 0.5.30.5.3 Coloramacolorama 0.3.90.3.9 configparserconfigparser 3.5.03.5.0
Kryptografiecryptography 2.2.22.2.2 Cyclercycler 0.10.00.10.0 CythonCython 0.28.20.28.2
Decoratordecorator 4.3.04.3.0 docutilsdocutils 0.140.14 entryPointsentrypoints 0.2.30.2.3
enum34enum34 1.1.61.1.6 "et-xmlfile"et-xmlfile 1.0.11.0.1 funksigsfuncsigs 1.0.21.0.2
functools32functools32 3.2.3-23.2.3-2 fusepyfusepy 2.0.42.0.4 künftigenfuture 0.17.10.17.1
Futuresfutures 3.2.03.2.0 Fahrgastgast 0.2.20.2.2 grpciogrpcio 1.12.11.12.1
h5pyh5py 2.8.02.8.0 Horovodhorovod 0.16.00.16.0 html5libhtml5lib 1.0.11.0.1
hyperopthyperopt 0.1.2. db40.1.2.db4 IDNAidna 2.62.6 IPAddressipaddress 1.0.221.0.22
ipythonipython 5.7.05.7.0 ipython_genutilsipython_genutils 0.2.00.2.0 jdcaljdcal 1.41.4
Jinja2Jinja2 2.102.10 jmespathjmespath 0.9.40.9.4 jsonschemajsonschema 2.6.02.6.0
jupyter-Clientjupyter-client 5.2.35.2.3 jupyter-Corejupyter-core 4.4.04.4.0 KerasKeras 2.2.42.2.4
Keras-AnwendungenKeras-Applications 1.0.71.0.7 Keras-VorverarbeitungKeras-Preprocessing 1.0.91.0.9 kiwisolverkiwisolver 1.1.01.1.0
linecache2linecache2 1.0.01.0.0 llvmlitellvmlite 0.23.10.23.1 lxmllxml 4.2.14.2.1
MarkdownMarkdown 3.1.13.1.1 MarkupsafeMarkupSafe 1.01.0 matplotlibmatplotlib 2.2.22.2.2
mistunemistune 0.8.30.8.3 MKL-FFTmkl-fft 1.0.01.0.0 MKL-Randommkl-random 1.0.11.0.1
msprungmleap 0.8.10.8.1 PPEmock 2.0.02.0.0 msgpackmsgpack 0.5.60.5.6
nbconvertnbconvert 5.3.15.3.1 NB-Formatnbformat 4.4.04.4.0 Network xnetworkx 2.22.2
Radnose 1.3.71.3.7 Nasen Ausschlussnose-exclude 0.5.00.5.0 Numbanumba 0.38.0 +0. g2a2b772fc. Dirty0.38.0+0.g2a2b772fc.dirty
numpynumpy 1.14.31.14.3 olefileolefile 0.45.10.45.1 openpyxlopenpyxl 2.5.32.5.3
pandaspandas 0.23.00.23.0 pandocfilterspandocfilters 1.4.21.4.2 paramemikoparamiko 2.4.12.4.1
pathlib2pathlib2 2.3.22.3.2 Patsypatsy 0.5.00.5.0 PBRpbr 5.1.35.1.3
pexpectpexpect 4.5.04.5.0 picklesharepickleshare 0.7.40.7.4 PilzPillow 5.1.05.1.0
pippip 10.0.110.0.1 treibenply 3,113.11 Prompt-Toolkitprompt-toolkit 1.0.151.0.15
protobufprotobuf 3.7.13.7.1 psutilpsutil 5.6.25.6.2 psycopg2psycopg2 2.7.52.7.5
ptyprocessptyprocess 0.5.20.5.2 pyarrowpyarrow 0.12.10.12.1 pyasn1pyasn1 0.4.50.4.5
pycparserpycparser 2,182.18 PygmentsPygments 2.2.02.2.0 pymongopymongo 3.8.03.8.0
PynaclPyNaCl 1.3.01.3.0 "pyopenssl"pyOpenSSL 18.0.018.0.0 pyalisisingpyparsing 2.2.02.2.0
PysocksPySocks 1.6.81.6.8 PythonPython 2.7.152.7.15 Python-dateutilpython-dateutil 2.7.32.7.3
pytzpytz 2018,42018.4 PyYAMLPyYAML 5,15.1 pyzmqpyzmq 17.0.017.0.0
requestsrequests 2.18.42.18.4 s3transfers3transfer 0.1.130.1.13 scandirscandir 1.71.7
scikit-learnscikit-learn 0.19.10.19.1 scipyscipy 1.1.01.1.0 nicht zutreffendseaborn 0.8.10.8.1
Setup Toolssetuptools 39.1.039.1.0 simplegenericsimplegeneric 0.8.10.8.1 singledispatchsingledispatch 3.4.0.33.4.0.3
sechssix 1.11.01.11.0 statsmodelsstatsmodels 0.9.00.9.0 subprocess32subprocess32 3.5.43.5.4
tensorboardtensorboard 1.12.21.12.2 tensorboardxtensorboardX 1.61.6 tensorflowtensorflow 1.12.01.12.0
termcolortermcolor 1.1.01.1.0 TestPathtestpath 0.3.10.3.1 terstorch 0.4.10.4.1
Tor-Visiontorchvision 0.2.10.2.1 Hüterintornado 5.0.25.0.2 tqdmtqdm 4.32.14.32.1
traceback2traceback2 1.4.01.4.0 traitletstraitlets 4.3.24.3.2 unittest2unittest2 1.1.01.1.0
urllib3urllib3 1,221.22 virtualenvvirtualenv 16.0.016.0.0 wcwidthwcwidth 0.1.70.1.7
webencodingswebencodings 0.5.10.5.1 WerkzeugWerkzeug 0.14.10.14.1 wheelwheel 0.31.10.31.1
wraptwrapt 1.10.111.10.11 wsgirefwsgiref 0.1.20.1.2

Außerdem umfassen die folgenden Spark-Pakete python-Module:In addition, the following Spark packages include Python modules:

Spark-PaketSpark Package Python-ModulPython Module VersionVersion
graphframesgraphframes graphframesgraphframes 0.7.0-DB1-Spark 2.40.7.0-db1-spark2.4
Spark-Deep-Learningspark-deep-learning sparkdlsparkdl 1.5.0-db3-Spark 2.41.5.0-db3-spark2.4
tensorframestensorframes tensorframestensorframes 0.6.0-s_2.110.6.0-s_2.11

R-BibliothekenR libraries

Die r-Bibliotheken sind identisch mit den r-Bibliotheken in Databricks Runtime 5,4.The R libraries are identical to the R Libraries in Databricks Runtime 5.4.

Java-und Scala-Bibliotheken (Scala 2,11-Cluster)Java and Scala libraries (Scala 2.11 cluster)

Zusätzlich zu den Java-und Scala-Bibliotheken in Databricks Runtime 5,4 enthält Databricks Runtime 5,4 ml die folgenden jar-Informationen:In addition to Java and Scala libraries in Databricks Runtime 5.4, Databricks Runtime 5.4 ML contains the following JARs:

Gruppen-IDGroup ID ArtefaktkennungArtifact ID VersionVersion
com. databrickscom.databricks Spark-Deep-Learningspark-deep-learning 1.5.0-db3-Spark 2.41.5.0-db3-spark2.4
com. typesafe. Akkacom.typesafe.akka Akka-actor_2.11akka-actor_2.11 2.3.112.3.11
ml. combust. mleapml.combust.mleap mleap-databricks-runtime_2.11mleap-databricks-runtime_2.11 0.13.00.13.0
ml. dmlcml.dmlc xgboost4jxgboost4j 0.810.81
ml. dmlcml.dmlc xgboost4j-Sparkxgboost4j-spark 0.810.81
org. graphframesorg.graphframes graphframes_2.11graphframes_2.11 0.7.0-DB1-Spark 2.40.7.0-db1-spark2.4
org. tensorfloworg.tensorflow libtensorflowlibtensorflow 1.12.01.12.0
org. tensorfloworg.tensorflow libtensorflow_jnilibtensorflow_jni 1.12.01.12.0
org. tensorfloworg.tensorflow Spark-tensorflow-connector_2.11spark-tensorflow-connector_2.11 1.12.01.12.0
org. tensorfloworg.tensorflow tensorflowtensorflow 1.12.01.12.0
org. tensorframesorg.tensorframes tensorframestensorframes 0.6.0-s_2.110.6.0-s_2.11