Databricks Runtime 5,1 ML (beta)

Databricks släpptes den här avbildningen i december 2018.

Databricks Runtime 5,1 ML tillhandahåller en färdig miljö för maskin inlärning och data vetenskap baserat på Databricks Runtime 5,1 (stöds inte). Databricks-körningar för ML innehåller många populära Machine Learning-bibliotek, inklusive TensorFlow, PyTorch, keras och XGBoost. Det stöder också distribuerad TensorFlow-utbildning med Horovod.

Mer information, inklusive anvisningar för hur du skapar ett Databricks Runtime ML-kluster, finns Databricks runtime för Machine Learning.

Nya funktioner

Databricks Runtime 5,1 ML skapas ovanpå Databricks Runtime 5,1. Information om vad som är nytt i Databricks Runtime 5,1 finns i viktig information om Databricks Runtime 5,1 (stöds inte) . Förutom uppdateringarna av befintliga bibliotek i bibliotek, innehåller DATABRICKS runtime 5,1 ml följande nya funktioner:

  • PyTorch för att skapa djup inlärnings nätverk.

Anteckning

Databricks Runtime ML-versioner hämtar alla underhålls uppdateringar till bas Databricks Runtime versionen. En lista över alla underhålls uppdateringar finns i Databricks runtime Maintenance updates Update.

Systemmiljö

Skillnaden i system miljön i Databricks Runtime 5,1 och att i Databricks Runtime 5,1 ML är:

  • Python: 2.7.15 för python 2-kluster och 3.6.5 för python 3-kluster.
  • DBUtils: DATABRICKS runtime 5,1 ml innehåller inte biblioteks verktyg.
  • För GPU-kluster är följande NVIDIA GPU-bibliotek:
    • Tesla-drivrutin 396,44
    • CUDA 9,2
    • CUDNN 7.2.1

Bibliotek

Skillnaderna i de bibliotek som ingår i Databricks Runtime 5,1 och de som ingår i Databricks Runtime 5,1 ML visas i det här avsnittet.

Python-bibliotek

Databricks Runtime 5,1 ML använder Conda för hantering av python-paket. Därför finns det betydande ändringar i förinstallerade python-bibliotek jämfört med Databricks Runtime. Nedan visas en fullständig lista över de python-paket och-versioner som har installerats med Conda Package Manager.

Bibliotek Version Bibliotek Version Bibliotek Version
ABSL – py 0.6.1 argparse 1.4.0 asn1crypto 0.24.0
astor 0.7.1 backports – ABC 0,5 backports. functools-LRU-cache 1.5
backports.weakref 1.0. post1 bcrypt 3.1.4 medel 2.1.3
boto 2.48.0 boto3 1.7.62 botocore 1.10.62
attestera 2018.04.16 cffi 1.11.5 chardet 3.0.4
cloudpickle 0.5.3 colorama 0.3.9 configparser 3.5.0
kryptografi 2.2.2 cykel 0.10.0 Cython 0.28.2
decorator 4.3.0 docutils 0,14 entrypoints 0.2.3
enum34 1.1.6 et-xmlfile 1.0.1 funcsigs 1.0.2
functools32 3.2.3-2 fusepy 2.0.4 Futures 3.2.0
gast 0.2.0 grpcio 1.12.1 h5py 2.8.0
horovod 0.15.0 html5lib 1.0.1 idna 2,6
adresser 1.0.22 ipython 5.7.0 ipython_genutils 0.2.0
jdcal 1.4 Jinja2 2,10 jmespath 0.9.3
jsonschema 2.6.0 Jupyter-klient punkt Jupyter – kärna 4.4.0
Keras 2.2.4 Keras – program 1.0.6 Keras – för bearbetning 1.0.5
kiwisolver 1.0.1 linecache2 1.0.0 llvmlite 0.23.1
lxml 4.2.1 Markdown 3.0.1 MarkupSafe 1,0
matplotlib 2.2.2 feljustera 0.8.3 mleap 0.8.1
modeller 2.0.0 msgpack 0.5.6 nbconvert 5.3.1
nbformat 4.4.0 näsa 1.3.7 näsa-exkludera 0.5.0
numba 0.38.0 +0. g2a2b772fc. Dirty numpy 1.14.3 olefile 0.45.1
openpyxl 2.5.3 pandas 0.23.0 pandocfilters 1.4.2
paramiko 2.4.1 pathlib2 2.3.2 patsy 0.5.0
PBR 5.1.1 pexpect 4.5.0 pickleshare 0.7.4
Pillow 5.1.0 10.0.1 blad 3,11
prompt-Toolkit 1.0.15 protobuf 3.6.1 psycopg2 2.7.5
ptyprocess 0.5.2 pyarrow 0.8.0 pyasn1 0.4.4
pycparser 2,18 Pygments 2.2.0 PyNaCl 1.3.0
pyOpenSSL 18.0.0 pyparsing 2.2.0 PySocks 1.6.8
Python 2.7.15 python – dateutil 2.7.3 pytz 2018,4
PyYAML 3,12 pyzmq 17.0.0 autentiseringsbegäran 2.18.4
s3transfer 0.1.13 scandir 1.7 scikit-learn 0.19.1
scipy 1.1.0 seaborn 0.8.1 installations verktyg 39.1.0
simplegeneric 0.8.1 singledispatch 3.4.0.3 sex 1.11.0
statsmodels 0.9.0 subprocess32 3.5.3 tensorboard 1.12.0
tensorboardX 1.4 tensorflow 1.12.0 termcolor 1.1.0
testpath 0.3.1 torch 0.4.1 torchvision 0.2.1
Storm 5.0.2 traceback2 1.4.0 traitlets 4.3.2
unittest2 1.1.0 urllib3 1,22 virtuell miljö 16.0.0
wcwidth 0.1.7 webbkodningar 0.5.1 Werkzeug 0.14.1
hjul 0.31.1 figursatta 1.10.11 wsgiref 0.1.2

Dessutom innehåller följande Spark-paket python-moduler:

Spark-paket Python-modul Version
tensorframes tensorframes 0.6.0-s_2.11
graphframes graphframes 0.6.0-DB3-Spark 2.4
Spark-djupgående-inlärning sparkdl 1.4.0-DB2-Spark 2.4

R-bibliotek

R-biblioteken är identiska med r-bibliotek på Databricks Runtime 5,1.

Java-och Scala-bibliotek (Scala 2,11-kluster)

Förutom Java-och Scala-biblioteken i Databricks Runtime 5,1 innehåller Databricks Runtime 5,1 ML följande jar v7:

Grupp-ID Artefakt-ID Version
com. databricks Spark-djupgående-inlärning 1.4.0-DB2-Spark 2.4
org. tensorframes tensorframes 0.6.0-s_2.11
org. graphframes graphframes_2.11 0.6.0-DB3-Spark 2.4
org. tensorflow libtensorflow 1.12.0
org. tensorflow libtensorflow_jni 1.12.0
org. tensorflow Spark-tensorflow-connector_2.11 1.12.0
org. tensorflow tensorflow 1.12.0
ml. dmlc xgboost4j 0,81
ml. dmlc xgboost4j-Spark 0,81
ml. förbrännings. mleap mleap-databricks-runtime_2.11 0.13.0