Databricks Runtime 9.0-s Machine Learning

A Databricks 2021 augusztusában tette közzé ezt a rendszerképet.

Databricks Runtime 9.0 for Machine Learning használatra kész környezetet biztosít a gépi tanuláshoz és az adattudományhoz a Databricks Runtime 9.0 és Databricks Runtime 9.0 Photon alapján. Databricks Runtime ML népszerű gépi tanulási kódtárakat tartalmaz, például a TensorFlow-t, a PyTorch-t és az XGBoostot. Támogatja az elosztott mélytanulás betanítását is a Horovod használatával.

További információkért, beleértve a fürtök létrehozásával kapcsolatos utasításokat Databricks Runtime ML lásd: Databricks Runtime a Machine Learning.

Korrekció

A kibocsátási megjegyzések egy korábbi verziója szerint a 9.0-s gpu-val Databricks Runtime fürt GPU-metrika monitorozásának támogatása le lett tiltva ML 9.0-s verzióban. Ez igaz volt a Databricks Runtime 9.0-s ML bétaverzióra, de a probléma a ga Databricks Runtime 9.0-s ML kijavítva. A utasítás el lett távolítva.

Új funkciók és fejlesztések

Databricks Runtime 9.0 ML a 9.0-s Databricks Runtime épül. Az Databricks Runtime 9.0 újdonságairól , beleértve az Apache Spark MLlib és a SparkR Databricks Runtime 9.0 és Databricks Runtime 9.0 Photon kiadási megjegyzéseit.

Databricks automatikus lomtolás (nyilvános előzetes verzió)

A Databricks automatikus ének-Databricks Runtime 9.0-s vagy Machine Learning régiókban érhető el. A Databricks autologging egy kód nélkül megoldás, amely automatikus kísérletkövetést biztosít a gépi tanulási betanítás munkamenetei számára a Azure Databricks. A Databricks automatikus lomtárával a modellparaméterek, a metrikák, a fájlok és az életútadatok automatikusan rögzítettek, amikor modelleket betanít számos népszerű gépi tanulási kódtárból. A betanítás munkamenetei MLflow-követési futtatásként vannak rögzítve. A rendszer a modellfájlokat is nyomon követi, így könnyedén naplózhatja őket az MLflow-modell regisztrációs adatbázisában, és üzembe helyezheti őket valós idejű pontozáshoz az MLflow Modellkiadó szolgáltatásával.

További információ a Databricks automatikus lomtolásról: Databricks Autologging.

A Databricks funkciótároló fejlesztései

A betanításhalmazok létrehozásakor a teljesítmény a forrás szolgáltatástáblák közötti illesztés minimálisra minimalizálása által javult.

Az XGBoost integrálása a PySparkkal mostantól támogatja az elosztott betanítás és a GPU-fürtök használatát

Részletekért lásd: Integráció a Spark MLlib (Python) használatával.

A Python-környezet Databricks Runtime ML változásai

A Conda-környezetek és a %conda parancs el lesz távolítva. Databricks Runtime 9.0-s ML a és a pip rendszer. virtualenv A Conda-alapú környezeteket És a Databricks Container Servicest használó egyéni rendszerképek továbbra is támogatottak lesznek, de nem rendelkeznek jegyzetfüzet-hatókörű kódtár-képességekkel. A Databricks a virtualenv-alapú környezetek Használatát javasolja a Databricks Container Services és az összes %pip jegyzetfüzet-hatókörű kódtár esetében.

A Databricks Runtime Python-környezet főbb változásait a 9.0-s és Databricks Runtime 9.0-s Databricks Runtime lásd: Databricks Runtime Photon. A telepített Python-csomagok és azok verzióinak teljes listáját lásd: Python-kódtárak.

Frissített Python-csomagok

  • mlflow 1.18.0 – > 1.19.0
  • nltk 3.5 - > 3.6.1

Python-csomagok hozzáadva

  • az 1.0.1-es

Python-csomagok eltávolítva

  • MKL
  • azure-core
  • azure-storage-blob
  • msrest
  • docker
  • querystring-parser
  • intel-openmp

Elalasztások és nem támogatott funkciók

  • A Databricks Runtime 9.0 ML a HorovodRunner nem támogatja a beállítást, ahol a np=0 a Horovod-feladathoz használt párhuzamos folyamatok np száma.
  • Databricks Runtime 9.0-s ML r-base 4.1.0 R grafikus motor 14-es verzióját tartalmazza. Ezt az RStudio Server 1.2.x verziója nem támogatja.
  • nvprofA 9.0 Databricks Runtime GPU-val ML el.

Rendszerkörnyezet

A 9.0-Databricks Runtime rendszerkörnyezet ML a 9.0 Databricks Runtime tól a következőképpen tér el:

Kódtárak

A következő szakaszok a 9.0 Databricks Runtime ban található kódtárakat sorolják ML a 9.0-s Databricks Runtime kódtáraktól.

Ebben a szakaszban:

Legfelső szintű kódtárak

Databricks Runtime 9.0 ML a következő legfelső szintű kódtárakat tartalmazza:

Python-kódtárak

Databricks Runtime 9.0 ML Virtualenv-t használ a Python-csomagkezeléshez, és számos népszerű ML tartalmaz.

A következő szakaszokban megadott csomagokon kívül a Databricks Runtime 9.0-s ML is tartalmazza a következő csomagokat:

  • hyperopt 0.2.5.db2
  • sparkdl 2.2.0_db1
  • feature_store 0.3.3
  • automl 1.1.1

Python-kódtárak CPU-fürtökön

Kódtár Verzió Kódtár Verzió Kódtár Verzió
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse (astunparse) 1.6.3
async-generator 1.10 attrs 20.3.0 backcall (visszahívás) 0.2.0
bcrypt 3.2.0 Fehérítő 3.3.0 boto3 1.16.7
botocore 1.19.7 Torlódás 1.3.2 cachetools (gyorsítótár-összegek) 4.2.2
certifi 2020.12.5 cffi 1.14.5 chardet (karakterkészlet) 4.0.0
Kattintson 7.1.2 cloudpickle 1.6.0 cmdstanpy 0.9.68
configparser 5.0.1 convertdate (konvertálásiate) 2.3.2 Titkosítás 3.4.7
cycler 0.10.0 Cython 0.29.23 databricks-cli 0.14.3
dbus-python 1.2.16 Dekoratőr 5.0.6 defusedxml 0.7.1
Kapros 0.3.2 diskcache 5.2.1 distlib 0.3.2
disztribúció – információ 0.23ubuntu1 belépési pontok 0.3 ep lista 4.0.0.2
akts-overview 1.0.0 filelock (fájlzár) 3.0.12 Flask 1.1.2
flatbuffers 1.12 fsspec 0.9.0 Jövőben 0.18.2
Gast 0.4.0 gitdb 4.0.7 GitPython 3.1.12
google-auth 1.22.1 google-auth-oauthlib 0.4.2 google-pasta 0.2.0
grpcio 1.34.1 gunicorn 20.0.4 h5py 3.1.0
hijri-converter 2.1.3 Ünnepek 0.10.5.2 horovod 0.22.1
htmlmin 0.1.12 idna 2.10 ImageHash 4.2.1
ipykernel 5.3.4 ipython (ipython) 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.4 isodate (isodate) 0.6.0 itsdangerous 1.1.0
Jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 joblibspark 0.3.0 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.1 keras-nightly 2.5.0.dev2021032900 Keras-Preprocessing 1.1.2
kiwisolver 1.3.1 Koalák 1.8.1 koreai holdnaptár 0.2.1
lightgbm 3.1.1 llvmlite 0.36.0 LunarCalendar 0.0.9
Makó 1.1.3 Markdown 3.3.3 MarkupSafe 1.1.1
matplotlib 3.4.2 missingno 0.5.0 une 0.8.4
mleap 0.17.0 mlflow-vékony 1.19.0 többmetódos 1.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 networkx (hálózat) 2.5 nltk 3.6.1
jegyzetfüzet 6.3.0 gya 0.53.1 numpy 1.19.2
oauthlib 3.1.0 opt-einsum 3.3.0 Csomagolás 20.9
pandas 1.2.4 pandas-profilkészítés 3.0.0 pandocfilters 1.4.3
paramiko 2.7.2 parso 0.7.0 Patsy 0.5.1
petastorm 0.11.1 pexpect 4.8.0 phik 0.12.0
pickleshare 0.7.5 Párna 8.2.0 Pip 21.0.1
plotly 4.14.3 prometheus-client 0.10.1 prompt-toolkit 3.0.17
prophet 1.0.1 protobuf 3.17.2 psutil 5.8.0
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow (pyarrow) 4.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pycparser 2.20
pydantic (pydantic) 1.8.2 Pygments (Pygments) 2.8.1 PyGObject 3.36.0
PyMeeus 0.5.11 PyNaCl 1.3.0 pyodbc 4.0.30
pyparsing (pyparsing) 2.4.7 pyrsistent 0.17.3 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-szerkesztő 1.0.4
pytz 2020.5 PyWavelets 1.1.1 PyYAML 5.4.1
pyzmq 20.0.0 Regex 2021.4.4 Kérelmek 2.25.1
requests-oauthlib 1.3.0 requests-unixsocket 0.2.0 Újrapróbálkozás 1.3.3
Rsa 4.7.2 s3transfer (s3-átküldés) 0.3.7 scikit-learn 0.24.1
scipy 1.6.2 seaborn 0.11.1 Send2Trash 1.5.0
setuptools (telepítésiösszegek) 52.0.0 setuptools-git 1.2 shap (árnyékolás) 0.39.0
simplejson 3.17.2 Hat 1.15.0 slicer 0.0.7
smmap 3.0.5 spark-tensorflow-distributor 0.1.0 sqlparse 0.4.1
ssh-import-id 5.10 statsmodels 0.12.2 tabulátor 0.8.7
tangled-up-in-unicode 0.1.0 tensorboard 2.5.0 tensorboard-data-server 0.6.1
tensorboard-plugin-wit 1.8.0 tensorflow-cpu 2.5.0 tensorflow-estimator 2.5.0
termcolor (kifejezésszín) 1.1.0 terminado 0.9.4 testpath (tesztpath) 0.4.4
threadpoolctl 2.1.0 Fáklya 1.9.0+cpu torchvision 0.10.0+cpu
Tornádó 6.1 tqdm 4.59.0 -tulajdonságmagok 5.0.5
gépelési bővítmények 3.7.4.3 ujson 4.0.2 felügyelet nélküli frissítések 0.1
urllib3 1.25.11 virtualenv 20.4.1 Látomások 0.7.1
wcwidth (wcwidth) 0.2.5 webencodings 0.5.1 websocket-client 0.57.0
Werkzeug 1.0.1 Kerék 0.36.2 widgetsnbextension 3.5.1
wrapt (burk) 1.12.1 xgboost 1.4.2

Python-kódtárak GPU-fürtökön

Kódtár Verzió Kódtár Verzió Kódtár Verzió
absl-py 0.11.0 Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4
argon2-cffi 20.1.0 Astor 0.8.1 astunparse (astunparse) 1.6.3
async-generator 1.10 attrs 20.3.0 backcall (visszahívás) 0.2.0
bcrypt (titkosítás) 3.2.0 Fehérítő 3.3.0 boto3 1.16.7
botocore 1.19.7 Torlódás 1.3.2 cachetools (gyorsítótár-összegek) 4.2.2
certifi 2020.12.5 cffi 1.14.5 chardet (karakterkészlet) 4.0.0
Kattintson 7.1.2 cloudpickle 1.6.0 cmdstanpy 0.9.68
configparser 5.0.1 convertdate (konvertálásiate) 2.3.2 Titkosítás 3.4.7
cycler 0.10.0 Cython 0.29.23 databricks-cli 0.14.3
dbus-python 1.2.16 Dekoratőr 5.0.6 defusedxml 0.7.1
Kapros 0.3.2 diskcache 5.2.1 distlib 0.3.2
disztribúció – információ 0.23ubuntu1 belépési pontok 0.3 ep lista 4.0.0.2
a facets-overview (a facets áttekintése) 1.0.0 filelock (fájlzár) 3.0.12 Flask 1.1.2
flatbuffers 1.12 fsspec 0.9.0 Jövőben 0.18.2
Gast 0.4.0 gitdb 4.0.7 GitPython 3.1.12
google-auth 1.22.1 google-auth-oauthlib 0.4.2 google-pasta 0.2.0
grpcio 1.34.1 gunicorn 20.0.4 h5py 3.1.0
hijri-converter 2.1.3 Ünnepek 0.10.5.2 horovod 0.22.1
htmlmin 0.1.12 idna 2.10 ImageHash 4.2.1
ipykernel 5.3.4 ipython (ipython) 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.4 isétl 0.6.0 itsdangerous (saját szám) 1.1.0
Jedi 0.17.2 Jinja2 2.11.3 jmespath (jmespath) 0.10.0
joblib 1.0.1 joblibspark 0.3.0 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.1 keras-nightly (keras-éjszakai) 2.5.0.dev2021032900 Keras-Preprocessing 1.1.2
kiwisolver 1.3.1 Koalák 1.8.1 koreai holdnaptár 0.2.1
lightgbm 3.1.1 llvmlite 0.36.0 LunarCalendar 0.0.9
Makó 1.1.3 Markdown 3.3.3 MarkupSafe 1.1.1
matplotlib 3.4.2 missingno 0.5.0 une 0.8.4
mleap 0.17.0 mlflow-vékony 1.19.0 többmetódos 1.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat (formátum) 5.1.3
nest-asyncio 1.5.1 networkx (hálózat) 2.5 nltk 3.6.1
jegyzetfüzet 6.3.0 1A 0.53.1 numpy 1.19.2
oauthlib 3.1.0 opt-einsum 3.3.0 Csomagolás 20.9
pandas 1.2.4 pandas-profilkészítés 3.0.0 pandocfilters 1.4.3
paramiko 2.7.2 parso 0.7.0 Patsy 0.5.1
petastorm 0.11.1 pexpect 4.8.0 phik 0.12.0
pickleshare 0.7.5 Párna 8.2.0 Pip 21.0.1
plotly 4.14.3 prometheus-client 0.11.0 prompt-toolkit 3.0.17
prophet 1.0.1 protobuf 3.17.2 psutil 5.8.0
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow (pyarrow) 4.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pycparser 2.20
pydantic (pydantic) 1.8.2 Pygments (Pygments) 2.8.1 PyGObject 3.36.0
PyMeeus 0.5.11 PyNaCl 1.3.0 pyodbc 4.0.30
pyparsing (pyparsing) 2.4.7 pyrsistent 0.17.3 pystan 2.19.1.1
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-szerkesztő 1.0.4
pytz 2020.5 PyWavelets 1.1.1 PyYAML 5.4.1
pyzmq 20.0.0 Regex 2021.4.4 Kérelmek 2.25.1
requests-oauthlib 1.3.0 requests-unixsocket 0.2.0 Újrapróbálkozás 1.3.3
Rsa 4.7.2 s3transfer (s3-átküldés) 0.3.7 scikit-learn 0.24.1
scipy 1.6.2 seaborn 0.11.1 Send2Trash 1.5.0
setuptools (telepítésiösszegek) 52.0.0 setuptools-git 1.2 shap (árnyékolás) 0.39.0
simplejson 3.17.2 Hat 1.15.0 slicer 0.0.7
smmap 3.0.5 spark-tensorflow-distributor 0.1.0 sqlparse 0.4.1
ssh-import-id 5.10 statsmodels 0.12.2 tabulátum 0.8.7
tangled-up-in-unicode 0.1.0 tensorboard 2.5.0 tensorboard-data-server 0.6.1
tensorboard-plugin-wit 1.8.0 tensorflow 2.5.0 tensorflow-estimator 2.5.0
termcolor (kifejezésszín) 1.1.0 terminado 0.9.4 testpath (tesztpath) 0.4.4
threadpoolctl 2.1.0 Fáklya 1.9.0+cu111 torchvision 0.10.0+cu111
Tornádó 6.1 tqdm 4.59.0 jelmagok 5.0.5
gépelési bővítmények 3.7.4.3 ujson 4.0.2 felügyelet nélküli frissítések 0.1
urllib3 1.25.11 virtualenv 20.4.1 Látomások 0.7.1
wcwidth (wcwidth) 0.2.5 webencodings 0.5.1 websocket-client 0.57.0
Werkzeug 1.0.1 Kerék 0.36.2 widgetsnbextension 3.5.1
wrapt (betörés) 1.12.1 xgboost 1.4.2

Python-modulokat tartalmazó Spark-csomagok

Spark-csomag Python-modul Verzió
graphframes graphframes 0.8.1-db3-spark3.1

R-kódtárak

Az R-kódtárak megegyeznek a 9.0-s Databricks Runtime R-kódtárakkal.

Java- és Scala-kódtárak (Scala 2.12-fürt)

A 9.0-s Databricks Runtime Java- és Scala-Databricks Runtime a 9.0-s ML is tartalmazza:

CPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.17.0-4882dc3
ml.dmlc xgboost4j-spark_2.12 1.4.1
ml.dmlc xgboost4j_2.12 1.4.1
org.graphframes graphframes_2.12 0.8.1-db2-spark3.1
org.mlflow mlflow-client 1.19.0
org.mlflow mlflow-spark 1.19.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-fürtök

Csoportazonosító Összetevő azonosítója Verzió
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 0.17.0-4882dc3
ml.dmlc xgboost4j-gpu_2.12 1.4.1
ml.dmlc xgboost4j-spark-gpu_2.12 1.4.1
org.graphframes graphframes_2.12 0.8.1-db2-spark3.1
org.mlflow mlflow-client 1.19.0
org.mlflow mlflow-spark 1.19.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0