Databricks Runtime 14.2 pro machine Učení

Databricks Runtime 14.2 pro machine Učení poskytuje připravené prostředí pro strojové učení a datové vědy založené na databricks Runtime 14.2. Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML také podporuje distribuované trénování hlubokého učení pomocí Horovodu.

Nové funkce a vylepšení

Databricks Runtime 14.2 ML je postaven na Databricks Runtime 14.2. Informace o novinkách v Databricks Runtime 14.2, včetně Apache Spark MLlib a SparkR, najdete ve zprávě k vydání verze Databricks Runtime 14.2 .

Prostředí systému

Systémové prostředí v Databricks Runtime 14.2 ML se liší od Databricks Runtime 14.2 následujícím způsobem:

Databricks Runtime 14.2 ML zahrnuje XGBoost 1.7.6, který nepodporuje clustery GPU s výpočetní schopností 5.2 a níže.

Knihovny

Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 14.2 ML, které se liší od knihoven zahrnutých v Databricks Runtime 14.2.

V této části:

Knihovny nejvyšší úrovně

Databricks Runtime 14.2 ML obsahuje následující knihovny nejvyšší úrovně:

Knihovny Pythonu

Databricks Runtime 14.2 ML používá virtualenv ke správě balíčků Pythonu a obsahuje mnoho oblíbených balíčků ML.

Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 14.2 ML také následující balíčky:

  • hyperopt 0.2.7+db4
  • sparkdl 3.0.0_db1
  • automl 1.23.0

Pokud chcete reprodukovat prostředí Databricks Runtime ML Python v místním virtuálním prostředí Pythonu, stáhněte si soubor requirements-14.2.txt a spusťte pip install -r requirements-14.2.txt. Tento příkaz nainstaluje všechny opensourcové knihovny, které databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté službou Databricks, například databricks-automl, databricks-feature-storenebo fork Databricks fork hyperopt.

Knihovny Pythonu v clusterech procesorů

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 Urychlit 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
attrs 22.1.0 audioread 3.0.1 Azure-Core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.18.3 azure-storage-file-datalake 12.13.2
backcall 0.2.0 šifra 3.2.0 krásnásoup4 4.11.1
Černé 22.6.0 Bělidla 4.1.0 blikač 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 Katalog 2.0.10 kodéry kategorií 2.6.2
Certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknutí 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmdstanpy 1.2.0 Komunikace 0.1.2
Konfekce 0.1.3 configparser 5.2.0 obrysová křivka 1.0.5
Kryptografie 39.0.1 Cyklovač 0.11.0 cymem 2.0.8
Cython 0.29.32 dacite 1.8.1 databricks-automl-runtime 0.2.20
Databricks-cli 0.18.0 databricks -feature-engineering 0.1.2 Úložiště funkcí databricks 0.16.1
Databricks-sdk 0.1.6 dataclasses-json 0.6.1 Power BI 2.14.5
dbl-tempo 0.1.26 dbus-python 1.2.18 ladění 1.6.7
Dekoratér 5.1.1 deepspeed 0.11.1 defusedxml 0.7.1
Kopr 0.3.6 diskcache 5.6.3 distlib 0.3.7
docstring-to-markdown 0,11 vstupní body 0,4 evaluate 0.4.1
Provádění 0.8.3 přehled omezujících vlastností 1.1.1 fastjsonschema 2.18.1
fasttext 0.9.2 filelock 3.9.0 Flask 2.2.5
flatbuffers 23.5.26 fonttools 4.25.0 zmrazený seznam 1.4.0
fsspec 2023.6.0 Budoucnosti 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
google-cloud-storage 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 zelenálet 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
Dovolená 0,35 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 nevyvážené učení 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
jehodangerous 2.0.1 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2,4
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgety 1.0.0
keras 2.14.0 Klíčenku 23.5.0 verizonsolver 1.4.4
langchain 0.0.314 langcodes 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Mako 1.2.0 Markdown 3.4.1 Revize Sejf 2.1.1
Marshmallow 3.20.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 špatně zamyšlení 0.8.4 ml-dtypes 0.2.0
mlflow-hubená 2.8.0 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 multidict 6.0.4 multimethod 1,10
multiprocess 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
Ninja 1.11.1.1 nltk 3.7 nodeenv 1.8.0
poznámkový blok 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 Obalu 22.0 pandas 1.5.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 pathy 0.10.3 Patsy 0.5.3
petastorm 0.12.1 pexpect 4.8.0 Phik 0.12.3
pickleshare 0.7.5 Polštář 9.4.0 Pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
pmdarima 2.0.3 Čokl 1.4.0 předběžně připravený 3.0.9
prometheus-client 0.14.1 prompt-toolkit 3.0.36 Prorok 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 čistý-eval 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 Regex 2022.7.9 žádosti 2.28.1
requests-oauthlib 1.3.1 Reakce 0.18.0 Lano 1.7.0
rsa 4,9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 větné transformátory 2.2.2
věta 0.1.99 setuptools 65.6.3 Shap 0.43.0
simplejson 3.17.6 Šest 1.16.0 Průřezu 0.0.7
inteligentní otevření 5.2.1 smmap 5.0.0 sniffio 1.2.0
soundfile 0.12.1 polévky 2.3.2.post1 soxr 0.3.7
spacy 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5,11 stack-data 0.2.0
stanio 0.3.0 statsmodels 0.13.5 sympy 1.11.1
tabulková tabulka 0.8.10 tangled-up-in-unicode 0.2.0 Houževnatost 8.1.0
tensorboard 2.14.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.14.0
tensorflow-cpu 2.14.0 tensorflow-estimator 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 terminado 0.17.1 tenká 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizátory 0.14.0 tomli 2.0.1
Pochodeň 2.0.1+cpu torchvision 0.15.2+cpu Tornádo 6.1
tqdm 4.64.1 vlastnosti 5.7.1 Transformátory 4.34.0
typeguard 2.13.3 Typer 0.9.0 kontrola psaní 0.9.0
typing_extensions 4.4.0 ujson 5.4.0 bezobslužné upgrady 0,1
urllib3 1.26.14 virtualenv 20.16.7 Vize 0.7.5
wadllib 1.3.6 Wasabi 1.1.2 wcwidth 0.2.5
Lasička 0.3.3 webencodings 0.5.1 websocket-client 0.58.0
Werkzeug 2.2.2 whatthepatch 1.0.2 Kolo 0.38.4
widgetsnbextension 3.6.1 wordcloud 1.9.2 wrapt 1.14.1
xgboost 1.7.6 xxhash 3.4.1 yapf 0.33.0
yarl 1.9.2 Profilace ydata 4.2.0 zipp 3.11.0

Knihovny Pythonu v clusterech GPU

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 Urychlit 0.23.0 aiohttp 3.8.6
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 async-timeout 4.0.3
attrs 22.1.0 audioread 3.0.1 Azure-Core 1.29.1
azure-cosmos 4.3.1 azure-storage-blob 12.18.3 azure-storage-file-datalake 12.13.2
backcall 0.2.0 šifra 3.2.0 krásnásoup4 4.11.1
Černé 22.6.0 Bělidla 4.1.0 blikač 1.4
blis 0.7.11 boto3 1.24.28 botocore 1.27.96
cachetools 5.3.2 Katalog 2.0.10 kodéry kategorií 2.6.2
Certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknutí 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmake 3.27.7 cmdstanpy 1.2.0
Komunikace 0.1.2 Konfekce 0.1.3 configparser 5.2.0
obrysová křivka 1.0.5 Kryptografie 39.0.1 Cyklovač 0.11.0
cymem 2.0.8 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.20 Databricks-cli 0.18.0 databricks -feature-engineering 0.1.2
Úložiště funkcí databricks 0.16.1 Databricks-sdk 0.1.6 dataclasses-json 0.6.1
Power BI 2.14.5 dbl-tempo 0.1.26 dbus-python 1.2.18
ladění 1.6.7 Dekoratér 5.1.1 deepspeed 0.11.1
defusedxml 0.7.1 Kopr 0.3.6 diskcache 5.6.3
distlib 0.3.7 docstring-to-markdown 0,11 einops 0.7.0
vstupní body 0,4 evaluate 0.4.1 Provádění 0.8.3
přehled omezujících vlastností 1.1.1 fastjsonschema 2.18.1 fasttext 0.9.2
filelock 3.9.0 flash-attn 2.3.2 Flask 2.2.5
flatbuffers 23.5.26 fonttools 4.25.0 zmrazený seznam 1.4.0
fsspec 2023.6.0 Budoucnosti 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.12.0
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.3.3
google-cloud-storage 2.11.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.6.0 googleapis-common-protos 1.61.0 zelenálet 2.0.1
grpcio 1.48.2 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h5py 3.7.0 hjson 3.1.0
Dovolená 0,35 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 huggingface-hub 0.16.4 idna 3.4
ImageHash 4.3.1 nevyvážené učení 0.11.0 importlib-metadata 4.11.3
importlib-resources 6.1.0 ipykernel 6.25.0 ipython 8.14.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 isodate 0.6.1
jehodangerous 2.0.1 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2,4
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgety 1.0.0
keras 2.14.0 Klíčenku 23.5.0 verizonsolver 1.4.4
langchain 0.0.314 langcodes 3.3.0 langsmith 0.0.56
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0.3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 Svítí 17.0.4 llvmlite 0.39.1
lxml 4.9.1 Mako 1.2.0 Markdown 3.4.1
Revize Sejf 2.1.1 Marshmallow 3.20.1 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 špatně zamyšlení 0.8.4
ml-dtypes 0.2.0 mlflow-hubená 2.8.0 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 multidict 6.0.4
multimethod 1,10 multiprocess 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 Ninja 1.11.1.1 nltk 3.7
nodeenv 1.8.0 poznámkový blok 6.5.2 notebook_shim 0.2.2
numba 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 Obalu 22.0
pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 pathy 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.3 pickleshare 0.7.5 Polštář 9.4.0
Pip 22.3.1 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 Čokl 1.4.0
předběžně připravený 3.0.9 prompt-toolkit 3.0.36 Prorok 1.1.5
protobuf 4.24.0 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 čistý-eval 0.2.2 py-cpuinfo 9.0.0
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil 2.8.2 python-editor 1.0.4
python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6.0
pyzmq 23.2.0 Regex 2022.7.9 žádosti 2.28.1
requests-oauthlib 1.3.1 Reakce 0.18.0 Lano 1.7.0
rsa 4,9 s3transfer 0.6.2 safetensors 0.4.0
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 větné transformátory 2.2.2
věta 0.1.99 setuptools 65.6.3 Shap 0.43.0
simplejson 3.17.6 Šest 1.16.0 Průřezu 0.0.7
inteligentní otevření 5.2.1 smmap 5.0.0 sniffio 1.2.0
soundfile 0.12.1 polévky 2.3.2.post1 soxr 0.3.7
spacy 3.7.1 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.8 ssh-import-id 5,11 stack-data 0.2.0
stanio 0.3.0 statsmodels 0.13.5 sympy 1.11.1
tabulková tabulka 0.8.10 tangled-up-in-unicode 0.2.0 Houževnatost 8.1.0
tensorboard 2.14.0 tensorboard-data-server 0.7.2 tensorboard-plugin-profile 2.14.0
tensorflow 2.14.0 tensorflow-estimator 2.14.0 tensorflow-io-gcs-filesystem 0.34.0
termcolor 2.3.0 terminado 0.17.1 tenká 8.2.1
threadpoolctl 2.2.0 tiktoken 0.5.1 tinycss2 1.2.1
tokenize-rt 4.2.1 tokenizátory 0.14.0 tomli 2.0.1
Pochodeň 2.0.1+cu118 torchvision 0.15.2+cu118 Tornádo 6.1
tqdm 4.64.1 vlastnosti 5.7.1 Transformátory 4.34.0
Triton 2.0.0 typeguard 2.13.3 Typer 0.9.0
kontrola psaní 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
bezobslužné upgrady 0,1 urllib3 1.26.14 virtualenv 20.16.7
Vize 0.7.5 wadllib 1.3.6 Wasabi 1.1.2
wcwidth 0.2.5 Lasička 0.3.3 webencodings 0.5.1
websocket-client 0.58.0 Werkzeug 2.2.2 whatthepatch 1.0.2
Kolo 0.38.4 widgetsnbextension 3.6.1 wordcloud 1.9.2
wrapt 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 yarl 1.9.2 Profilace ydata 4.2.0
zipp 3.11.0

Knihovny jazyka R

Knihovny jazyka R jsou identické s knihovnami jazyka R v Databricks Runtime 14.2.

Knihovny Java a Scala (cluster Scala 2.12)

Kromě knihoven Java a Scala v Databricks Runtime 14.2 obsahuje Databricks Runtime 14.2 ML následující žádosti o přijetí změn:

Clustery procesoru

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clustery GPU

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.8.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0