Databricks Runtime 13.3 LTS pro machine Učení

Databricks Runtime 13.3 LTS pro machine Učení poskytuje připravené prostředí pro strojové učení a datové vědy založené na databricks Runtime 13.3 LTS. Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML také podporuje distribuované trénování hlubokého učení pomocí Horovodu.

Další informace, včetně pokynů k vytvoření clusteru Databricks Runtime ML, najdete v tématu AI a machine Učení v Databricks.

Nové funkce a vylepšení

Databricks Runtime 13.3 LTS ML je postaven na Databricks Runtime 13.3 LTS. Informace o novinkách v Databricks Runtime 13.3 LTS, včetně Apache Spark MLlib a SparkR, najdete v poznámkách k verzi Databricks Runtime 13.3 LTS .

Změny úložiště funkcí Databricks

  • Databricks Runtime 13.3 LTS ML obsahuje klienta úložiště funkcí v0.14.0. U klienta verze 0.14.0 a vyšší je nutné zadat sloupce klíče časového razítka v argumentu primary_keys . Klíče časového razítka jsou součástí "primárních klíčů", které jednoznačně identifikují každý řádek v tabulce funkcí.
  • Nyní můžete z trénovací sady vyloučit hodnoty funkcí s časovými razítky před zadaným časem. Podrobnosti najdete v tématu Nastavení časového limitu pro historické hodnoty funkcí.
  • Funkce strojového učení se teď dají vypočítat na vyžádání v době odvozu. Všechna výpočetní logika, modely a data funkcí se řídí katalogem Unity. To umožňuje modelům výpočetní funkce pomocí vstupů, které jsou k dispozici pouze v době odvozování, jako je aktuální umístění uživatele. Další informace najdete v tématu Výpočetní funkce na vyžádání pomocí uživatelem definovaných funkcí Pythonu.

Prostředí systému

Systémové prostředí v Databricks Runtime 13.3 LTS ML se liší od Databricks Runtime 13.3 LTS následujícím způsobem:

Databricks Runtime 13.3 LTS ML zahrnuje XGBoost 1.7.3, který nepodporuje clustery GPU s výpočetní schopností 5.2 a níže.

Balíček miniconda byl odebrán z Databricks Runtime 13.0 ML a vyšší.

Knihovny

Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 13.3 LTS ML, které se liší od knihoven zahrnutých v Databricks Runtime 13.3 LTS.

V této části:

Knihovny nejvyšší úrovně

Databricks Runtime 13.3 LTS ML obsahuje následující knihovny nejvyšší úrovně:

Knihovny Pythonu

Databricks Runtime 13.3 LTS ML používá Virtualenv ke správě balíčků Pythonu a obsahuje mnoho oblíbených balíčků ML.

Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 13.3 LTS ML také následující balíčky:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.20.0

Pokud chcete reprodukovat prostředí Databricks Runtime ML Python v místním virtuálním prostředí Pythonu, stáhněte si soubor requirements-13.3.txt a spusťte pip install -r requirements-13.3.txt. Tento příkaz nainstaluje všechny opensourcové knihovny, které databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté službou Databricks, například databricks-automl, databricks-feature-storenebo fork Databricks fork hyperopt.

Knihovny Pythonu v clusterech procesorů

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 Urychlit 0.20.3 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.2.1 astunparse 1.6.3 async-timeout 4.0.2
attrs 21.4.0 audioread 3.0.0 Azure-Core 1.28.0
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
backcall 0.2.0 šifra 3.2.0 krásnásoup4 4.11.1
Černé 22.6.0 Bělidla 4.1.0 blikač 1.4
blis 0.7.10 boto3 1.24.28 botocore 1.27.28
cachetools 4.2.4 Katalog 2.0.9 kodéry kategorií 2.6.1
Certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknutí 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 Konfekce 0.1.0 configparser 5.2.0
convertdate 2.4.0 Kryptografie 37.0.1 Cyklovač 0.11.0
cymem 2.0.7 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.17 Databricks-cli 0.17.7 Úložiště funkcí databricks 0.14.0
Databricks-sdk 0.1.6 dataclasses-json 0.5.13 Power BI 2.13.1
dbl-tempo 0.1.23 dbus-python 1.2.18 ladění 1.6.0
Dekoratér 5.1.1 defusedxml 0.7.1 Kopr 0.3.4
diskcache 5.6.1 distlib 0.3.7 docstring-to-markdown 0.12
vstupní body 0,4 ephem 4.1.4 evaluate 0.4.0
Provádění 1.2.0 přehled omezujících vlastností 1.0.3 fastapi 0.98.0
fastjsonschema 2.18.0 fasttext 0.9.2 filelock 3.6.0
Flask 1.1.2+db1 flatbuffers 23.5.26 fonttools 4.25.0
zmrazený seznam 1.4.0 fsspec 2022.7.1 Budoucnosti 0.18.2
Gast 0.4.0 gitdb 4.0.10 GitPython 3.1.27
google-api-core 2.8.2 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-cloud-core 2.3.3 google-cloud-storage 2.10.0 google-crc32c 1.5.0
google-pasta 0.2.0 google-resumable-media 2.5.0 googleapis-common-protos 1.56.4
zelenálet 1.1.1 grpcio 1.48.1 grpcio-status 1.48.1
gunicorn 20.1.0 gviz-api 1.10.0 h11 0.14.0
h5py 3.7.0 Dovolená 0.27.1 horovod 0.28.1
htmlmin 0.1.12 httplib2 0.20.2 httptools 0.6.0
huggingface-hub 0.16.4 idna 3.3 ImageHash 4.3.1
nevyvážené učení 0.10.1 importlib-metadata 4.11.3 importlib-resources 6.0.0
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 jehodangerous 2.0.1
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgety 1.0.0 keras 2.11.0
Klíčenku 23.5.0 verizonsolver 1.4.2 langchain 0.0.217
langchainplus-sdk 0.0.20 langcodes 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.38.0 LunárníCalendar 0.0.9 Mako 1.2.0
Markdown 3.3.4 Revize Sejf 2.0.1 Marshmallow 3.20.1
matplotlib 3.5.2 matplotlib-inline 0.1.6 Mccabe 0.7.0
špatně zamyšlení 0.8.4 mleap 0.20.0 mlflow-hubená 2.5.0
more-itertools 8.10.0 msgpack 1.0.5 multidict 6.0.4
multimethod 1.9.1 multiprocess 0.70.12.2 murmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
Ninja 1.11.1 nltk 3.7 nodeenv 1.8.0
poznámkový blok 6.4.12 numba 0.55.1 numexpr 2.8.4
numpy 1.21.5 oauthlib 3.2.0 openai 0.27.8
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 Obalu 21.3
pandas 1.4.4 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.2
Patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.3 pickleshare 0.7.5 Polštář 9.2.0
Pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 pmdarima 2.0.3 Čokl 1.7.0
předběžně připravený 3.0.8 prometheus-client 0.14.1 prompt-toolkit 3.0.36
Prorok 1.1.4 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 čistý-eval 0.2.2
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
python-dotenv 1.0.0 python-editor 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 23.2.0
Regex 2022.7.9 žádosti 2.28.1 requests-oauthlib 1.3.1
Reakce 0.18.0 Lano 1.7.0 rsa 4,9
s3transfer 0.6.0 safetensors 0.3.1 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 větné transformátory 2.2.2 věta 0.1.99
setuptools 63.4.1 Shap 0.41.0 simplejson 3.17.6
Šest 1.16.0 Průřezu 0.0.7 inteligentní otevření 5.2.1
smmap 5.0.0 sniffio 1.2.0 soundfile 0.12.1
polévky 2.3.1 soxr 0.3.5 spacy 3.5.3
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.7
ssh-import-id 5,11 stack-data 0.6.2 hvězdicová hvězda 0.27.0
statsmodels 0.13.2 tabulková tabulka 0.8.10 tangled-up-in-unicode 0.2.0
Houževnatost 8.1.0 tensorboard 2.11.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.11.2 tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.11.1
tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.32.0 termcolor 2.3.0
terminado 0.13.1 testpath 0.6.0 tenká 8.1.10
threadpoolctl 2.2.0 tiktoken 0.4.0 tokenize-rt 4.2.1
tokenizátory 0.13.3 tomli 2.0.1 Pochodeň 1.13.1+cpu
torchvision 0.14.1+cpu Tornádo 6.1 tqdm 4.64.1
vlastnosti 5.1.1 Transformátory 4.30.2 typeguard 2.13.3
Typer 0.7.0 kontrola psaní 0.9.0 typing_extensions 4.3.0
ujson 5.4.0 bezobslužné upgrady 0,1 urllib3 1.26.11
uvicorn 0.23.1 uvloop 0.17.0 virtualenv 20.16.3
Vize 0.7.5 wadllib 1.3.6 Wasabi 1.1.2
watchfiles 0.19.0 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 websockets 11.0.3 Werkzeug 2.0.3
whatthepatch 1.0.2 Kolo 0.37.1 widgetsnbextension 3.6.1
wordcloud 1.9.2 wrapt 1.14.1 xgboost 1.7.6
xxhash 3.2.0 yapf 0.31.0 yarl 1.9.2
Profilace ydata 4.2.0 zipp 3.8.0

Knihovny Pythonu v clusterech GPU

Knihovna Verze Knihovna Verze Knihovna Verze
absl-py 1.0.0 Urychlit 0.20.3 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.2.1 astunparse 1.6.3 async-timeout 4.0.2
attrs 21.4.0 audioread 3.0.0 Azure-Core 1.28.0
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
backcall 0.2.0 šifra 3.2.0 krásnásoup4 4.11.1
Černé 22.6.0 Bělidla 4.1.0 blikač 1.4
blis 0.7.10 boto3 1.24.28 botocore 1.27.28
cachetools 4.2.4 Katalog 2.0.9 kodéry kategorií 2.6.1
Certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknutí 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 Konfekce 0.1.0 configparser 5.2.0
convertdate 2.4.0 Kryptografie 37.0.1 Cyklovač 0.11.0
cymem 2.0.7 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.17 Databricks-cli 0.17.7 Úložiště funkcí databricks 0.14.0
Databricks-sdk 0.1.6 dataclasses-json 0.5.13 Power BI 2.13.1
dbl-tempo 0.1.23 dbus-python 1.2.18 ladění 1.6.0
Dekoratér 5.1.1 defusedxml 0.7.1 Kopr 0.3.4
diskcache 5.6.1 distlib 0.3.7 docstring-to-markdown 0.12
einops 0.6.1 vstupní body 0,4 ephem 4.1.4
evaluate 0.4.0 Provádění 1.2.0 přehled omezujících vlastností 1.0.3
fastapi 0.98.0 fastjsonschema 2.18.0 fasttext 0.9.2
filelock 3.6.0 flash-attn 1.0.7 Flask 1.1.2+db1
flatbuffers 23.5.26 fonttools 4.25.0 zmrazený seznam 1.4.0
fsspec 2022.7.1 Budoucnosti 0.18.2 Gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-api-core 2.8.2
google-auth 1.33.0 google-auth-oauthlib 0.4.6 google-cloud-core 2.3.3
google-cloud-storage 2.10.0 google-crc32c 1.5.0 google-pasta 0.2.0
google-resumable-media 2.5.0 googleapis-common-protos 1.56.4 zelenálet 1.1.1
grpcio 1.48.1 grpcio-status 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h11 0.14.0 h5py 3.7.0
Dovolená 0.27.1 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 httptools 0.6.0 huggingface-hub 0.16.4
idna 3.3 ImageHash 4.3.1 nevyvážené učení 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.0 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jehodangerous 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgety 1.0.0 keras 2.11.0 Klíčenku 23.5.0
verizonsolver 1.4.2 langchain 0.0.217 langchainplus-sdk 0.0.20
langcodes 3.3.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0.3 libclang 15.0.6.1
librosa 0.10.0 lightgbm 3.3.5 llvmlite 0.38.0
LunárníCalendar 0.0.9 Mako 1.2.0 Markdown 3.3.4
Revize Sejf 2.0.1 Marshmallow 3.20.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 špatně zamyšlení 0.8.4
mleap 0.20.0 mlflow-hubená 2.5.0 more-itertools 8.10.0
msgpack 1.0.5 multidict 6.0.4 multimethod 1.9.1
multiprocess 0.70.12.2 murmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.5.0
nest-asyncio 1.5.5 networkx 2.8.4 Ninja 1.11.1
nltk 3.7 nodeenv 1.8.0 poznámkový blok 6.4.12
numba 0.55.1 numexpr 2.8.4 numpy 1.21.5
oauthlib 3.2.0 openai 0.27.8 openapi-schema-pydantic 1.2.4
opt-einsum 3.3.0 Obalu 21.3 pandas 1.4.4
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.9.0 pathy 0.10.2 Patsy 0.5.2
petastorm 0.12.1 pexpect 4.8.0 Phik 0.12.3
pickleshare 0.7.5 Polštář 9.2.0 Pip 22.2.2
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
pmdarima 2.0.3 Čokl 1.7.0 předběžně připravený 3.0.8
prompt-toolkit 3.0.36 Prorok 1.1.4 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
čistý-eval 0.2.2 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 python-dotenv 1.0.0 python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 23.2.0 Regex 2022.7.9 žádosti 2.28.1
requests-oauthlib 1.3.1 Reakce 0.18.0 Lano 1.7.0
rsa 4,9 s3transfer 0.6.0 safetensors 0.3.1
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 větné transformátory 2.2.2
věta 0.1.99 setuptools 63.4.1 Shap 0.41.0
simplejson 3.17.6 Šest 1.16.0 Průřezu 0.0.7
inteligentní otevření 5.2.1 smmap 5.0.0 sniffio 1.2.0
soundfile 0.12.1 polévky 2.3.1 soxr 0.3.5
spacy 3.5.3 spacy-legacy 3.0.12 spacy-loggers 1.0.4
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.7 ssh-import-id 5,11 stack-data 0.6.2
hvězdicová hvězda 0.27.0 statsmodels 0.13.2 tabulková tabulka 0.8.10
tangled-up-in-unicode 0.2.0 Houževnatost 8.1.0 tensorboard 2.11.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.2 tensorboard-plugin-wit 1.8.1
tensorflow 2.11.1 tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.32.0
termcolor 2.3.0 terminado 0.13.1 testpath 0.6.0
tenká 8.1.10 threadpoolctl 2.2.0 tiktoken 0.4.0
tokenize-rt 4.2.1 tokenizátory 0.13.3 tomli 2.0.1
Pochodeň 1.13.1+cu117 torchvision 0.14.1+cu117 Tornádo 6.1
tqdm 4.64.1 vlastnosti 5.1.1 Transformátory 4.30.2
typeguard 2.13.3 Typer 0.7.0 kontrola psaní 0.9.0
typing_extensions 4.3.0 ujson 5.4.0 bezobslužné upgrady 0,1
urllib3 1.26.11 uvicorn 0.23.1 uvloop 0.17.0
virtualenv 20.16.3 Vize 0.7.5 wadllib 1.3.6
Wasabi 1.1.2 watchfiles 0.19.0 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 websockets 11.0.3
Werkzeug 2.0.3 whatthepatch 1.0.2 Kolo 0.37.1
widgetsnbextension 3.6.1 wordcloud 1.9.2 wrapt 1.14.1
xgboost 1.7.6 xxhash 3.2.0 yapf 0.31.0
yarl 1.9.2 Profilace ydata 4.2.0 zipp 3.8.0

Knihovny jazyka R

Knihovny R jsou stejné jako knihovny R v Databricks Runtime 13.3 LTS.

Knihovny Java a Scala (cluster Scala 2.12)

Kromě knihoven Java a Scala v Databricks Runtime 13.3 LTS obsahuje Databricks Runtime 13.3 LTS ML následující žádosti o přijetí změn:

Clustery procesoru

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clustery GPU

ID skupiny ID artefaktu Verze
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0