databricks Runtime 13.0 for 機器學習 (不支援)
Databricks Runtime 13.0 for 機器學習 提供以 Databricks Runtime 13.0 (不支援)為基礎的機器學習和數據科學的現成環境。 Databricks Runtime ML 包含許多熱門的機器學習連結庫,包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包含 AutoML,這是自動定型機器學習管線的工具。 Databricks Runtime ML 也支援使用 Horovod 的分散式深度學習訓練。
如需詳細資訊,包括建立 Databricks Runtime ML 叢集的指示,請參閱 Databricks 上的 AI 和 機器學習。
新功能和改善
Databricks Runtime 13.0 ML 建置在 Databricks Runtime 13.0 之上。 如需 Databricks Runtime 13.0 新功能的相關信息,包括 Apache Spark MLlib 和 SparkR,請參閱 Databricks Runtime 13.0(不支援) 版本資訊。
Databricks AutoML 的變更
在 Databricks Runtime 13.0 ML 和更新版本中,FedRAMP 合規性的工作區不支援 Databricks AutoML。
如需 Databricks AutoML 的詳細資訊,請參閱 什麼是 AutoML?。
Databricks 功能存放區的增強功能
在執行 Databricks Runtime 13.0 ML 或更新版本之叢集的 Unity 目錄啟用工作區中,您可以將工作區和 Unity 目錄功能數據表發佈至 Cosmos DB 在線商店。
如需 Databricks 功能存放區的詳細資訊,請參閱 什麼是功能存放區?。
系統環境
Databricks Runtime 13.0 ML 中的系統環境與 Databricks Runtime 13.0 不同,如下所示:
- DBUtils:D atabricks Runtime ML 不包含 連結庫公用程式 (dbutils.library) (legacy)。
請改用
%pip
命令。 請參閱 筆記本範圍的 Python 連結庫。 - 針對 GPU 叢集,Databricks Runtime ML 包含下列 NVIDIA GPU 連結庫:
- CUDA 11.7
- cuDNN 8.5.0.96-1
- NCCL 2.15.1
- TensorRT 7.2.2
Databricks Runtime 13.0 ML 包含 XGBoost 1.7.2,其不支援具有 計算功能 5.2 和以下的 GPU 叢集。
miniconda 套件已從 Databricks Runtime 13.0 ML 中移除。
程式庫
下列各節列出 Databricks Runtime 13.0 ML 中包含的連結庫,與 Databricks Runtime 13.0 中包含的連結庫不同。
本節內容:
頂層連結庫
Databricks Runtime 13.0 ML 包含下列最上層 連結庫:
- GraphFrames
- Horovod 和 HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Python 程式庫
Databricks Runtime 13.0 ML 使用 Virtualenv 進行 Python 套件管理,並包含許多熱門 ML 套件。
Databricks Runtime 13.0 ML 引進了下列 Python 連結庫:
- 加速
- datasets
- evaluate
- ydata 分析
除了下列各節中指定的套件之外,Databricks Runtime 13.0 ML 也包含下列套件:
- hyperopt 0.2.7+db3
- sparkdl 3.0.0_db1
- automl 1.17.0
若要在本機 Python 虛擬環境中重現 Databricks Runtime ML Python 環境,請下載 requirements-13.0.txt 檔案並執行 pip install -r requirements-13.0.txt
。 此命令會安裝 Databricks Runtime ML 使用的所有 開放原始碼 連結庫,但不會安裝 Databricks 所開發的連結庫,例如 databricks-automl
、 databricks-feature-store
或 的 hyperopt
Databricks 分支。
CPU 叢集上的 Python 連結庫
程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
---|---|---|---|---|---|
absl-py | 1.0.0 | 加速 | 0.16.0 | aiohttp | 3.8.4 |
aiosignal | 1.3.1 | appdirs | 1.4.4 | argon2-cffi | 21.3.0 |
argon2-cffi-bindings | 21.2.0 | astor | 0.8.1 | asttokens | 2.2.1 |
astunparse | 1.6.3 | async-timeout | 4.0.2 | attrs | 21.4.0 |
azure-core | 1.26.3 | azure-cosmos | 4.3.1b1 | backcall | 0.2.0 |
bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 | black | 22.6.0 |
bleach | 4.1.0 | blinker | 1.4 | 幸福 | 0.7.9 |
boto3 | 1.24.28 | botocore | 1.27.28 | cachetools | 4.2.4 |
目錄 | 2.0.8 | category-encoders | 2.6.0 | certifi | 2022.9.14 |
cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
按一下 | 8.0.4 | cloudpickle | 2.0.0 | cmdstanpy | 1.1.0 |
甜點 | 0.0.4 | configparser | 5.2.0 | convertdate | 2.4.0 |
密碼編譯 | 37.0.1 | cycler | 0.11.0 | cymem | 2.0.7 |
Cython | 0.29.32 | databricks-automl-runtime | 0.2.16 | databricks-cli | 0.17.4 |
databricks-feature-store | 0.11.0 | datasets | 2.10.0 | dbl-tempo | 0.1.12 |
dbus-python | 1.2.18 | debugpy | 1.5.1 | decorator | 5.1.1 |
defusedxml | 0.7.1 | dill | 0.3.4 | diskcache | 5.4.0 |
distlib | 0.3.6 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
ephem | 4.1.4 | evaluate | 0.4.0 | 執行 | 1.2.0 |
facets-overview | 1.0.2 | fastjsonschema | 2.16.3 | fasttext | 0.9.2 |
filelock | 3.6.0 | Flask | 1.1.2 | flatbuffers | 23.3.3 |
fonttools | 4.25.0 | frozenlist | 1.3.3 | fsspec | 2022.7.1 |
future | 0.18.2 | gast | 0.4.0 | gitdb | 4.0.10 |
GitPython | 3.1.27 | google-auth | 1.33.0 | google-auth-oauthlib | 0.4.6 |
google-pasta | 0.2.0 | googleapis-common-protos | 1.56.4 | grpcio | 1.48.1 |
grpcio-status | 1.48.1 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
h5py | 3.7.0 | hijri-converter | 2.2.4 | 假日 | 0.19 |
horovod | 0.27.0 | htmlmin | 0.1.12 | httplib2 | 0.20.2 |
huggingface-hub | 0.13.2 | idna | 3.3 | ImageHash | 4.3.1 |
不平衡學習 | 0.8.1 | importlib-metadata | 4.11.3 | ipykernel | 6.17.1 |
ipython | 8.10.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
isodate | 0.6.1 | itsdangerous | 2.0.1 | jedi | 0.18.1 |
jeepney | 0.7.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
joblib | 1.2.0 | joblibspark | 0.5.1 | jsonschema | 4.16.0 |
jupyter-client | 7.3.4 | jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 |
jupyterlab-widgets | 1.0.0 | keras | 2.11.0 | keyring | 23.5.0 |
kiwisolver | 1.4.2 | 韓曆月曆 | 0.3.1 | langcodes | 3.3.0 |
launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
libclang | 15.0.6.1 | lightgbm | 3.3.5 | llvmlite | 0.38.0 |
LunarCalendar | 0.0.9 | Mako | 1.2.0 | Markdown | 3.3.4 |
MarkupSafe | 2.0.1 | matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 |
mccabe | 0.7.0 | mistune | 0.8.4 | mleap | 0.20.0 |
mlflow-skinny | 2.2.1 | more-itertools | 8.10.0 | multidict | 6.0.4 |
multimethod | 1.9.1 | multiprocess | 0.70.12.2 | murmurhash | 1.0.9 |
mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
nbformat | 5.5.0 | nest-asyncio | 1.5.5 | networkx | 2.8.4 |
nltk | 3.7 | nodeenv | 1.7.0 | notebook | 6.4.12 |
numba | 0.55.1 | numpy | 1.21.5 | oauthlib | 3.2.0 |
opt-einsum | 3.3.0 | 封裝 | 21.3 | pandas | 1.4.4 |
pandas-profiling | 3.6.6 | pandocfilters | 1.5.0 | paramiko | 2.9.2 |
parso | 0.8.3 | pathspec | 0.9.0 | pathy | 0.10.1 |
patsy | 0.5.2 | petastorm | 0.12.1 | pexpect | 4.8.0 |
phik | 0.12.3 | pickleshare | 0.7.5 | Pillow | 9.2.0 |
pip | 22.2.2 | platformdirs | 2.5.2 | plotly | 5.9.0 |
pluggy | 1.0.0 | pmdarima | 2.0.2 | preshed | 3.0.8 |
prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | prophet | 1.1.2 |
protobuf | 3.19.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 7.0.0 |
pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.3 |
pycparser | 2.21 | pydantic | 1.10.6 | pyflakes | 3.0.1 |
Pygments | 2.11.2 | PyGObject | 3.42.1 | PyJWT | 2.3.0 |
PyMeeus | 0.5.12 | PyNaCl | 1.5.0 | pyodbc | 4.0.32 |
pyparsing | 3.0.9 | pyright | 1.1.294 | 火熱 | 0.18.0 |
python-dateutil | 2.8.2 | python-editor | 1.0.4 | python-lsp-jsonrpc | 1.0.0 |
python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 | pytz | 2022.1 |
PyWavelets | 1.3.0 | PyYAML | 6.0 | pyzmq | 23.2.0 |
RegEx | 2022.7.9 | requests | 2.28.1 | requests-oauthlib | 1.3.1 |
反應 | 0.18.0 | 繩 | 1.7.0 | rsa | 4.9 |
s3transfer | 0.6.0 | scikit-learn | 1.1.1 | scipy | 1.9.1 |
seaborn | 0.11.2 | 秘密 儲存體 | 3.3.1 | Send2Trash | 1.8.0 |
setuptools | 63.4.1 | shap | 0.41.0 | simplejson | 3.17.6 |
六次 | 1.16.0 | slicer | 0.0.7 | smart-open | 5.2.1 |
smmap | 5.0.0 | soupsieve | 2.3.1 | spacy | 3.5.0 |
spacy-legacy | 3.0.12 | spacy-loggers | 1.0.4 | spark-tensorflow-distributor | 1.0.0 |
sqlparse | 0.4.2 | srsly | 2.4.6 | ssh-import-id | 5.11 |
stack-data | 0.6.2 | statsmodels | 0.13.2 | tabulate | 0.8.10 |
tangled-up-in-unicode | 0.2.0 | tenacity | 8.0.1 | tensorboard | 2.11.0 |
tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.11.1 | tensorboard-plugin-wit | 1.8.1 |
tensorflow-cpu | 2.11.0 | tensorflow-estimator | 2.11.0 | tensorflow-io-gcs-filesystem | 0.31.0 |
termcolor | 2.2.0 | terminado | 0.13.1 | testpath | 0.6.0 |
thinc | 8.1.9 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
tokenizers | 0.13.2 | tomli | 2.0.1 | 火炬 | 1.13.1+cpu |
torchvision | 0.14.1+cpu | tornado | 6.1 | tqdm | 4.64.1 |
traitlets | 5.1.1 | 變壓器 | 4.26.1 | typeguard | 2.13.3 |
typer | 0.7.0 | typing_extensions | 4.3.0 | ujson | 5.4.0 |
自動升級 | 0.1 | urllib3 | 1.26.11 | virtualenv | 20.16.3 |
願景 | 0.7.5 | wadllib | 1.3.6 | 芥末 | 1.1.1 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 0.58.0 |
Werkzeug | 2.0.3 | whatthepatch | 1.0.2 | wheel | 0.37.1 |
widgetsnbextension | 3.6.1 | wrapt | 1.14.1 | xgboost | 1.7.4 |
xxhash | 3.2.0 | yapf | 0.31.0 | yarl | 1.8.2 |
ydata 分析 | 4.1.0 | zipp | 3.8.0 |
GPU 叢集上的 Python 連結庫
程式庫 | 版本 | 程式庫 | 版本 | 程式庫 | 版本 |
---|---|---|---|---|---|
absl-py | 1.0.0 | 加速 | 0.16.0 | aiohttp | 3.8.4 |
aiosignal | 1.3.1 | appdirs | 1.4.4 | argon2-cffi | 21.3.0 |
argon2-cffi-bindings | 21.2.0 | astor | 0.8.1 | asttokens | 2.2.1 |
astunparse | 1.6.3 | async-timeout | 4.0.2 | attrs | 21.4.0 |
azure-core | 1.26.3 | azure-cosmos | 4.3.1b1 | backcall | 0.2.0 |
bcrypt | 3.2.0 | beautifulsoup4 | 4.11.1 | black | 22.6.0 |
bleach | 4.1.0 | blinker | 1.4 | 幸福 | 0.7.9 |
boto3 | 1.24.28 | botocore | 1.27.28 | cachetools | 4.2.4 |
目錄 | 2.0.8 | category-encoders | 2.6.0 | certifi | 2022.9.14 |
cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
按一下 | 8.0.4 | cloudpickle | 2.0.0 | cmdstanpy | 1.1.0 |
甜點 | 0.0.4 | configparser | 5.2.0 | convertdate | 2.4.0 |
密碼編譯 | 37.0.1 | cycler | 0.11.0 | cymem | 2.0.7 |
Cython | 0.29.32 | databricks-automl-runtime | 0.2.16 | databricks-cli | 0.17.4 |
databricks-feature-store | 0.11.0 | datasets | 2.10.0 | dbl-tempo | 0.1.12 |
dbus-python | 1.2.18 | debugpy | 1.5.1 | decorator | 5.1.1 |
defusedxml | 0.7.1 | dill | 0.3.4 | diskcache | 5.4.0 |
distlib | 0.3.6 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
ephem | 4.1.4 | evaluate | 0.4.0 | 執行 | 1.2.0 |
facets-overview | 1.0.2 | fastjsonschema | 2.16.3 | fasttext | 0.9.2 |
filelock | 3.6.0 | Flask | 1.1.2 | flatbuffers | 23.3.3 |
fonttools | 4.25.0 | frozenlist | 1.3.3 | fsspec | 2022.7.1 |
future | 0.18.2 | gast | 0.4.0 | gitdb | 4.0.10 |
GitPython | 3.1.27 | google-auth | 1.33.0 | google-auth-oauthlib | 0.4.6 |
google-pasta | 0.2.0 | googleapis-common-protos | 1.56.4 | grpcio | 1.48.1 |
grpcio-status | 1.48.1 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
h5py | 3.7.0 | hijri-converter | 2.2.4 | 假日 | 0.19 |
horovod | 0.27.0 | htmlmin | 0.1.12 | httplib2 | 0.20.2 |
huggingface-hub | 0.13.1 | idna | 3.3 | ImageHash | 4.3.1 |
不平衡學習 | 0.8.1 | importlib-metadata | 4.11.3 | ipykernel | 6.17.1 |
ipython | 8.10.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
isodate | 0.6.1 | itsdangerous | 2.0.1 | jedi | 0.18.1 |
jeepney | 0.7.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
joblib | 1.2.0 | joblibspark | 0.5.1 | jsonschema | 4.16.0 |
jupyter-client | 7.3.4 | jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 |
jupyterlab-widgets | 1.0.0 | keras | 2.11.0 | keyring | 23.5.0 |
kiwisolver | 1.4.2 | 韓曆月曆 | 0.3.1 | langcodes | 3.3.0 |
launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
libclang | 15.0.6.1 | lightgbm | 3.3.5 | llvmlite | 0.38.0 |
LunarCalendar | 0.0.9 | Mako | 1.2.0 | Markdown | 3.3.4 |
MarkupSafe | 2.0.1 | matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 |
mccabe | 0.7.0 | mistune | 0.8.4 | mleap | 0.20.0 |
mlflow-skinny | 2.2.1 | more-itertools | 8.10.0 | multidict | 6.0.4 |
multimethod | 1.9.1 | multiprocess | 0.70.12.2 | murmurhash | 1.0.9 |
mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
nbformat | 5.5.0 | nest-asyncio | 1.5.5 | networkx | 2.8.4 |
nltk | 3.7 | nodeenv | 1.7.0 | notebook | 6.4.12 |
numba | 0.55.1 | numpy | 1.21.5 | oauthlib | 3.2.0 |
opt-einsum | 3.3.0 | 封裝 | 21.3 | pandas | 1.4.4 |
pandas-profiling | 3.6.6 | pandocfilters | 1.5.0 | paramiko | 2.9.2 |
parso | 0.8.3 | pathspec | 0.9.0 | pathy | 0.10.1 |
patsy | 0.5.2 | petastorm | 0.12.1 | pexpect | 4.8.0 |
phik | 0.12.3 | pickleshare | 0.7.5 | Pillow | 9.2.0 |
pip | 22.2.2 | platformdirs | 2.5.2 | plotly | 5.9.0 |
pluggy | 1.0.0 | pmdarima | 2.0.2 | preshed | 3.0.8 |
prompt-toolkit | 3.0.36 | prophet | 1.1.2 | protobuf | 3.19.4 |
psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pure-eval | 0.2.2 | pyarrow | 7.0.0 | pyasn1 | 0.4.8 |
pyasn1-modules | 0.2.8 | pybind11 | 2.10.3 | pycparser | 2.21 |
pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyMeeus | 0.5.12 |
PyNaCl | 1.5.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
pyright | 1.1.294 | 火熱 | 0.18.0 | python-dateutil | 2.8.2 |
python-editor | 1.0.4 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
pytoolconfig | 1.2.2 | pytz | 2022.1 | PyWavelets | 1.3.0 |
PyYAML | 6.0 | pyzmq | 23.2.0 | RegEx | 2022.7.9 |
requests | 2.28.1 | requests-oauthlib | 1.3.1 | 反應 | 0.18.0 |
繩 | 1.7.0 | rsa | 4.9 | s3transfer | 0.6.0 |
scikit-learn | 1.1.1 | scipy | 1.9.1 | seaborn | 0.11.2 |
秘密 儲存體 | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 63.4.1 |
shap | 0.41.0 | simplejson | 3.17.6 | 六次 | 1.16.0 |
slicer | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
soupsieve | 2.3.1 | spacy | 3.5.0 | spacy-legacy | 3.0.12 |
spacy-loggers | 1.0.4 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 |
srsly | 2.4.6 | ssh-import-id | 5.11 | stack-data | 0.6.2 |
statsmodels | 0.13.2 | tabulate | 0.8.10 | tangled-up-in-unicode | 0.2.0 |
tenacity | 8.0.1 | tensorboard | 2.11.0 | tensorboard-data-server | 0.6.1 |
tensorboard-plugin-profile | 2.11.1 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.11.0 |
tensorflow-estimator | 2.11.0 | tensorflow-io-gcs-filesystem | 0.31.0 | termcolor | 2.2.0 |
terminado | 0.13.1 | testpath | 0.6.0 | thinc | 8.1.9 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tokenizers | 0.13.2 |
tomli | 2.0.1 | 火炬 | 1.13.1+cu117 | torchvision | 0.14.1+cu117 |
tornado | 6.1 | tqdm | 4.64.1 | traitlets | 5.1.1 |
變壓器 | 4.26.1 | typeguard | 2.13.3 | typer | 0.7.0 |
typing_extensions | 4.3.0 | ujson | 5.4.0 | 自動升級 | 0.1 |
urllib3 | 1.26.11 | virtualenv | 20.16.3 | 願景 | 0.7.5 |
wadllib | 1.3.6 | 芥末 | 1.1.1 | wcwidth | 0.2.5 |
webencodings | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.0.3 |
whatthepatch | 1.0.2 | wheel | 0.37.1 | widgetsnbextension | 3.6.1 |
wrapt | 1.14.1 | xgboost | 1.7.4 | xxhash | 3.2.0 |
yapf | 0.31.0 | yarl | 1.8.2 | ydata 分析 | 4.1.0 |
zipp | 3.8.0 |
R 程式庫
R 連結庫與 Databricks Runtime 13.0 中的 R 連結庫 相同。
Java 和 Scala 連結庫 (Scala 2.12 叢集)
除了 Databricks Runtime 13.0 中的 Java 和 Scala 連結庫之外,Databricks Runtime 13.0 ML 還包含下列 JAR:
CPU 叢集
群組識別碼 | 成品標識碼 | 版本 |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
ml.dmlc | xgboost4j_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
org.mlflow | mlflow-client | 2.2.1 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU 叢集
群組識別碼 | 成品標識碼 | 版本 |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
org.mlflow | mlflow-client | 2.2.1 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |