Databricks Runtime 11.3 LTS pro machine Učení
Databricks Runtime 11.3 LTS pro strojové Učení poskytuje připravené prostředí pro strojové učení a datové vědy založené na databricks Runtime 11.3 LTS. Databricks Runtime ML obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch a XGBoost. Databricks Runtime ML zahrnuje AutoML, nástroj pro automatické trénování kanálů strojového učení. Databricks Runtime ML také podporuje distribuované trénování hlubokého učení pomocí Horovodu.
Poznámka:
LTS znamená, že tato verze je dlouhodobě podporována. Viz životní cyklus verze LTS modulu Databricks Runtime.
Další informace, včetně pokynů k vytvoření clusteru Databricks Runtime ML, najdete v tématu AI a machine Učení v Databricks.
Nové funkce a vylepšení
Databricks Runtime 11.3 LTS ML je postaven na Databricks Runtime 11.3 LTS. Informace o novinkách v Databricks Runtime 11.3 LTS, včetně Apache Spark MLlib a SparkR, najdete v poznámkách k verzi Databricks Runtime 11.3 LTS .
Vylepšení Databricks AutoML
Databricks AutoML teď podporuje použití existujících tabulek funkcí úložiště funkcí v experimentech AutoML. Podrobnosti najdete v tématu Integrace úložiště funkcí.
Zkušební poznámkové bloky vygenerované službou AutoML teď obsahují fragmenty kódu, které uživatelům umožňují znovu spustit ladění hyperparametrů.
AutoML teď podporuje DecimalType funkce.
Opravy chyb
Databricks Runtime 11.3 LTS ML obsahuje upgradovanou verzi sparkdl.xgboost. Předchozí verze sparkdl.xgboost obsahují chyby opravené v této verzi, takže Databricks doporučuje uživatelům upgradu knihovny na Databricks Runtime 11.3 LTS ML.
Příprava na budoucí verze
Připravovaná verze Databricks Runtime ML bude obsahovat sklearn verzi 1.0. sklearnInformace o tom, jak se na tuto změnu připravit, najdete v dokumentaci.
Databricks Runtime ML obsahuje dva openblas balíčky. Balíček /opt/OpenBLAS je zastaralý v Databricks Runtime 11.3 LTS ML a v nadcházející verzi se odebere.
Prostředí systému
Systémové prostředí v Databricks Runtime 11.3 LTS ML se liší od Databricks Runtime 11.3 LTS následujícím způsobem:
- DBUtils: Databricks Runtime ML nezahrnuje nástroj knihovny (dbutils.library) (starší verze).
Místo toho použijte
%pippříkazy. Další informace najdete v tématu Knihovny Pythonu v rámci poznámkových bloků - Pro clustery GPU zahrnuje Databricks Runtime ML následující knihovny NVIDIA GPU:
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Databricks Runtime 11.3 LTS ML zahrnuje XGBoost 1.6.1, který nepodporuje clustery GPU s výpočetní schopností 5.2 a nižší.
Knihovny
Následující části obsahují seznam knihoven zahrnutých v Databricks Runtime 11.3 LTS ML, které se liší od knihoven zahrnutých v Databricks Runtime 11.3 LTS.
V této části:
- Knihovny nejvyšší úrovně
- Knihovny Pythonu
- Knihovny jazyka R
- Knihovny Java a Scala (cluster Scala 2.12)
Knihovny nejvyšší úrovně
Databricks Runtime 11.3 LTS ML obsahuje následující knihovny nejvyšší úrovně:
- GraphFrames
- Horovod a HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Knihovny Pythonu
Databricks Runtime 11.3 LTS ML používá Virtualenv ke správě balíčků Pythonu a obsahuje mnoho oblíbených balíčků ML.
Kromě balíčků uvedených v následujících částech obsahuje Databricks Runtime 11.3 LTS ML také následující balíčky:
- hyperopt 0.2.7.db1
- sparkdl 2.3.0-db3
- feature_store 0.7.0
- automl 1.13.2
Pokud chcete reprodukovat prostředí Databricks Runtime ML Python v místním virtuálním prostředí Pythonu, stáhněte si soubor requirements-11.3.txt a spusťte pip install -r requirements-11.3.txt. Tento příkaz nainstaluje všechny opensourcové knihovny, které databricks Runtime ML používá, ale neinstaluje knihovny vyvinuté službou Databricks, například databricks-automl, databricks-feature-storenebo fork Databricks fork hyperopt.
Knihovny Pythonu v clusterech procesorů
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1,10 | attrs | 21.2.0 |
| Azure-Core | 1.22.1 | azure-cosmos | 4.2.0 | backcall | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | šifra | 4.0.0 | Černé | 22.3.0 |
| Bělidla | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | Katalog | 2.0.8 |
| Certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kliknutí | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | Konfekce | 0.0.1 | configparser | 5.2.0 |
| convertdate | 2.4.0 | Kryptografie | 3.4.8 | Cyklovač | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| Databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| ladění | 1.4.1 | Dekoratér | 5.1.0 | defusedxml | 0.7.1 |
| Kopr | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| vstupní body | 0.3 | ephem | 4.1.3 | přehled omezujících vlastností | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Budoucnosti | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | Dovolená | 0.15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| idna | 3.2 | ImageHash | 4.3.0 | nevyvážené učení | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| jehodangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgety | 1.0.0 | keras | 2.9.0 |
| Předběžné zpracování Kerasu | 1.1.2 | verizonsolver | 1.3.1 | korejský lunární kalendář | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | LunárníCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | Revize Sejf | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | špatně zamyšlení | 0.8.4 |
| mleap | 0.20.0 | mlflow-hubená | 1.29.0 | multimethod | 1,9 |
| murmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | poznámkový blok | 6.4.5 |
| numba | 0.54.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | Obalu | 21.0 | pandas | 1.3.4 |
| profilace pandas | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | pathy | 0.6.2 |
| Patsy | 0.5.2 | petastorm | 0.11.4 | pexpect | 4.8.0 |
| Phik | 0.12.2 | pickleshare | 0.7.5 | Polštář | 8.4.0 |
| Pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | předběžně připravený | 3.0.7 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | Prorok | 1.0.1 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser | 2,20 | pydantic | 1.9.2 |
| Pygments | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.5.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| pyparsing | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-dateutil | 2.8.2 | python-editor | 1.0.4 | pytz | 2021.3 |
| PyWavelets | 1.1.1 | PyYAML | 6.0 | pyzmq | 22.2.1 |
| Regex | 2021.8.3 | žádosti | 2.26.0 | requests-oauthlib | 1.3.1 |
| requests-unixsocket | 0.2.0 | rsa | 4,9 | s3transfer | 0.5.2 |
| scikit-learn | 0.24.2 | scipy | 1.7.1 | seaborn | 0.11.3 |
| Send2Trash | 1.8.0 | setuptools | 58.0.4 | setuptools-git | 1.2 |
| Shap | 0.41.0 | simplejson | 3.17.6 | Šest | 1.16.0 |
| Průřezu | 0.0.7 | inteligentní otevření | 5.2.1 | smmap | 5.0.0 |
| spacy | 3.4.1 | spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | srsly | 2.4.4 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | tabulková tabulka | 0.8.9 |
| tangled-up-in-unicode | 0.1.0 | Houževnatost | 8.0.1 | tensorboard | 2.9.1 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 |
| tensorflow-cpu | 2.9.1 | tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 |
| termcolor | 2.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| tenká | 8.1.2 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tokenizátory | 0.12.1 | tomli | 2.0.1 | Pochodeň | 1.12.1+cpu |
| torchvision | 0.13.1+cpu | Tornádo | 6.1 | tqdm | 4.62.3 |
| vlastnosti | 5.1.0 | Transformátory | 4.21.2 | Typer | 0.4.2 |
| typing-extensions | 3.10.0.2 | ujson | 4.0.2 | bezobslužné upgrady | 0,1 |
| urllib3 | 1.26.7 | virtualenv | 20.8.0 | Vize | 0.7.4 |
| Wasabi | 0.10.1 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 1.3.1 | Werkzeug | 2.0.2 | Kolo | 0.37.0 |
| widgetsnbextension | 3.6.0 | wrapt | 1.12.1 | xgboost | 1.6.2 |
| zipp | 3.6.0 |
Knihovny Pythonu v clusterech GPU
| Knihovna | Verze | Knihovna | Verze | Knihovna | Verze |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | Astor | 0.8.1 |
| astunparse | 1.6.3 | async-generator | 1,10 | attrs | 21.2.0 |
| Azure-Core | 1.22.1 | azure-cosmos | 4.2.0 | backcall | 0.2.0 |
| backports.entry-points-selectable | 1.1.1 | šifra | 4.0.0 | Černé | 22.3.0 |
| Bělidla | 4.0.0 | blis | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | cachetools | 5.2.0 | Katalog | 2.0.8 |
| Certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | kliknutí | 8.0.3 | cloudpickle | 2.0.0 |
| cmdstanpy | 0.9.68 | Konfekce | 0.0.1 | configparser | 5.2.0 |
| convertdate | 2.4.0 | Kryptografie | 3.4.8 | Cyklovač | 0.10.0 |
| cymem | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime | 0.2.11 |
| Databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| ladění | 1.4.1 | Dekoratér | 5.1.0 | defusedxml | 0.7.1 |
| Kopr | 0.3.4 | diskcache | 5.4.0 | distlib | 0.3.6 |
| vstupní body | 0.3 | ephem | 4.1.3 | přehled omezujících vlastností | 1.0.0 |
| fasttext | 0.9.2 | filelock | 3.3.1 | Flask | 1.1.2 |
| flatbuffers | 1.12 | fsspec | 2021.8.1 | Budoucnosti | 0.18.2 |
| Gast | 0.4.0 | gitdb | 4.0.9 | GitPython | 3.1.27 |
| google-auth | 2.6.0 | google-auth-oauthlib | 0.4.6 | google-pasta | 0.2.0 |
| grpcio | 1.44.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | hijri-converter | 2.2.4 | Dovolená | 0.15 |
| horovod | 0.25.0 | htmlmin | 0.1.12 | huggingface-hub | 0.9.1 |
| idna | 3.2 | ImageHash | 4.3.0 | nevyvážené učení | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | isodate | 0.6.1 |
| jehodangerous | 2.0.1 | Jedi | 0.18.0 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | joblibspark | 0.5.0 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgety | 1.0.0 | keras | 2.9.0 |
| Předběžné zpracování Kerasu | 1.1.2 | verizonsolver | 1.3.1 | korejský lunární kalendář | 0.3.1 |
| langcodes | 3.3.0 | libclang | 14.0.6 | lightgbm | 3.3.2 |
| llvmlite | 0.37.0 | LunárníCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | Revize Sejf | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | missingno | 0.5.1 | špatně zamyšlení | 0.8.4 |
| mleap | 0.20.0 | mlflow-hubená | 1.29.0 | multimethod | 1,9 |
| murmurhash | 1.0.8 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | poznámkový blok | 6.4.5 |
| numba | 0.54.1 | numpy | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | Obalu | 21.0 | pandas | 1.3.4 |
| profilace pandas | 3.1.0 | pandocfilters | 1.4.3 | paramiko | 2.9.2 |
| parso | 0.8.2 | pathspec | 0.9.0 | pathy | 0.6.2 |
| Patsy | 0.5.2 | petastorm | 0.11.4 | pexpect | 4.8.0 |
| Phik | 0.12.2 | pickleshare | 0.7.5 | Polštář | 8.4.0 |
| Pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | předběžně připravený | 3.0.7 | prompt-toolkit | 3.0.20 |
| Prorok | 1.0.1 | protobuf | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 |
| pycparser | 2,20 | pydantic | 1.9.2 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | PyJWT | 2.5.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | pystan | 2.19.1.1 | python-dateutil | 2.8.2 |
| python-editor | 1.0.4 | pytz | 2021.3 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | Regex | 2021.8.3 |
| žádosti | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| rsa | 4,9 | s3transfer | 0.5.2 | scikit-learn | 0.24.2 |
| scipy | 1.7.1 | seaborn | 0.11.3 | Send2Trash | 1.8.0 |
| setuptools | 58.0.4 | setuptools-git | 1.2 | Shap | 0.41.0 |
| simplejson | 3.17.6 | Šest | 1.16.0 | Průřezu | 0.0.7 |
| inteligentní otevření | 5.2.1 | smmap | 5.0.0 | spacy | 3.4.1 |
| spacy-legacy | 3.0.10 | spacy-loggers | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.4 | ssh-import-id | 5.10 |
| statsmodels | 0.12.2 | tabulková tabulka | 0.8.9 | tangled-up-in-unicode | 0.1.0 |
| Houževnatost | 8.0.1 | tensorboard | 2.9.1 | tensorboard-data-server | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | tensorboard-plugin-wit | 1.8.1 | tensorflow | 2.9.1 |
| tensorflow-estimator | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 | termcolor | 2.0.1 |
| terminado | 0.9.4 | testpath | 0.5.0 | tenká | 8.1.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tokenizátory | 0.12.1 |
| tomli | 2.0.1 | Pochodeň | 1.12.1+cu113 | torchvision | 0.13.1+cu113 |
| Tornádo | 6.1 | tqdm | 4.62.3 | vlastnosti | 5.1.0 |
| Transformátory | 4.21.2 | Typer | 0.4.2 | typing-extensions | 3.10.0.2 |
| ujson | 4.0.2 | bezobslužné upgrady | 0,1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | Vize | 0.7.4 | Wasabi | 0.10.1 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | websocket-client | 1.3.1 |
| Werkzeug | 2.0.2 | Kolo | 0.37.0 | widgetsnbextension | 3.6.0 |
| wrapt | 1.12.1 | xgboost | 1.6.2 | zipp | 3.6.0 |
Knihovny jazyka R
Knihovny R jsou stejné jako knihovny R v Databricks Runtime 11.3 LTS.
Knihovny Java a Scala (cluster Scala 2.12)
Kromě knihoven Java a Scala v Databricks Runtime 11.3 LTS obsahuje Databricks Runtime 11.3 LTS ML následující žádosti o přijetí změn:
Clustery procesoru
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
Clustery GPU
| ID skupiny | ID artefaktu | Verze |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |