Databricks Runtime 14.0 para Machine Learning (sem suporte)

O Databricks Runtime 14.0 for Machine Learning fornece um ambiente pronto para uso para aprendizado de máquina e ciência de dados com base no Databricks Runtime 14.0 (sem suporte). O Databricks Runtime ML contém muitas bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinar automaticamente pipelines de aprendizado de máquina. O Databricks Runtime ML também suporta treinamento distribuído de aprendizado profundo usando o Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, consulte IA e Machine Learning no Databricks.

Novos recursos e melhorias

O Databricks Runtime 14.0 ML é construído sobre o Databricks Runtime 14.0. Para obter informações sobre o que há de novo no Databricks Runtime 14.0, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 14.0 (sem suporte).

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 14.0 ML difere do Databricks Runtime 14.0 da seguinte maneira:

O Databricks Runtime 14.0 ML inclui o XGBoost 1.7.6, que não suporta clusters de GPU com capacidade de computação 5.2 e inferior.

Os seguintes pacotes que foram incluídos em versões anteriores do Databricks Runtime ML foram removidos no Databricks Runtime 14.0 ML:

  • miniconda |
  • MLeap

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 14.0 ML que diferem daquelas incluídas no Databricks Runtime 14.0.

Nesta secção:

Bibliotecas de nível superior

O Databricks Runtime 14.0 ML inclui as seguintes bibliotecas de camada superior:

Bibliotecas Python

O Databricks Runtime 14.0 ML usa o Virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 14.0 ML também inclui os seguintes pacotes:

  • Hiperopt 0.2.7+DB4
  • Sparkdl 3.0.0_db1
  • AutoML 1.21.1

Para reproduzir o ambiente Databricks Runtime ML Python em seu ambiente virtual Python local, baixe o arquivo requirements-14.0.txt e execute pip install -r requirements-14.0.txt. Este comando instala todas as bibliotecas de código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-storeou a bifurcação Databricks do hyperopt.

Bibliotecas Python em clusters de CPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 0.21.0 AIOHTTP 3.8.5
aiosignal 1.3.1 Anyio 3.5.0 Appdirs 1.4.4
Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0 Astor 0.8.1
AstTokens 2.0.5 Astunparse 1.6.3 tempo limite assíncrono 4.0.3
ATRs 22.1.0 leitura de áudio 3.0.0 azure-core 1.29.1
Azure-Cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
Backcall 0.2.0 Cripta 3.2.0 sopa bonita4 4.11.1
preto 22.6.0 lixívia 4.1.0 pisca-pisca 1.4
Blis 0.7.10 boto3 1.24.28 botocore 1.27.96
Ferramentas de cache 5.3.1 catálogo 2.0.9 categoria-codificadores 2.6.1
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 Cloudpickle 2.0.0
CMDSTANPY 1.1.0 Comm 0.1.2 Confeção 0.1.1
ConfigParser 5.2.0 contorno 1.0.5 convertdate 2.4.0
criptografia 39.0.1 cycler 0.11.0 cymem 2.0.7
Quisto 0.29.32 dacite 1.8.1 databricks-automl-runtime 0.2.18
databricks-cli 0.17.7 databricks-feature-store 0.14.1 Databricks-SDK 0.1.6
DataClasses-JSON 0.5.14 conjuntos de dados 2.14.1 DBL-TEMPO 0.1.23
dbus-python 1.2.18 depuração 1.6.7 decorador 5.1.1
velocidade profunda 0.10.0 DeUsedXML 0.7.1 endro 0.3.6
cache de disco 5.6.1 Distlib 0.3.7 docstring-para-markdown 0,11
pontos de entrada 0.4 Ephem 4.1.4 evaluate 0.4.0
execução 0.8.3 facetas-visão geral 1.1.1 fastapi 0.98.0
fastjsonschema 2.18.0 texto rápido 0.9.2 filelock 3.9.0
Flask 2.2.5 flatbuffers 23.5.26 Fonttools 4.25.0
Frozenlist 1.4.0 FSspec 2022.11.0 Futuro 0.18.3
gast 0.4.0 Biblioteca de tempo de execução do GCC 1.10.0 GitDB 4.0.10
GitPython 3.1.27 google-api-core 2.11.1 Google-Auth 2.21.0
google-auth-oauthlib 1.0.0 google-nuvem-core 2.3.3 google-nuvem-armazenamento 2.10.0
Google-CRC32C 1.5.0 google-massas 0.2.0 google-retomable-media 2.5.0
googleapis-comuns-protos 1.60.0 Greenlet 2.0.1 Grpcio 1.48.2
grpcio-status 1.48.1 Gunicorn 20.1.0 GVIZ-API 1.10.0
h11 0.14.0 H5PY 3.7.0 HJSON 3.1.0
feriados 0.28 Horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 ferramentas http 0.6.0 abraçar-face-hub 0.14.1
idna 3.4 ImagemHash 4.3.1 aprendizagem desequilibrada 0.10.1
importlib-metadados 4.11.3 importlib-recursos 6.0.1 Ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodato 0.6.1 é perigoso 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
Joblib 1.2.0 Joblibspark 0.5.1 jsonschema 4.17.3
jupyter-cliente 7.3.4 jupyter-servidor 1.23.4 jupyter_core 5.2.0
Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.13.1
porta-chaves 23.5.0 Kiwisolver 1.4.4 langchain 0.0.225
langchainplus-sdk 0.0.20 códigos de lang 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.3
libclang 15.0.6.1 librosa 0.10.0 LightGBM 3.3.5
llvmlite 0.39.1 LunarCalendário 0.0.9 lxml 4.9.1
Mako 1.2.0 Markdown 3.4.1 MarkupSafe 2.1.1
Marshmallow 3.20.1 matplotlib 3.7.0 matplotlib-em linha 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 mlflow-magro 2.5.0
mais-itertools 8.10.0 MPMmath 1.2.1 msgpack 1.0.5
multiditado 6.0.4 multimétodo 1.9.1 multiprocesso 0.70.14
Murmurhash 1.0.9 mypy-extensões 0.4.3 NBMédico 0.5.2
nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0
Ninho-Asyncio 1.5.6 redex 2.8.4 ninja 1.11.1
NLTK 3.7 nodeenv 1.8.0 bloco de notas 6.5.2
notebook_shim 0.2.2 numba 0.56.4 numexpr 2.8.4
numpy 1.23.5 OAuthlib 3.2.0 openai 0.27.8
openapi-esquema-pidântico 1.2.4 opt-einsum 3.3.0 embalagem 22.0
pandas 1.5.3 PandocFilters 1.5.0 Paramiko 2.9.2
Parso 0.8.3 PathSpec 0.10.3 Patia 0.10.2
patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
Phik 0.12.3 pickleshare 0.7.5 Travesseiro 9.4.0
pip 22.3.1 plataformadirs 2.5.2 enredo 5.9.0
pluggy 1.0.0 PMDARIMA 2.0.3 cachorrinho 1.4.0
Preshed 3.0.8 Prometheus-cliente 0.14.1 prompt-toolkit 3.0.36
profeta 1.1.4 protobuf 4.24.0 PSUTIL 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 puro-eval 0.2.2
py-cpuinfo 9.0.0 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-módulos 0.2.8 Pybind11 2.11.1 pycparser 2.21
Pidântico 1.10.6 Pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 Pyodbc 4.0.32 pyparsing 3.0.9
Pyright 1.1.294 pirsistent 0.18.0 Pytesseract 0.3.10
python-dateutil 2.8.2 Python-Dotenv 1.0.0 python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-servidor 1.7.1 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
Pyzmq 23.2.0 regex 2022.7.9 pedidos 2.28.1
pedidos-oauthlib 1.3.1 Respostas 0.18.0 corda 1.7.0
RSA 4,9 s3transferir 0.6.2 Safetensores 0.3.2
scikit-learn 1.1.1 seaborn 0.12.2 Armazenamento Secreto 3.3.1
Enviar2Lixo 1.8.0 transformadores de sentenças 2.2.2 Peça de frase 0.1.99
setuptools 65.6.3 PASP 0.41.0 simplejson 3.17.6
seis 1.16.0 segmentação de dados 0.0.7 inteligente-aberto 5.2.1
smmap 5.0.0 sniffio 1.2.0 arquivo de som 0.12.1
Soupsieve 2.3.2.post1 SOXR 0.3.6 espaçado 3.5.4
Spacy-legado 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 SQLPARSE 0.4.2 SRSLY 2.4.7
ssh-import-id 5.11 dados de pilha 0.2.0 Starlette 0.27.0
statsmodels 0.13.5 Sympy 1.11.1 tabular 0.8.10
emaranhado em unicode 0.2.0 tenacidade 8.1.0 TensorBoard 2.13.0
Tensorboard-Data-Server 0.7.1 Tensorboard-plugin-profile 2.13.0 TensorFlow-CPU 2.13.0
TensorFlow-Estimador 2.13.0 TensorFlow-IO-GCS-FileSystem 0.33.0 Termcolor 2.3.0
terminado 0.17.1 fino 8.1.12 ThreadPoolCtl 2.2.0
tiktoken 0.4.0 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizadores 0.13.3 Tomli 2.0.1 tocha 2.0.1+CPU
Torchvision 0.15.2+CPU tornado 6.1 TQDM 4.64.1
traços 5.7.1 transformadores 4.31.0 Protetor de Tipografia 2.13.3
datilógrafo 0.9.0 digitação-inspeção 0.9.0 typing_extensions 4.4.0
Ujson 5.4.0 Upgrades autônomos 0.1 urllib3 1.26.14
Uvicórnio 0.23.2 UVLOOP [en] 0.17.0 virtualenv 20.16.7
visões 0.7.5 wadllib 1.3.6 Wasabi 1.1.2
arquivos de observação 0.19.0 largura de wc 0.2.5 WebEncodings 0.5.1
Websocket-cliente 0.58.0 WebSockets 11.0.3 Werkzeug 2.2.2
whatthepatch 1.0.2 roda 0.38.4 widgetsnbextension 3.6.1
nuvem de palavras 1.9.2 embrulhado 1.14.1 xgboost 1.7.6
xxhash 3.3.0 Yapf 0.31.0 fios 1.9.2
ydata-profiling 4.2.0 zipp | 3.11.0

Bibliotecas Python em clusters GPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ABSL-PY 1.0.0 acelerar 0.21.0 AIOHTTP 3.8.5
aiosignal 1.3.1 Anyio 3.5.0 Appdirs 1.4.4
Argônio2-CFFI 21.3.0 argon2-cffi-ligações 21.2.0 Astor 0.8.1
AstTokens 2.0.5 Astunparse 1.6.3 tempo limite assíncrono 4.0.3
ATRs 22.1.0 leitura de áudio 3.0.0 azure-core 1.29.1
Azure-Cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
Backcall 0.2.0 Cripta 3.2.0 sopa bonita4 4.11.1
preto 22.6.0 lixívia 4.1.0 pisca-pisca 1.4
Blis 0.7.10 boto3 1.24.28 botocore 1.27.96
Ferramentas de cache 5.3.1 catálogo 2.0.9 categoria-codificadores 2.6.1
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
Normalizador de Charset 2.0.4 clicar 8.0.4 Cloudpickle 2.0.0
cmake 3.27.2 CMDSTANPY 1.1.0 Comm 0.1.2
Confeção 0.1.1 ConfigParser 5.2.0 contorno 1.0.5
convertdate 2.4.0 criptografia 39.0.1 cycler 0.11.0
cymem 2.0.7 Quisto 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.18 databricks-cli 0.17.7 databricks-feature-store 0.14.1
Databricks-SDK 0.1.6 DataClasses-JSON 0.5.14 conjuntos de dados 2.14.1
DBL-TEMPO 0.1.23 dbus-python 1.2.18 depuração 1.6.7
decorador 5.1.1 velocidade profunda 0.10.0 DeUsedXML 0.7.1
endro 0.3.6 cache de disco 5.6.1 Distlib 0.3.7
docstring-para-markdown 0,11 einops 0.6.1 pontos de entrada 0.4
Ephem 4.1.4 evaluate 0.4.0 execução 0.8.3
facetas-visão geral 1.1.1 fastapi 0.98.0 fastjsonschema 2.18.0
texto rápido 0.9.2 filelock 3.9.0 flash-attn 2.0.1
Flask 2.2.5 flatbuffers 23.5.26 Fonttools 4.25.0
Frozenlist 1.4.0 FSspec 2022.11.0 Futuro 0.18.3
gast 0.4.0 Biblioteca de tempo de execução do GCC 1.10.0 GitDB 4.0.10
GitPython 3.1.27 google-api-core 2.11.1 Google-Auth 2.21.0
google-auth-oauthlib 1.0.0 google-nuvem-core 2.3.3 google-nuvem-armazenamento 2.10.0
Google-CRC32C 1.5.0 google-massas 0.2.0 google-retomable-media 2.5.0
googleapis-comuns-protos 1.60.0 Greenlet 2.0.1 Grpcio 1.48.2
grpcio-status 1.48.1 Gunicorn 20.1.0 GVIZ-API 1.10.0
h11 0.14.0 H5PY 3.7.0 HJSON 3.1.0
feriados 0.28 Horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 ferramentas http 0.6.0 abraçar-face-hub 0.14.1
idna 3.4 ImagemHash 4.3.1 aprendizagem desequilibrada 0.10.1
importlib-metadados 4.11.3 importlib-recursos 6.0.1 Ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Isodato 0.6.1 é perigoso 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 3.1.2 jmespath 0.10.0
Joblib 1.2.0 Joblibspark 0.5.1 jsonschema 4.17.3
jupyter-cliente 7.3.4 jupyter-servidor 1.23.4 jupyter_core 5.2.0
Jupyterlab-Pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.13.1
porta-chaves 23.5.0 Kiwisolver 1.4.4 langchain 0.0.225
langchainplus-sdk 0.0.20 códigos de lang 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.3
libclang 15.0.6.1 librosa 0.10.0 LightGBM 3.3.5
aceso 16.0.6 llvmlite 0.39.1 LunarCalendário 0.0.9
lxml 4.9.1 Mako 1.2.0 Markdown 3.4.1
MarkupSafe 2.1.1 Marshmallow 3.20.1 matplotlib 3.7.0
matplotlib-em linha 0.1.6 Mccabe 0.7.0 Mistune 0.8.4
mlflow-magro 2.5.0 mais-itertools 8.10.0 MPMmath 1.2.1
msgpack 1.0.5 multiditado 6.0.4 multimétodo 1.9.1
multiprocesso 0.70.14 Murmurhash 1.0.9 mypy-extensões 0.4.3
NBMédico 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 Ninho-Asyncio 1.5.6 redex 2.8.4
ninja 1.11.1 NLTK 3.7 nodeenv 1.8.0
bloco de notas 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numexpr 2.8.4 numpy 1.23.5 OAuthlib 3.2.0
openai 0.27.8 openapi-esquema-pidântico 1.2.4 opt-einsum 3.3.0
embalagem 22.0 pandas 1.5.3 PandocFilters 1.5.0
Paramiko 2.9.2 Parso 0.8.3 PathSpec 0.10.3
Patia 0.10.2 patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 Phik 0.12.3 pickleshare 0.7.5
Travesseiro 9.4.0 pip 22.3.1 plataformadirs 2.5.2
enredo 5.9.0 pluggy 1.0.0 PMDARIMA 2.0.3
cachorrinho 1.4.0 Preshed 3.0.8 prompt-toolkit 3.0.36
profeta 1.1.4 protobuf 4.24.0 PSUTIL 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 puro-eval 0.2.2
py-cpuinfo 9.0.0 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-módulos 0.2.8 Pybind11 2.11.1 pycparser 2.21
Pidântico 1.10.6 Pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 Pyodbc 4.0.32 pyparsing 3.0.9
Pyright 1.1.294 pirsistent 0.18.0 Pytesseract 0.3.10
python-dateutil 2.8.2 Python-Dotenv 1.0.0 python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-servidor 1.7.1 pytoolconfig 1.2.5
pytz 2022.7 PyWavelets 1.4.1 PyYAML 6,0
Pyzmq 23.2.0 regex 2022.7.9 pedidos 2.28.1
pedidos-oauthlib 1.3.1 Respostas 0.18.0 corda 1.7.0
RSA 4,9 s3transferir 0.6.2 Safetensores 0.3.2
scikit-learn 1.1.1 seaborn 0.12.2 Armazenamento Secreto 3.3.1
Enviar2Lixo 1.8.0 transformadores de sentenças 2.2.2 Peça de frase 0.1.99
setuptools 65.6.3 PASP 0.41.0 simplejson 3.17.6
seis 1.16.0 segmentação de dados 0.0.7 inteligente-aberto 5.2.1
smmap 5.0.0 sniffio 1.2.0 arquivo de som 0.12.1
Soupsieve 2.3.2.post1 SOXR 0.3.6 espaçado 3.5.4
Spacy-legado 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 SQLPARSE 0.4.2 SRSLY 2.4.7
ssh-import-id 5.11 dados de pilha 0.2.0 Starlette 0.27.0
statsmodels 0.13.5 Sympy 1.11.1 tabular 0.8.10
emaranhado em unicode 0.2.0 tenacidade 8.1.0 TensorBoard 2.13.0
Tensorboard-Data-Server 0.7.1 Tensorboard-plugin-profile 2.13.0 TensorFlow 2.13.0
TensorFlow-Estimador 2.13.0 TensorFlow-IO-GCS-FileSystem 0.33.0 Termcolor 2.3.0
terminado 0.17.1 fino 8.1.12 ThreadPoolCtl 2.2.0
tiktoken 0.4.0 tinycss2 1.2.1 tokenize-rt 4.2.1
tokenizadores 0.13.3 Tomli 2.0.1 tocha 2.0.1+CU118
Torchvision 0.15.2+CU118 tornado 6.1 TQDM 4.64.1
traços 5.7.1 transformadores 4.31.0 Tritão 2.0.0
Protetor de Tipografia 2.13.3 datilógrafo 0.9.0 digitação-inspeção 0.9.0
typing_extensions 4.4.0 Ujson 5.4.0 Upgrades autônomos 0.1
urllib3 1.26.14 Uvicórnio 0.23.2 UVLOOP [en] 0.17.0
virtualenv 20.16.7 visões 0.7.5 wadllib 1.3.6
Wasabi 1.1.2 arquivos de observação 0.19.0 largura de wc 0.2.5
WebEncodings 0.5.1 Websocket-cliente 0.58.0 WebSockets 11.0.3
Werkzeug 2.2.2 whatthepatch 1.0.2 roda 0.38.4
widgetsnbextension 3.6.1 nuvem de palavras 1.9.2 embrulhado 1.14.1
xgboost 1.7.6 xxhash 3.3.0 Yapf 0.31.0
fios 1.9.2 ydata-profiling 4.2.0 zipp | 3.11.0

Bibliotecas R

As bibliotecas R são idênticas às bibliotecas R no Databricks Runtime 14.0.

Bibliotecas Java e Scala (cluster Scala 2.12)

Além das bibliotecas Java e Scala no Databricks Runtime 14.0, o Databricks Runtime 14.0 ML contém os seguintes JARs:

Clusters de CPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka AKKA-actor_2,12 2.5.23
ml.dmlc xgboost4j-spark_2,12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-DB2-Faísca3.4
org.mlflow mlflow-cliente 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters GPU

ID do Grupo ID do Artefacto Versão
com.typesafe.akka AKKA-actor_2,12 2.5.23
ml.dmlc xgboost4j-gpu_2,12 1.7.3
ml.dmlc xgboost4j-faísca-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-DB2-Faísca3.4
org.mlflow mlflow-cliente 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0