Machine Learning용 Databricks Runtime 15.0
Machine Learning용 Databricks Runtime 15.0은 Databricks Runtime 15.0을 기반으로 기계 학습 및 데이터 과학을 위한 즉시 사용할 수 있는 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 포함하여 널리 사용되는 많은 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 Horovod를 사용한 분산 딥 러닝 학습도 지원합니다.
새로운 기능 및 향상 기능
Databricks Runtime 15.0 ML은 Databricks Runtime 15.0을 기반으로 빌드됩니다. Apache Spark MLlib 및 SparkR을 포함하여 Databricks Runtime 15.0의 새로운 기능에 대한 자세한 내용은 Databricks Runtime 15.0 릴리스 정보를 참조하세요.
호환성이 손상되는 변경
레거시 Databricks CLI는 기본적으로 더 이상 설치되지 않습니다.
미리 설치된 버전의 MLflow에 레거시 Databricks CLI(databricks/databricks-cli
)가 필요했기 때문에 Databricks Runtime 14.3 LTS ML 이하에서는 $PATH 자동으로 설치됩니다. Databricks Runtime 15.0 ML에는 레거시 CLI가 필요하지 않은 MLflow 버전 2.10.2가 포함되어 있습니다.
Databricks Runtime 15.0 ML부터 레거시 Databricks CLI는 더 이상 $PATH 자동으로 설치되지 않습니다. 이는 런타임에 설치되는 레거시 CLI에 의존하는 사용자에게 호환성이 손상되는 변경입니다. Databricks Runtime 15.0 ML 이상에서는 더 이상 작동하지 않는 명령 %sh databricks ...
입니다.
Notebook에서 레거시 Databricks CLI를 계속 사용하려면 클러스터 또는 Notebook 라이브러리로 설치합니다. 새 Databricks CLI(databricks/cli
)는 웹 터미널에서 사용할 수 있습니다. 자세한 내용은 웹 터미널 및 Databricks CLI 사용을 참조하세요.
Databricks Runtime 15.0 ML부터 MLeap를 더 이상 사용할 수 없습니다.
MLeap은 Databricks Runtime 15.0 ML 이상에서 더 이상 사용할 수 없습니다. JVM 기반 프레임워크에 배포할 모델을 패키지하기 위해 Databricks는 ONNX 형식을 사용하는 것이 좋습니다.
호로보드 및 호로보드러너 사용 중단
호로보드와 호로보드러너는 이제 더 이상 사용되지 않습니다. 분산 딥 러닝의 경우 Databricks는 PyTorch와 함께 분산 학습에 TorchDistributor를 사용하거나 tf.distribute.Strategy
TensorFlow를 사용한 분산 학습을 위해 API를 사용하는 것이 좋습니다. Horovod 및 HorovodRunner는 Databricks Runtime 15.0 ML에 미리 설치되지만 다음 주 Databricks 런타임 ML 버전에서 제거됩니다.
참고 항목
horovod.spark
는 pyarrow 버전 11.0 이상을 지원하지 않습니다(관련 GitHub 문제 참조). Databricks Runtime 15.0 ML에는 pyarrow 버전 14.0.1이 포함됩니다. Databricks Runtime 15.0 ML 이상에서 사용 horovod.spark
하려면 11.0 미만의 버전을 지정하여 pyarrow를 수동으로 설치해야 합니다.
시스템 환경
Databricks Runtime 15.0 ML의 시스템 환경은 다음과 같이 Databricks Runtime 15.0과 다릅니다.
- GPU 클러스터의 경우 Databricks Runtime ML에는 다음 NVIDIA GPU 라이브러리가 포함됩니다.
- CUDA 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
라이브러리
다음 섹션에서는 Databricks Runtime 15.0에 포함된 라이브러리와 다른 Databricks Runtime 15.0 ML에 포함된 라이브러리를 나열합니다.
이 섹션의 내용:
최상위 계층 라이브러리
Databricks Runtime 15.0 ML에는 다음과 같은 최상위 계층 라이브러리가 포함되어 있습니다.
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Tensorflow
- TensorBoard
- Scikit-learn
- (사용되지 않음) 호로보드 및 호로보드러너
Python 라이브러리
Databricks Runtime 15.0 ML은 Python 패키지 관리에 사용 virtualenv
되며 널리 사용되는 많은 ML 패키지를 포함합니다.
다음 섹션에 지정된 패키지 외에도 Databricks Runtime 15.0 ML에는 다음 패키지도 포함됩니다.
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.25.0
로컬 Python 가상 환경에서 Databricks Runtime ML Python 환경을 재현하려면 requirements-15.0.txt 파일을 다운로드하고 실행pip install -r requirements-15.0.txt
합니다. 이 명령은 Databricks Runtime ML이 사용하는 모든 오픈 소스 라이브러리를 설치하지만 databricks-automl
, databricks-feature-store
또는 hyperopt
의 Databricks 포크와 같은 Databricks에서 개발한 라이브러리는 설치하지 않습니다.
CPU 클러스터의 Python 라이브러리
라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
---|---|---|---|---|---|
absl-py | 1.0.0 | accelerate | 0.25.0 | aiohttp | 3.8.5 |
aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | astor | 0.8.1 |
asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
검정색 | 23.3.0 | bleach | 4.1.0 | 축복 | 1.20.0 |
blinker | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | catalogue | 2.0.10 |
category-encoders | 2.6.3 | certifi | 2023.7.22 | cffi | 1.15.1 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | 에서 | 8.0.4 |
cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
형형색색의 | 0.5.6 | comm | 0.1.2 | confection | 0.1.4 |
configparser | 5.2.0 | contourpy | 1.0.5 | 암호화 | 41.0.3 |
cycler | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.3.0 |
databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | datasets | 2.16.1 |
dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
decorator | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
dill | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
dm-tree | 0.1.8 | entrypoints | 0.4 | evaluate | 0.4.1 |
실행 | 0.8.3 | facets-overview | 1.1.1 | Farama-Notifications | 0.0.4 |
fastjsonschema | 2.19.1 | fasttext | 0.9.2 | filelock | 3.9.0 |
Flask | 2.2.5 | flatbuffers | 23.5.26 | fonttools | 4.25.0 |
frozenlist | 1.3.3 | fsspec | 2023.5.0 | future | 0.18.3 |
gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.27 |
google-api-core | 2.17.1 | google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 |
google-cloud-core | 2.4.1 | google-cloud-storage | 2.11.0 | google-crc32c | 1.5.0 |
google-pasta | 0.2.0 | google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 |
gpustat | 1.1.1 | greenlet | 2.0.1 | grpcio | 1.60.0 |
grpcio-상태 | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
체육관 | 0.28.1 | h11 | 0.14.0 | h5py | 3.9.0 |
hjson | 3.1.0 | 휴일 | 0.38 | horovod | 0.28.1+db1 |
htmlmin | 0.1.12 | httpcore | 1.0.4 | httplib2 | 0.20.2 |
httpx | 0.27.0 | huggingface-hub | 0.20.2 | idna | 3.4 |
ImageHash | 4.3.1 | imageio | 2.31.1 | imbalanced-learn | 0.11.0 |
importlib-metadata | 6.0.0 | importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 |
ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils | 0.2.0 |
ipywidgets | 8.0.4 | isodate | 0.6.1 | itsdangerous | 2.0.1 |
jax-jumpy | 1.0.0 | jedi | 0.18.1 | jeepney | 0.7.1 |
Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
joblibspark | 0.5.1 | jsonpatch | 1.33 | jsonpointer | 2.4 |
jsonschema | 4.17.3 | jupyter-server | 1.23.4 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 |
Keras | 2.15.0 | Keyring | 23.5.0 | kiwisolver | 1.4.4 |
langchain | 0.1.3 | langchain-community | 0.0.20 | langchain-core | 0.1.23 |
langcodes | 3.3.0 | langsmith | 0.0.87 | launchpadlib | 1.10.16 |
lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lazy_loader | 0.2 |
libclang | 16.0.6 | librosa | 0.10.1 | lightgbm | 4.2.0 |
llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
Mako | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
MarkupSafe | 2.1.1 | 마쉬 멜 로우 | 3.21.1 | matplotlib | 3.7.2 |
matplotlib-inline | 0.1.6 | mdurl | 0.1.0 | mistune | 0.8.4 |
ml-dtypes | 0.2.0 | mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 |
mpmath | 1.3.0 | msgpack | 1.0.8 | multidict | 6.0.2 |
multimethod | 1.11.2 | multiprocess | 0.70.14 | murmurhash | 1.0.10 |
mypy-extensions | 0.4.3 | nbclassic | 0.5.5 | nbclient | 0.5.13 |
nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
networkx | 3.1 | ninja | 1.11.1.1 | nltk | 3.8.1 |
Notebook | 6.5.4 | notebook_shim | 0.2.2 | numba | 0.57.1 |
numpy | 1.23.5 | nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 |
openai | 1.9.0 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
opt-einsum | 3.3.0 | 패키징 | 23.2 | pandas | 2.0.3 |
pandocfilters | 1.5.0 | paramiko | 2.9.2 | parso | 0.8.3 |
pathspec | 0.10.3 | patsy | 0.5.3 | petastorm | 0.12.1 |
pexpect | 4.8.0 | phik | 0.12.4 | pickleshare | 0.7.5 |
Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
plotly | 5.9.0 | pmdarima | 2.0.4 | pooch | 1.8.1 |
preshed | 3.0.9 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
prophet | 1.1.5 | protobuf | 4.24.1 | psutil | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | pyarrow | 14.0.1 |
pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
pybind11 | 2.11.1 | pyccolo | 0.0.52 | pycparser | 2.21 |
pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
pyodbc | 4.0.38 | pyparsing | 3.0.9 | pyrsistent | 0.18.0 |
pytesseract | 0.3.10 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 | PyWavelets | 1.4.1 |
PyYAML | 6.0 | pyzmq | 23.2.0 | 레이 | 2.9.3 |
regex | 2022.7.9 | requests | 2.31.0 | requests-oauthlib | 1.3.1 |
응답 | 0.13.3 | rich | 13.7.1 | rsa | 4.9 |
s3transfer | 0.10.0 | safetensors | 0.3.2 | scikit-image | 0.20.0 |
scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | 문장 변환기 | 2.2.2 |
문장 조각 | 0.1.99 | setuptools | 68.0.0 | shap | 0.44.0 |
simplejson | 3.17.6 | six | 1.16.0 | slicer | 0.0.7 |
smart-open | 5.2.1 | smmap | 5.0.0 | sniffio | 1.2.0 |
사운드 파일 | 0.12.1 | soupsieve | 2.4 | soxr | 0.3.7 |
spacy | 3.7.2 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
srsly | 2.4.8 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
stanio | 0.3.0 | statsmodels | 0.14.0 | sympy | 1.11.1 |
tangled-up-in-unicode | 0.2.0 | tenacity | 8.2.2 | tensorboard | 2.15.1 |
tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 | tensorboardX | 2.6.2.2 |
tensorflow-cpu | 2.15.0 | tensorflow-estimator | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 |
termcolor | 2.4.0 | terminado | 0.17.1 | thinc | 8.2.3 |
threadpoolctl | 2.2.0 | tifffile | 2021.7.2 | tiktoken | 0.5.2 |
tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tokenizers | 0.15.0 |
torch | 2.1.2+cpu | torcheval | 0.0.7 | torchvision | 0.16.2+cpu |
tornado | 6.3.2 | tqdm | 4.65.0 | traitlets | 5.7.1 |
트랜스 포 머 | 4.36.2 | typeguard | 2.13.3 | typer | 0.9.0 |
typing-inspect | 0.9.0 | typing_extensions | 4.7.1 | tzdata | 2022.1 |
ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.21.0 | visions | 0.7.5 | wadllib | 1.3.6 |
wasabi | 1.1.2 | wcwidth | 0.2.5 | 족제비 | 0.3.4 |
webencodings | 0.5.1 | websocket-client | 0.58.0 | Werkzeug | 2.2.3 |
wheel | 0.38.4 | widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 |
wrapt | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
yarl | 1.8.1 | ydata 프로파일링 | 4.5.1 | zipp | 3.11.0 |
GPU 클러스터의 Python 라이브러리
라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
---|---|---|---|---|---|
absl-py | 1.0.0 | accelerate | 0.25.0 | aiohttp | 3.8.5 |
aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | astor | 0.8.1 |
asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
attrs | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake | 12.14.0 |
backcall | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
검정색 | 23.3.0 | bleach | 4.1.0 | 축복 | 1.20.0 |
blinker | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | catalogue | 2.0.10 |
category-encoders | 2.6.3 | certifi | 2023.7.22 | cffi | 1.15.1 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | 에서 | 8.0.4 |
cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
형형색색의 | 0.5.6 | comm | 0.1.2 | confection | 0.1.4 |
configparser | 5.2.0 | contourpy | 1.0.5 | 암호화 | 41.0.3 |
cycler | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
dacite | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.3.0 |
databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | datasets | 2.16.1 |
dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
decorator | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
dill | 0.3.6 | diskcache | 5.6.3 | distlib | 0.3.8 |
dm-tree | 0.1.8 | einops | 0.7.0 | entrypoints | 0.4 |
evaluate | 0.4.1 | 실행 | 0.8.3 | facets-overview | 1.1.1 |
Farama-Notifications | 0.0.4 | fastjsonschema | 2.19.1 | fasttext | 0.9.2 |
filelock | 3.9.0 | flash-attn | 2.5.0 | Flask | 2.2.5 |
flatbuffers | 23.5.26 | fonttools | 4.25.0 | frozenlist | 1.3.3 |
fsspec | 2023.5.0 | future | 0.18.3 | gast | 0.4.0 |
gitdb | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.17.1 |
google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
google-cloud-storage | 2.11.0 | google-crc32c | 1.5.0 | google-pasta | 0.2.0 |
google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 | gpustat | 1.1.1 |
greenlet | 2.0.1 | grpcio | 1.60.0 | grpcio-상태 | 1.60.0 |
gunicorn | 20.1.0 | gviz-api | 1.10.0 | 체육관 | 0.28.1 |
h11 | 0.14.0 | h5py | 3.9.0 | hjson | 3.1.0 |
휴일 | 0.38 | horovod | 0.28.1+db1 | htmlmin | 0.1.12 |
httpcore | 1.0.4 | httplib2 | 0.20.2 | httpx | 0.27.0 |
huggingface-hub | 0.20.2 | idna | 3.4 | ImageHash | 4.3.1 |
imageio | 2.31.1 | imbalanced-learn | 0.11.0 | importlib-metadata | 6.0.0 |
importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 |
isodate | 0.6.1 | itsdangerous | 2.0.1 | jax-jumpy | 1.0.0 |
jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 3.1.2 |
jmespath | 0.10.0 | joblib | 1.2.0 | joblibspark | 0.5.1 |
jsonpatch | 1.33 | jsonpointer | 2.4 | jsonschema | 4.17.3 |
jupyter-server | 1.23.4 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 | Keras | 2.15.0 |
Keyring | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.1.3 |
langchain-community | 0.0.20 | langchain-core | 0.1.23 | langcodes | 3.3.0 |
langsmith | 0.0.87 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
lazr.uri | 1.0.6 | lazy_loader | 0.2 | libclang | 16.0.6 |
librosa | 0.10.1 | lightgbm | 4.2.0 | llvmlite | 0.40.0 |
lxml | 4.9.2 | lz4 | 4.3.2 | Mako | 1.2.0 |
Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
마쉬 멜 로우 | 3.21.1 | matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 |
mdurl | 0.1.0 | mistune | 0.8.4 | ml-dtypes | 0.2.0 |
mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 | mpmath | 1.3.0 |
msgpack | 1.0.8 | multidict | 6.0.2 | multimethod | 1.11.2 |
multiprocess | 0.70.14 | murmurhash | 1.0.10 | mypy-extensions | 0.4.3 |
nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
ninja | 1.11.1.1 | nltk | 3.8.1 | Notebook | 6.5.4 |
notebook_shim | 0.2.2 | numba | 0.57.1 | numpy | 1.23.5 |
nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 | openai | 1.9.0 |
opencensus | 0.11.4 | opencensus-context | 0.1.3 | opt-einsum | 3.3.0 |
패키징 | 23.2 | pandas | 2.0.3 | pandocfilters | 1.5.0 |
paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.10.3 |
patsy | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
phik | 0.12.4 | pickleshare | 0.7.5 | Pillow | 9.4.0 |
pip | 23.2.1 | platformdirs | 3.10.0 | plotly | 5.9.0 |
pmdarima | 2.0.4 | pooch | 1.8.1 | preshed | 3.0.9 |
prompt-toolkit | 3.0.36 | prophet | 1.1.5 | protobuf | 4.24.1 |
psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pure-eval | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
pyarrow | 14.0.1 | pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 |
pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | pyccolo | 0.0.52 |
pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
pynvml | 11.5.0 | pyodbc | 4.0.38 | pyparsing | 3.0.9 |
pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil | 2.8.2 |
python-editor | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 |
PyWavelets | 1.4.1 | PyYAML | 6.0 | pyzmq | 23.2.0 |
레이 | 2.9.3 | regex | 2022.7.9 | requests | 2.31.0 |
requests-oauthlib | 1.3.1 | 응답 | 0.13.3 | rich | 13.7.1 |
rsa | 4.9 | s3transfer | 0.10.0 | safetensors | 0.3.2 |
scikit-image | 0.20.0 | scikit-learn | 1.3.0 | scipy | 1.11.1 |
seaborn | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
문장 변환기 | 2.2.2 | 문장 조각 | 0.1.99 | setuptools | 68.0.0 |
shap | 0.44.0 | simplejson | 3.17.6 | six | 1.16.0 |
slicer | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
sniffio | 1.2.0 | 사운드 파일 | 0.12.1 | soupsieve | 2.4 |
soxr | 0.3.7 | spacy | 3.7.2 | spacy-legacy | 3.0.12 |
spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
sqlparse | 0.4.2 | srsly | 2.4.8 | ssh-import-id | 5.11 |
stack-data | 0.2.0 | stanio | 0.3.0 | statsmodels | 0.14.0 |
sympy | 1.11.1 | tangled-up-in-unicode | 0.2.0 | tenacity | 8.2.2 |
tensorboard | 2.15.1 | tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 |
tensorboardX | 2.6.2.2 | tensorflow | 2.15.0 | tensorflow-estimator | 2.15.0 |
tensorflow-io-gcs-filesystem | 0.36.0 | termcolor | 2.4.0 | terminado | 0.17.1 |
thinc | 8.2.3 | threadpoolctl | 2.2.0 | tifffile | 2021.7.2 |
tiktoken | 0.5.2 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
tokenizers | 0.15.0 | torch | 2.1.2+cu121 | torcheval | 0.0.7 |
torchvision | 0.16.2+cu121 | tornado | 6.3.2 | tqdm | 4.65.0 |
traitlets | 5.7.1 | 트랜스 포 머 | 4.36.2 | 트리톤 | 2.1.0 |
typeguard | 2.13.3 | typer | 0.9.0 | typing-inspect | 0.9.0 |
typing_extensions | 4.7.1 | tzdata | 2022.1 | ujson | 5.4.0 |
unattended-upgrades | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.21.0 |
visions | 0.7.5 | wadllib | 1.3.6 | wasabi | 1.1.2 |
wcwidth | 0.2.5 | 족제비 | 0.3.4 | webencodings | 0.5.1 |
websocket-client | 0.58.0 | Werkzeug | 2.2.3 | wheel | 0.38.4 |
widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 | wrapt | 1.14.1 |
xgboost | 2.0.3 | xxhash | 3.4.1 | yarl | 1.8.1 |
ydata 프로파일링 | 4.5.1 | zipp | 3.11.0 |
R 라이브러리
R 라이브러리는 Databricks Runtime 15.0의 R 라이브러리와 동일합니다.
Java 및 Scala 라이브러리(Scala 2.12 클러스터)
Databricks Runtime 15.0의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 15.0 ML에는 다음 JAR이 포함됩니다.
CPU 클러스터
그룹 ID | 아티팩트 ID | 버전 |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
ml.dmlc | xgboost4j_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
org.mlflow | mlflow-client | 2.10.2 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU 클러스터
그룹 ID | 아티팩트 ID | 버전 |
---|---|---|
com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
org.mlflow | mlflow-client | 2.10.2 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
피드백
https://aka.ms/ContentUserFeedback
출시 예정: 2024년 내내 콘텐츠에 대한 피드백 메커니즘으로 GitHub 문제를 단계적으로 폐지하고 이를 새로운 피드백 시스템으로 바꿀 예정입니다. 자세한 내용은 다음을 참조하세요.다음에 대한 사용자 의견 제출 및 보기