Databricks Runtime 13.3 LTS for Machine Edukacja

Środowisko Databricks Runtime 13.3 LTS for Machine Edukacja zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych oparte na środowisku Databricks Runtime 13.3 LTS. Środowisko Databricks Runtime ML zawiera wiele popularnych bibliotek uczenia maszynowego, w tym TensorFlow, PyTorch i XGBoost. Środowisko Databricks Runtime ML obejmuje rozwiązanie AutoML— narzędzie do automatycznego trenowania potoków uczenia maszynowego. Środowisko Databricks Runtime ML obsługuje również trenowanie rozproszonego uczenia głębokiego przy użyciu struktury Horovod.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące tworzenia klastra uczenia maszynowego usługi Databricks, zobacz AI and Machine Edukacja on Databricks (Sztuczna inteligencja i maszyna Edukacja w usłudze Databricks).

Nowe funkcje i ulepszenia

Środowisko Databricks Runtime 13.3 LTS ML jest oparte na środowisku Databricks Runtime 13.3 LTS. Aby uzyskać informacje na temat nowości w środowisku Databricks Runtime 13.3 LTS, w tym apache Spark MLlib i SparkR, zobacz informacje o wersji środowiska Databricks Runtime 13.3 LTS .

Zmiany w magazynie funkcji usługi Databricks

  • Środowisko Databricks Runtime 13.3 LTS ML zawiera klienta magazynu funkcji w wersji 0.14.0. W przypadku wersji klienta w wersji 0.14.0 lub nowszej należy określić kolumny klucza sygnatury czasowej w argumencie primary_keys . Klucze sygnatury czasowej są częścią "kluczy podstawowych", które jednoznacznie identyfikują każdy wiersz w tabeli funkcji.
  • Teraz można wykluczyć wartości funkcji ze znacznikami czasu przed określoną godziną z zestawu treningowego. Aby uzyskać szczegółowe informacje, zobacz Ustawianie limitu czasu dla wartości funkcji historycznych.
  • Funkcje uczenia maszynowego można teraz obliczyć na żądanie w czasie wnioskowania. Logika obliczeniowa funkcji, modele i dane są zarządzane przez wykaz aparatu Unity. Umożliwia to modelom obliczanie funkcji przy użyciu danych wejściowych, które są dostępne tylko w czasie wnioskowania, takich jak bieżąca lokalizacja użytkownika. Aby uzyskać więcej informacji, zobacz Funkcje obliczeniowe na żądanie przy użyciu funkcji zdefiniowanych przez użytkownika języka Python.

Środowisko systemu

Środowisko systemowe w środowisku Databricks Runtime 13.3 LTS ML różni się od środowiska Databricks Runtime 13.3 LTS w następujący sposób:

Środowisko Databricks Runtime 13.3 LTS ML zawiera bibliotekę XGBoost 1.7.3, która nie obsługuje klastrów gpu z możliwościami obliczeniowymi 5.2 i nowszymi.

Pakiet miniconda został usunięty z środowiska Databricks Runtime 13.0 ML lub nowszego.

Biblioteki

W poniższych sekcjach wymieniono biblioteki zawarte w środowisku Databricks Runtime 13.3 LTS ML, które różnią się od bibliotek zawartych w środowisku Databricks Runtime 13.3 LTS.

W tej sekcji:

Biblioteki najwyższego poziomu

Środowisko Databricks Runtime 13.3 LTS ML obejmuje następujące biblioteki najwyższego poziomu:

Biblioteki języka Python

Środowisko Databricks Runtime 13.3 LTS ML używa usługi Virtualenv do zarządzania pakietami języka Python i zawiera wiele popularnych pakietów uczenia maszynowego.

Oprócz pakietów określonych w poniższych sekcjach środowisko Databricks Runtime 13.3 LTS ML zawiera również następujące pakiety:

  • hyperopt 0.2.7+db3
  • sparkdl 3.0.0_db1
  • automl 1.20.0

Aby odtworzyć środowisko Języka Python środowiska Databricks Runtime ML w lokalnym środowisku wirtualnym języka Python, pobierz plik requirements-13.3.txt i uruchom polecenie pip install -r requirements-13.3.txt. To polecenie instaluje wszystkie biblioteki typu open source używane przez usługę Databricks Runtime ML, ale nie instaluje bibliotek opracowanych przez usługę Databricks, takich jak databricks-automl, databricks-feature-storelub rozwidlenie usługi Databricks .hyperopt

Biblioteki języka Python w klastrach procesora CPU

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 Przyspieszyć 0.20.3 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.2.1 astunparse 1.6.3 limit czasu asynchronicznego 4.0.2
attrs 21.4.0 audioread 3.0.0 azure-core 1.28.0
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
black (czarny) 22.6.0 Bleach 4.1.0 migacz 1.4
blis 0.7.10 boto3 1.24.28 botocore 1.27.28
cachetools 4.2.4 Katalog 2.0.9 kodery kategorii 2.6.1
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknięcie 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 Konfekcji 0.1.0 configparser 5.2.0
konwertuj 2.4.0 Kryptografii 37.0.1 Cycler 0.11.0
cymem 2.0.7 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.17 databricks-cli 0.17.7 databricks-feature-store 0.14.0
databricks-sdk 0.1.6 dataclasses-json 0.5.13 usługi Power BI 2.13.1
dbl-tempo 0.1.23 dbus-python 1.2.18 debugpy 1.6.0
Dekorator 5.1.1 defusedxml 0.7.1 Koperek 0.3.4
diskcache 5.6.1 distlib 0.3.7 docstring-to-markdown 0,12
punkty wejścia 0,4 efem 4.1.4 evaluate 0.4.0
Wykonywanie 1.2.0 aspekty — omówienie 1.0.3 fastapi 0.98.0
fastjsonschema 2.18.0 fasttext 0.9.2 filelock 3.6.0
Flask 1.1.2+db1 flatbuffers 23.5.26 fonttools 4.25.0
zamrożona lista 1.4.0 fsspec 2022.7.1 Przyszłości 0.18.2
Gast 0.4.0 gitdb 4.0.10 GitPython 3.1.27
google-api-core 2.8.2 google-auth 1.33.0 google-auth-oauthlib 0.4.6
google-cloud-core 2.3.3 google-cloud-storage 2.10.0 google-crc32c 1.5.0
makaron google 0.2.0 google-resumable-media 2.5.0 googleapis-common-protos 1.56.4
greenlet 1.1.1 grpcio 1.48.1 stan obiektu grpcio 1.48.1
gunicorn 20.1.0 gviz-api 1.10.0 h11 0.14.0
h5py 3.7.0 Wakacje 0.27.1 horovod 0.28.1
htmlmin 0.1.12 httplib2 0.20.2 httptools 0.6.0
przytulanieface-hub 0.16.4 Idna 3.3 ImageHash 4.3.1
niezrównoważona nauka 0.10.1 importlib-metadata 4.11.3 importlib-resources 6.0.0
ipykernel 6.17.1 Ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 jegodangerous 2.0.1
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.11.0
Brelok 23.5.0 kiwisolver 1.4.2 langchain 0.0.217
langchainplus-sdk 0.0.20 langcodes 3.3.0 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.3
libclang 15.0.6.1 librosa 0.10.0 lightgbm 3.3.5
llvmlite 0.38.0 KsiężycowyCalendar 0.0.9 Mako 1.2.0
Znaczniki języka Markdown 3.3.4 Znaczniki Sejf 2.0.1 Zefir 3.20.1
matplotlib 3.5.2 biblioteka matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 mleap 0.20.0 mlflow-skinny 2.5.0
więcej itertools 8.10.0 msgpack 1.0.5 multidict 6.0.4
multimethod 1.9.1 przetwarzanie wieloprocesowe 0.70.12.2 szmurhash 1.0.9
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 networkx 2.8.4
Ninja 1.11.1 nltk 3.7 nodeenv 1.8.0
notes 6.4.12 numba 0.55.1 numexpr 2.8.4
Numpy 1.21.5 oauthlib 3.2.0 openai 0.27.8
openapi-schema-pydantic 1.2.4 opt-einsum 3.3.0 Opakowania 21,3
Pandas 1.4.4 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.9.0 pathy 0.10.2
Patsy 0.5.2 petastorm 0.12.1 pexpect 4.8.0
phik 0.12.3 pickleshare 0.7.5 Poduszkę 9.2.0
Pip 22.2.2 platformdirs 2.5.2 kreślenie 5.9.0
wtyczka 1.0.0 pmdarima 2.0.3 Psisko 1.7.0
preshed 3.0.8 prometheus-client 0.14.1 prompt-toolkit 3.0.36
Proroka 1.1.4 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pirstent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
python-dotenv 1.0.0 Python-editor 1.0.4 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 23.2.0
Regex 2022.7.9 żądania 2.28.1 requests-oauthlib 1.3.1
Odpowiedzi 0.18.0 Liny 1.7.0 rsa 4.9
s3transfer 0.6.0 bezpiecznetensory 0.3.1 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 transformatory zdań 2.2.2 element zdania 0.1.99
setuptools 63.4.1 Shap 0.41.0 simplejson 3.17.6
Sześć 1.16.0 Fragmentatora 0.0.7 smart-open 5.2.1
smmap 5.0.0 wąchanie 1.2.0 soundfile 0.12.1
zupy 2.3.1 soxr 0.3.5 spacy 3.5.3
spacy-legacy 3.0.12 spacy-loggers 1.0.4 spark-tensorflow-distributor 1.0.0
SQLAlchemy 1.4.39 sqlparse 0.4.2 srsly 2.4.7
ssh-import-id 5,11 stack-data 0.6.2 gwiazdka 0.27.0
statsmodels 0.13.2 tabulacji 0.8.10 splątane-up-in-unicode 0.2.0
Wytrzymałość 8.1.0 tablica tensorboard 2.11.0 tensorboard-data-server 0.6.1
tensorboard-plugin-profile 2.11.2 tensorboard-plugin-wit 1.8.1 tensorflow-cpu 2.11.1
tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.32.0 termcolor 2.3.0
terminado 0.13.1 ścieżka testowa 0.6.0 cienki 8.1.10
threadpoolctl 2.2.0 tiktoken 0.4.0 tokenize-rt 4.2.1
tokenizatory 0.13.3 tomli 2.0.1 Palnika 1.13.1+procesor
torchvision 0.14.1+ procesor Tornado 6.1 tqdm 4.64.1
traitlety 5.1.1 Transformatory 4.30.2 osłona typów 2.13.3
typer 0.7.0 inspekcja wpisywania 0.9.0 typing_extensions 4.3.0
ujson 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.11
uvicorn 0.23.1 uvloop 0.17.0 Virtualenv 20.16.3
Wizje 0.7.5 wadllib 1.3.6 Wasabi 1.1.2
watchfiles 0.19.0 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 Websocket 11.0.3 Werkzeug 2.0.3
whatthepatch 1.0.2 Koła 0.37.1 widgetsnbextension 3.6.1
wordcloud 1.9.2 zawijanie 1.14.1 xgboost 1.7.6
xxhash 3.2.0 yapf 0.31.0 Yarl 1.9.2
profilowanie danych 4.2.0 zipp 3.8.0

Biblioteki języka Python w klastrach gpu

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
absl-py 1.0.0 Przyspieszyć 0.20.3 aiohttp 3.8.5
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.2.1 astunparse 1.6.3 limit czasu asynchronicznego 4.0.2
attrs 21.4.0 audioread 3.0.0 azure-core 1.28.0
azure-cosmos 4.3.1 azure-storage-blob 12.17.0 azure-storage-file-datalake 12.12.0
backcall 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
black (czarny) 22.6.0 Bleach 4.1.0 migacz 1.4
blis 0.7.10 boto3 1.24.28 botocore 1.27.28
cachetools 4.2.4 Katalog 2.0.9 kodery kategorii 2.6.1
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknięcie 8.0.4 cloudpickle 2.0.0
cmdstanpy 1.1.0 Konfekcji 0.1.0 configparser 5.2.0
konwertuj 2.4.0 Kryptografii 37.0.1 Cycler 0.11.0
cymem 2.0.7 Cython 0.29.32 dacite 1.8.1
databricks-automl-runtime 0.2.17 databricks-cli 0.17.7 databricks-feature-store 0.14.0
databricks-sdk 0.1.6 dataclasses-json 0.5.13 usługi Power BI 2.13.1
dbl-tempo 0.1.23 dbus-python 1.2.18 debugpy 1.6.0
Dekorator 5.1.1 defusedxml 0.7.1 Koperek 0.3.4
diskcache 5.6.1 distlib 0.3.7 docstring-to-markdown 0,12
einops 0.6.1 punkty wejścia 0,4 efem 4.1.4
evaluate 0.4.0 Wykonywanie 1.2.0 aspekty — omówienie 1.0.3
fastapi 0.98.0 fastjsonschema 2.18.0 fasttext 0.9.2
filelock 3.6.0 flash-attn 1.0.7 Flask 1.1.2+db1
flatbuffers 23.5.26 fonttools 4.25.0 zamrożona lista 1.4.0
fsspec 2022.7.1 Przyszłości 0.18.2 Gast 0.4.0
gitdb 4.0.10 GitPython 3.1.27 google-api-core 2.8.2
google-auth 1.33.0 google-auth-oauthlib 0.4.6 google-cloud-core 2.3.3
google-cloud-storage 2.10.0 google-crc32c 1.5.0 makaron google 0.2.0
google-resumable-media 2.5.0 googleapis-common-protos 1.56.4 greenlet 1.1.1
grpcio 1.48.1 stan obiektu grpcio 1.48.1 gunicorn 20.1.0
gviz-api 1.10.0 h11 0.14.0 h5py 3.7.0
Wakacje 0.27.1 horovod 0.28.1 htmlmin 0.1.12
httplib2 0.20.2 httptools 0.6.0 przytulanieface-hub 0.16.4
Idna 3.3 ImageHash 4.3.1 niezrównoważona nauka 0.10.1
importlib-metadata 4.11.3 importlib-resources 6.0.0 ipykernel 6.17.1
Ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jegodangerous 2.0.1 Jedi 0.18.1
Jeepney 0.7.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.2.0 joblibspark 0.5.1 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keras 2.11.0 Brelok 23.5.0
kiwisolver 1.4.2 langchain 0.0.217 langchainplus-sdk 0.0.20
langcodes 3.3.0 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0.3 libclang 15.0.6.1
librosa 0.10.0 lightgbm 3.3.5 llvmlite 0.38.0
KsiężycowyCalendar 0.0.9 Mako 1.2.0 Znaczniki języka Markdown 3.3.4
Znaczniki Sejf 2.0.1 Zefir 3.20.1 matplotlib 3.5.2
biblioteka matplotlib-inline 0.1.6 Mccabe 0.7.0 mistune 0.8.4
mleap 0.20.0 mlflow-skinny 2.5.0 więcej itertools 8.10.0
msgpack 1.0.5 multidict 6.0.4 multimethod 1.9.1
przetwarzanie wieloprocesowe 0.70.12.2 szmurhash 1.0.9 mypy-extensions 0.4.3
nbclient 0.5.13 nbconvert 6.4.4 nbformat 5.5.0
nest-asyncio 1.5.5 networkx 2.8.4 Ninja 1.11.1
nltk 3.7 nodeenv 1.8.0 notes 6.4.12
numba 0.55.1 numexpr 2.8.4 Numpy 1.21.5
oauthlib 3.2.0 openai 0.27.8 openapi-schema-pydantic 1.2.4
opt-einsum 3.3.0 Opakowania 21,3 Pandas 1.4.4
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.9.0 pathy 0.10.2 Patsy 0.5.2
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.3
pickleshare 0.7.5 Poduszkę 9.2.0 Pip 22.2.2
platformdirs 2.5.2 kreślenie 5.9.0 wtyczka 1.0.0
pmdarima 2.0.3 Psisko 1.7.0 preshed 3.0.8
prompt-toolkit 3.0.36 Proroka 1.1.4 protobuf 3.19.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pirstent 0.18.0 pytesseract 0.3.10
python-dateutil 2.8.2 python-dotenv 1.0.0 Python-editor 1.0.4
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 23.2.0 Regex 2022.7.9 żądania 2.28.1
requests-oauthlib 1.3.1 Odpowiedzi 0.18.0 Liny 1.7.0
rsa 4.9 s3transfer 0.6.0 bezpiecznetensory 0.3.1
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 transformatory zdań 2.2.2
element zdania 0.1.99 setuptools 63.4.1 Shap 0.41.0
simplejson 3.17.6 Sześć 1.16.0 Fragmentatora 0.0.7
smart-open 5.2.1 smmap 5.0.0 wąchanie 1.2.0
soundfile 0.12.1 zupy 2.3.1 soxr 0.3.5
spacy 3.5.3 spacy-legacy 3.0.12 spacy-loggers 1.0.4
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
srsly 2.4.7 ssh-import-id 5,11 stack-data 0.6.2
gwiazdka 0.27.0 statsmodels 0.13.2 tabulacji 0.8.10
splątane-up-in-unicode 0.2.0 Wytrzymałość 8.1.0 tablica tensorboard 2.11.0
tensorboard-data-server 0.6.1 tensorboard-plugin-profile 2.11.2 tensorboard-plugin-wit 1.8.1
tensorflow 2.11.1 tensorflow-estimator 2.11.0 tensorflow-io-gcs-filesystem 0.32.0
termcolor 2.3.0 terminado 0.13.1 ścieżka testowa 0.6.0
cienki 8.1.10 threadpoolctl 2.2.0 tiktoken 0.4.0
tokenize-rt 4.2.1 tokenizatory 0.13.3 tomli 2.0.1
Palnika 1.13.1+cu117 torchvision 0.14.1+cu117 Tornado 6.1
tqdm 4.64.1 traitlety 5.1.1 Transformatory 4.30.2
osłona typów 2.13.3 typer 0.7.0 inspekcja wpisywania 0.9.0
typing_extensions 4.3.0 ujson 5.4.0 nienadzorowane uaktualnienia 0.1
urllib3 1.26.11 uvicorn 0.23.1 uvloop 0.17.0
Virtualenv 20.16.3 Wizje 0.7.5 wadllib 1.3.6
Wasabi 1.1.2 watchfiles 0.19.0 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 Websocket 11.0.3
Werkzeug 2.0.3 whatthepatch 1.0.2 Koła 0.37.1
widgetsnbextension 3.6.1 wordcloud 1.9.2 zawijanie 1.14.1
xgboost 1.7.6 xxhash 3.2.0 yapf 0.31.0
Yarl 1.9.2 profilowanie danych 4.2.0 zipp 3.8.0

Biblioteki R

Biblioteki języka R są identyczne z bibliotekami języka R w środowisku Databricks Runtime 13.3 LTS.

Biblioteki Java i Scala (klaster Scala 2.12)

Oprócz bibliotek Java i Scala w środowisku Databricks Runtime 13.3 LTS środowisko Databricks Runtime 13.3 LTS ML zawiera następujące elementy JAR:

Klastry procesora CPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Klastry procesora GPU

Identyfikator grupy Identyfikator artefaktu Wersja
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.5.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0