Machine Learning の Databricks Runtime 7.4Databricks Runtime 7.4 for Machine Learning

Databricks は、2020年11月にこのイメージをリリースしました。Databricks released this image in November 2020.

Machine Learning の Databricks Runtime 7.4 は、 Databricks Runtime 7.4に基づく機械学習とデータサイエンスのための準備が整った環境を提供します。Databricks Runtime 7.4 for Machine Learning provides a ready-to-go environment for machine learning and data science based on Databricks Runtime 7.4. Databricks Runtime ML には、PyTorch、XGBoost ストなど、多くの一般的な機械学習ライブラリが含まれています。Databricks Runtime ML contains many popular machine learning libraries, including TensorFlow, PyTorch, and XGBoost. また、Horovod を使用した分散ディープラーニングトレーニングもサポートしています。It also supports distributed deep learning training using Horovod.

Databricks Runtime ML クラスターを作成する手順など、詳細については、 Machine Learning の Databricks Runtimeを参照してください。For more information, including instructions for creating a Databricks Runtime ML cluster, see Databricks Runtime for Machine Learning.

新機能と主な変更点New features and major changes

Databricks Runtime 7.4 ML は Databricks Runtime 7.4 の上に構築されています。Databricks Runtime 7.4 ML is built on top of Databricks Runtime 7.4. Apache Spark MLlib や SparkR など、Databricks Runtime 7.4 の新機能の詳細については、 Databricks Runtime 7.4 のリリースノートを参照してください。For information on what’s new in Databricks Runtime 7.4, including Apache Spark MLlib and SparkR, see the Databricks Runtime 7.4 release notes.

Databricks Runtime ML スケール環境に対する大きな変更Major changes to Databricks Runtime ML Scala environment

XGBoost ストは1.2.0 にアップグレードされます。XGBoost is upgraded to 1.2.0. このバージョンを使用すると、XGBoost ストが Spark クラスターで Gpu を使用してトレーニング速度を向上させることができます。This version allows XGBoost to use GPUs on Spark clusters to improve training speed. 他にもいくつかの変更点があります。これには重大な変更も含まれます。There are several other changes, including some breaking changes. 詳細については、 Xgboost スト1.2.0 のリリースノート を参照してください。Refer to the XGBoost 1.2.0 release notes for more information.

特に、CPU クラスターで xgboost4j_2.12 は、と xgboost4j-spark_2.12 は1.0.0 から1.2.0 にアップグレードされます。Specifically, on CPU clusters, xgboost4j_2.12 and xgboost4j-spark_2.12 are upgraded from 1.0.0 to 1.2.0. GPU クラスターでは、これらのパッケージは削除され、とのバージョン 1.2.0 xgboost4j-gpu_2.12 xgboost4j-spark-gpu_2.12 が代わりにインストールされます。On GPU clusters, these packages are removed, and version 1.2.0 of xgboost4j-gpu_2.12 and xgboost4j-spark-gpu_2.12 are installed instead.

GraphFrames は、0.8.0 以降3.0 から 0.8.1 3.0 にアップグレードされます。GraphFrames is upgraded from 0.8.0-db2-spark3.0 to 0.8.1-db1-spark3.0.

ML Python 環境 Databricks Runtime の主な変更点Major changes to Databricks Runtime ML Python environment

Databricks Runtime Python 環境の主な変更点については、 Databricks Runtime 7.4 を参照してください。See Databricks Runtime 7.4 for the major changes to the Databricks Runtime Python environment. インストールされている Python パッケージとそのバージョンの完全な一覧については、「 python ライブラリ」を参照してください。For a full list of installed Python packages and their versions, see Python libraries.

アップグレードされた Python パッケージPython packages upgraded

  • cloudpickle 1.3.0-> 1.4.1cloudpickle 1.3.0 -> 1.4.1
  • databricks-cli 0.11.0-> 0.13.0databricks-cli 0.11.0 -> 0.13.0
  • horovod 0.19.5-> 0.20.3horovod 0.19.5 -> 0.20.3
  • petastorm 0.9.5-> 0.9.6petastorm 0.9.5 -> 0.9.6
  • 4.9.0--> 4.10.0plotly 4.9.0 -> 4.10.0
  • sparkdl 2.1.0-db1-> 2.1.0-db2sparkdl 2.1.0-db1 -> 2.1.0-db2
  • 2.3.0-> 2.3.1tensorflow 2.3.0 -> 2.3.1
  • xgboost スト 1.1.1-> 1.2.0xgboost 1.1.1 -> 1.2.0

改善Improvements

システム環境System environment

Databricks Runtime 7.4 ML のシステム環境は、次のように Databricks Runtime 7.4 と異なります。The system environment in Databricks Runtime 7.4 ML differs from Databricks Runtime 7.4 as follows:

  • Open MPI は4.0.4 から4.0.5 にアップグレードされましたOpen MPI is upgraded from 4.0.4 to 4.0.5
  • DBUtils: Databricks Runtime ML に ライブラリユーティリティが含まれていません。DBUtils: Databricks Runtime ML does not contain Library utilities. %pip代わりに、コマンドとコマンドを使用でき %conda ます。You can use %pip and %conda commands instead. ノートブック スコープの Python ライブラリ」を参照してください。See Notebook-scoped Python libraries.
  • GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。For GPU clusters, Databricks Runtime ML includes the following NVIDIA GPU libraries:
    • CUDA 10.1 更新プログラム2CUDA 10.1 Update 2
    • cuDNN 7.6.5cuDNN 7.6.5
    • NCCL 2.7.3NCCL 2.7.3
    • このようにしています。TensorRT 6.0.1

ライブラリLibraries

以下のセクションでは、Databricks Runtime 7.4 に含まれているものとは異なる Databricks Runtime 7.4 ML に含まれるライブラリについて説明します。The following sections list the libraries included in Databricks Runtime 7.4 ML that differ from those included in Databricks Runtime 7.4.

このセクションの内容:In this section:

最上位層ライブラリTop-tier libraries

Databricks Runtime 7.4 ML には、次の最上位層 ライブラリが含まれています。Databricks Runtime 7.4 ML includes the following top-tier libraries:

Python ライブラリPython libraries

Databricks Runtime 7.4 ML では、Python パッケージ管理に Conda を使用しており、多くの一般的な ML パッケージが含まれています。Databricks Runtime 7.4 ML uses Conda for Python package management and includes many popular ML packages.

次のセクションでは、Conda 環境で指定されているパッケージに加えて、Databricks Runtime 7.4 ML で次のパッケージもインストールします。In addition to the packages specified in the Conda environments in the following sections, Databricks Runtime 7.4 ML also installs the following packages:

  • hyperopt 0.2.4hyperopt 0.2.4.db2
  • sparkdl 2.1.0-db2sparkdl 2.1.0-db2

CPU クラスター上の Python ライブラリPython libraries on CPU clusters

name: databricks-ml
channels:
  - pytorch
  - defaults
dependencies:
  - _libgcc_mutex=0.1=main
  - absl-py=0.9.0=py37_0
  - asn1crypto=1.3.0=py37_1
  - astor=0.8.0=py37_0
  - backcall=0.1.0=py37_0
  - backports=1.0=py_2
  - bcrypt=3.2.0=py37h7b6447c_0
  - blas=1.0=mkl
  - blinker=1.4=py37_0
  - boto3=1.12.0=py_0
  - botocore=1.15.0=py_0
  - c-ares=1.16.1=h7b6447c_0
  - ca-certificates=2020.7.22=0
  - cachetools=4.1.1=py_0
  - certifi=2020.6.20=py37_0
  - cffi=1.14.0=py37h2e261b9_0
  - chardet=3.0.4=py37_1003
  - click=7.0=py37_0
  - cloudpickle=1.4.1=py_0
  - configparser=3.7.4=py37_0
  - cpuonly=1.0=0
  - cryptography=2.8=py37h1ba5d50_0
  - cycler=0.10.0=py37_0
  - cython=0.29.15=py37he6710b0_0
  - decorator=4.4.1=py_0
  - dill=0.3.1.1=py37_1
  - docutils=0.15.2=py37_0
  - entrypoints=0.3=py37_0
  - flask=1.1.1=py_1
  - freetype=2.9.1=h8a8886c_1
  - future=0.18.2=py37_1
  - gast=0.3.3=py_0
  - gitdb=4.0.5=py_0
  - gitpython=3.1.0=py_0
  - google-auth=1.11.2=py_0
  - google-auth-oauthlib=0.4.1=py_2
  - google-pasta=0.2.0=py_0
  - grpcio=1.27.2=py37hf8bcb03_0
  - gunicorn=20.0.4=py37_0
  - h5py=2.10.0=py37h7918eee_0
  - hdf5=1.10.4=hb1b8bf9_0
  - icu=58.2=he6710b0_3
  - idna=2.8=py37_0
  - intel-openmp=2020.0=166
  - ipykernel=5.1.4=py37h39e3cac_0
  - ipython=7.12.0=py37h5ca1d4c_0
  - ipython_genutils=0.2.0=py37_0
  - isodate=0.6.0=py_1
  - itsdangerous=1.1.0=py37_0
  - jedi=0.17.2=py37_0
  - jinja2=2.11.1=py_0
  - jmespath=0.10.0=py_0
  - joblib=0.14.1=py_0
  - jpeg=9b=h024ee3a_2
  - jupyter_client=5.3.4=py37_0
  - jupyter_core=4.6.1=py37_0
  - kiwisolver=1.1.0=py37he6710b0_0
  - krb5=1.16.4=h173b8e3_0
  - ld_impl_linux-64=2.33.1=h53a641e_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hf484d3e_1007
  - libgcc-ng=9.1.0=hdf63c60_0
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libpng=1.6.37=hbc83047_0
  - libpq=11.2=h20c2e04_0
  - libprotobuf=3.11.4=hd408876_0
  - libsodium=1.0.16=h1bed415_0
  - libstdcxx-ng=9.1.0=hdf63c60_0
  - libtiff=4.1.0=h2733197_0
  - lightgbm=2.3.0=py37he6710b0_0
  - lz4-c=1.8.1.2=h14c3975_0
  - mako=1.1.2=py_0
  - markdown=3.1.1=py37_0
  - markupsafe=1.1.1=py37h14c3975_1
  - matplotlib-base=3.1.3=py37hef1b27d_0
  - mkl=2020.0=166
  - mkl-service=2.3.0=py37he904b0f_0
  - mkl_fft=1.0.15=py37ha843d7b_0
  - mkl_random=1.1.0=py37hd6b4f25_0
  - ncurses=6.2=he6710b0_1
  - networkx=2.4=py_1
  - ninja=1.10.1=py37hfd86e86_0
  - nltk=3.4.5=py37_0
  - numpy=1.18.1=py37h4f9e942_0
  - numpy-base=1.18.1=py37hde5b4d6_1
  - oauthlib=3.1.0=py_0
  - olefile=0.46=py37_0
  - openssl=1.1.1h=h7b6447c_0
  - packaging=20.1=py_0
  - pandas=1.0.1=py37h0573a6f_0
  - paramiko=2.7.1=py_0
  - parso=0.7.0=py_0
  - patsy=0.5.1=py37_0
  - pexpect=4.8.0=py37_1
  - pickleshare=0.7.5=py37_1001
  - pillow=7.0.0=py37hb39fc2d_0
  - pip=20.0.2=py37_3
  - plotly=4.10.0=py_0
  - prompt_toolkit=3.0.3=py_0
  - protobuf=3.11.4=py37he6710b0_0
  - psutil=5.6.7=py37h7b6447c_0
  - psycopg2=2.8.4=py37h1ba5d50_0
  - ptyprocess=0.6.0=py37_0
  - pyasn1=0.4.8=py_0
  - pyasn1-modules=0.2.8=py_0
  - pycparser=2.19=py37_0
  - pygments=2.5.2=py_0
  - pyjwt=1.7.1=py37_0
  - pynacl=1.3.0=py37h7b6447c_0
  - pyodbc=4.0.30=py37he6710b0_0
  - pyopenssl=19.1.0=py_1
  - pyparsing=2.4.6=py_0
  - pysocks=1.7.1=py37_1
  - python=3.7.6=h0371630_2
  - python-dateutil=2.8.1=py_0
  - python-editor=1.0.4=py_0
  - pytorch=1.6.0=py3.7_cpu_0
  - pytz=2019.3=py_0
  - pyzmq=18.1.1=py37he6710b0_0
  - readline=7.0=h7b6447c_5
  - requests=2.22.0=py37_1
  - requests-oauthlib=1.3.0=py_0
  - retrying=1.3.3=py37_2
  - rsa=4.0=py_0
  - s3transfer=0.3.3=py37_1
  - scikit-learn=0.22.1=py37hd81dba3_0
  - scipy=1.4.1=py37h0b6359f_0
  - setuptools=45.2.0=py37_0
  - simplejson=3.17.0=py37h7b6447c_0
  - six=1.14.0=py37_0
  - smmap=3.0.4=py_0
  - sqlite=3.31.1=h62c20be_1
  - sqlparse=0.3.0=py_0
  - statsmodels=0.11.0=py37h7b6447c_0
  - tabulate=0.8.3=py37_0
  - tenacity=6.2.0=py37_0
  - tk=8.6.8=hbc83047_0
  - torchvision=0.7.0=py37_cpu
  - tornado=6.0.3=py37h7b6447c_3
  - tqdm=4.42.1=py_0
  - traitlets=4.3.3=py37_0
  - unixodbc=2.3.7=h14c3975_0
  - urllib3=1.25.8=py37_0
  - wcwidth=0.1.8=py_0
  - websocket-client=0.56.0=py37_0
  - werkzeug=1.0.0=py_0
  - wheel=0.34.2=py37_0
  - wrapt=1.11.2=py37h7b6447c_0
  - xz=5.2.4=h14c3975_4
  - zeromq=4.3.1=he6710b0_3
  - zlib=1.2.11=h7b6447c_3
  - zstd=1.3.7=h0b5b093_0
  - pip:
    - astunparse==1.6.3
    - azure-core==1.8.2
    - azure-storage-blob==12.5.0
    - databricks-cli==0.13.0
    - diskcache==5.0.3
    - docker==4.3.1
    - gorilla==0.3.0
    - horovod==0.20.3
    - joblibspark==0.2.0
    - keras-preprocessing==1.1.2
    - koalas==1.3.0
    - mleap==0.16.1
    - mlflow==1.11.0
    - msrest==0.6.19
    - opt-einsum==3.3.0
    - petastorm==0.9.6
    - pyarrow==1.0.1
    - pyyaml==5.3.1
    - querystring-parser==1.2.4
    - seaborn==0.10.0
    - spark-tensorflow-distributor==0.1.0
    - tensorboard==2.3.0
    - tensorboard-plugin-wit==1.7.0
    - tensorflow-cpu==2.3.1
    - tensorflow-estimator==2.3.0
    - termcolor==1.1.0
    - xgboost==1.2.0
prefix: /databricks/conda/envs/databricks-ml

GPU クラスター上の Python ライブラリPython libraries on GPU clusters

name: databricks-ml-gpu
channels:
  - pytorch
  - defaults
dependencies:
  - _libgcc_mutex=0.1=main
  - absl-py=0.9.0=py37_0
  - asn1crypto=1.3.0=py37_1
  - astor=0.8.0=py37_0
  - backcall=0.1.0=py37_0
  - backports=1.0=py_2
  - bcrypt=3.2.0=py37h7b6447c_0
  - blas=1.0=mkl
  - blinker=1.4=py37_0
  - boto3=1.12.0=py_0
  - botocore=1.15.0=py_0
  - c-ares=1.16.1=h7b6447c_0
  - ca-certificates=2020.7.22=0
  - cachetools=4.1.1=py_0
  - certifi=2020.6.20=py37_0
  - cffi=1.14.0=py37h2e261b9_0
  - chardet=3.0.4=py37_1003
  - click=7.0=py37_0
  - cloudpickle=1.4.1=py_0
  - configparser=3.7.4=py37_0
  - cryptography=2.8=py37h1ba5d50_0
  - cudatoolkit=10.1.243=h6bb024c_0
  - cycler=0.10.0=py37_0
  - cython=0.29.15=py37he6710b0_0
  - decorator=4.4.1=py_0
  - dill=0.3.1.1=py37_1
  - docutils=0.15.2=py37_0
  - entrypoints=0.3=py37_0
  - flask=1.1.1=py_1
  - freetype=2.9.1=h8a8886c_1
  - future=0.18.2=py37_1
  - gast=0.3.3=py_0
  - gitdb=4.0.5=py_0
  - gitpython=3.1.0=py_0
  - google-auth=1.11.2=py_0
  - google-auth-oauthlib=0.4.1=py_2
  - google-pasta=0.2.0=py_0
  - grpcio=1.27.2=py37hf8bcb03_0
  - gunicorn=20.0.4=py37_0
  - h5py=2.10.0=py37h7918eee_0
  - hdf5=1.10.4=hb1b8bf9_0
  - icu=58.2=he6710b0_3
  - idna=2.8=py37_0
  - intel-openmp=2020.0=166
  - ipykernel=5.1.4=py37h39e3cac_0
  - ipython=7.12.0=py37h5ca1d4c_0
  - ipython_genutils=0.2.0=py37_0
  - isodate=0.6.0=py_1
  - itsdangerous=1.1.0=py37_0
  - jedi=0.17.2=py37_0
  - jinja2=2.11.1=py_0
  - jmespath=0.10.0=py_0
  - joblib=0.14.1=py_0
  - jpeg=9b=h024ee3a_2
  - jupyter_client=5.3.4=py37_0
  - jupyter_core=4.6.1=py37_0
  - kiwisolver=1.1.0=py37he6710b0_0
  - krb5=1.16.4=h173b8e3_0
  - ld_impl_linux-64=2.33.1=h53a641e_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hf484d3e_1007
  - libgcc-ng=9.1.0=hdf63c60_0
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libpng=1.6.37=hbc83047_0
  - libpq=11.2=h20c2e04_0
  - libprotobuf=3.11.4=hd408876_0
  - libsodium=1.0.16=h1bed415_0
  - libstdcxx-ng=9.1.0=hdf63c60_0
  - libtiff=4.1.0=h2733197_0
  - lightgbm=2.3.0=py37he6710b0_0
  - lz4-c=1.8.1.2=h14c3975_0
  - mako=1.1.2=py_0
  - markdown=3.1.1=py37_0
  - markupsafe=1.1.1=py37h14c3975_1
  - matplotlib-base=3.1.3=py37hef1b27d_0
  - mkl=2020.0=166
  - mkl-service=2.3.0=py37he904b0f_0
  - mkl_fft=1.0.15=py37ha843d7b_0
  - mkl_random=1.1.0=py37hd6b4f25_0
  - ncurses=6.2=he6710b0_1
  - networkx=2.4=py_1
  - ninja=1.10.1=py37hfd86e86_0
  - nltk=3.4.5=py37_0
  - numpy=1.18.1=py37h4f9e942_0
  - numpy-base=1.18.1=py37hde5b4d6_1
  - oauthlib=3.1.0=py_0
  - olefile=0.46=py37_0
  - openssl=1.1.1h=h7b6447c_0
  - packaging=20.1=py_0
  - pandas=1.0.1=py37h0573a6f_0
  - paramiko=2.7.1=py_0
  - parso=0.7.0=py_0
  - patsy=0.5.1=py37_0
  - pexpect=4.8.0=py37_1
  - pickleshare=0.7.5=py37_1001
  - pillow=7.0.0=py37hb39fc2d_0
  - pip=20.0.2=py37_3
  - plotly=4.10.0=py_0
  - prompt_toolkit=3.0.3=py_0
  - protobuf=3.11.4=py37he6710b0_0
  - psutil=5.6.7=py37h7b6447c_0
  - psycopg2=2.8.4=py37h1ba5d50_0
  - ptyprocess=0.6.0=py37_0
  - pyasn1=0.4.8=py_0
  - pyasn1-modules=0.2.8=py_0
  - pycparser=2.19=py37_0
  - pygments=2.5.2=py_0
  - pyjwt=1.7.1=py37_0
  - pynacl=1.3.0=py37h7b6447c_0
  - pyodbc=4.0.30=py37he6710b0_0
  - pyopenssl=19.1.0=py_1
  - pyparsing=2.4.6=py_0
  - pysocks=1.7.1=py37_1
  - python=3.7.6=h0371630_2
  - python-dateutil=2.8.1=py_0
  - python-editor=1.0.4=py_0
  - pytorch=1.6.0=py3.7_cuda10.1.243_cudnn7.6.3_0
  - pytz=2019.3=py_0
  - pyzmq=18.1.1=py37he6710b0_0
  - readline=7.0=h7b6447c_5
  - requests=2.22.0=py37_1
  - requests-oauthlib=1.3.0=py_0
  - retrying=1.3.3=py37_2
  - rsa=4.0=py_0
  - s3transfer=0.3.3=py37_1
  - scikit-learn=0.22.1=py37hd81dba3_0
  - scipy=1.4.1=py37h0b6359f_0
  - setuptools=45.2.0=py37_0
  - simplejson=3.17.0=py37h7b6447c_0
  - six=1.14.0=py37_0
  - smmap=3.0.4=py_0
  - sqlite=3.31.1=h62c20be_1
  - sqlparse=0.3.0=py_0
  - statsmodels=0.11.0=py37h7b6447c_0
  - tabulate=0.8.3=py37_0
  - tenacity=6.2.0=py37_0
  - tk=8.6.8=hbc83047_0
  - torchvision=0.7.0=py37_cu101
  - tornado=6.0.3=py37h7b6447c_3
  - tqdm=4.42.1=py_0
  - traitlets=4.3.3=py37_0
  - unixodbc=2.3.7=h14c3975_0
  - urllib3=1.25.8=py37_0
  - wcwidth=0.1.8=py_0
  - websocket-client=0.56.0=py37_0
  - werkzeug=1.0.0=py_0
  - wheel=0.34.2=py37_0
  - wrapt=1.11.2=py37h7b6447c_0
  - xz=5.2.4=h14c3975_4
  - zeromq=4.3.1=he6710b0_3
  - zlib=1.2.11=h7b6447c_3
  - zstd=1.3.7=h0b5b093_0
  - pip:
    - astunparse==1.6.3
    - azure-core==1.8.2
    - azure-storage-blob==12.5.0
    - databricks-cli==0.13.0
    - diskcache==5.0.3
    - docker==4.3.1
    - gorilla==0.3.0
    - horovod==0.20.3
    - joblibspark==0.2.0
    - keras-preprocessing==1.1.2
    - koalas==1.3.0
    - mleap==0.16.1
    - mlflow==1.11.0
    - msrest==0.6.19
    - opt-einsum==3.3.0
    - petastorm==0.9.6
    - pyarrow==1.0.1
    - pyyaml==5.3.1
    - querystring-parser==1.2.4
    - seaborn==0.10.0
    - spark-tensorflow-distributor==0.1.0
    - tensorboard==2.3.0
    - tensorboard-plugin-wit==1.7.0
    - tensorflow==2.3.1
    - tensorflow-estimator==2.3.0
    - termcolor==1.1.0
    - xgboost==1.2.0
prefix: /databricks/conda/envs/databricks-ml-gpu

Python モジュールを含む Spark パッケージSpark packages containing Python modules

Spark パッケージSpark Package Python モジュールPython Module バージョンVersion
graphframesgraphframes graphframesgraphframes 0.8.1-spark 3.00.8.1-db1-spark3.0

R ライブラリR libraries

R ライブラリは、Databricks Runtime 7.4 の r ライブラリ と同じです。The R libraries are identical to the R Libraries in Databricks Runtime 7.4.

Java とスケールのライブラリ (2.12 クラスター)Java and Scala libraries (Scala 2.12 cluster)

Databricks Runtime 7.4 の Java と a のライブラリに加え、Databricks Runtime 7.4 ML には次の Jar が含まれています。In addition to Java and Scala libraries in Databricks Runtime 7.4, Databricks Runtime 7.4 ML contains the following JARs:

CPU クラスターCPU clusters

グループ IDGroup ID 成果物 IDArtifact ID バージョンVersion
タイプセーフな. akkacom.typesafe.akka akka-actor_2 12akka-actor_2.12 2.5.232.5.23
combust. mleapml.combust.mleap mleap-runtime_2 12mleap-databricks-runtime_2.12 0.17.3-48dc30.17.3-4882dc3
ml (dmlc)ml.dmlc xgboost4j-spark_2 12xgboost4j-spark_2.12 1.2.01.2.0
ml (dmlc)ml.dmlc xgboost4j_2 12xgboost4j_2.12 1.2.01.2.0
組織の mlfloworg.mlflow mlflow-クライアントmlflow-client 1.11.01.11.0
org. lang. モジュールorg.scala-lang.modules java8-compat_2 12scala-java8-compat_2.12 0.8.00.8.0
組織の "転送フロー"org.tensorflow spark-connector_2. 12spark-tensorflow-connector_2.12 1.15.01.15.0

GPU クラスターGPU clusters

グループ IDGroup ID 成果物 IDArtifact ID バージョンVersion
タイプセーフな. akkacom.typesafe.akka akka-actor_2 12akka-actor_2.12 2.5.232.5.23
combust. mleapml.combust.mleap mleap-runtime_2 12mleap-databricks-runtime_2.12 0.17.3-48dc30.17.3-4882dc3
ml (dmlc)ml.dmlc xgboost4j-gpu_2 12xgboost4j-spark-gpu_2.12 1.2.01.2.0
ml (dmlc)ml.dmlc xgboost4j-gpu_2 12xgboost4j-gpu_2.12 1.2.01.2.0
組織の mlfloworg.mlflow mlflow-クライアントmlflow-client 1.11.01.11.0
org. lang. モジュールorg.scala-lang.modules java8-compat_2 12scala-java8-compat_2.12 0.8.00.8.0
組織の "転送フロー"org.tensorflow spark-connector_2. 12spark-tensorflow-connector_2.12 1.15.01.15.0