Databricks Runtime 7.0 ML (サポートされていません)Databricks Runtime 7.0 ML (Unsupported)

01/14/2021

Databricks は、2020年6月にこのイメージをリリースしました。Databricks released this image in June 2020.

Machine Learning の Databricks Runtime 7.0 は Databricks Runtime 7.0 (サポートされていません)に基づく機械学習とデータサイエンスのための準備が整った環境を提供します。Databricks Runtime 7.0 for Machine Learning provides a ready-to-go environment for machine learning and data science based on Databricks Runtime 7.0 (Unsupported). Databricks Runtime ML には、PyTorch、XGBoost ストなど、多くの一般的な機械学習ライブラリが含まれています。Databricks Runtime ML contains many popular machine learning libraries, including TensorFlow, PyTorch, and XGBoost. また、Horovod を使用した分散ディープラーニングトレーニングもサポートしています。It also supports distributed deep learning training using Horovod.

Databricks Runtime ML クラスターを作成する手順など、詳細については、 Machine Learning の Databricks Runtimeを参照してください。For more information, including instructions for creating a Databricks Runtime ML cluster, see Databricks Runtime for Machine Learning.

新機能と主な変更点New features and major changes

Databricks Runtime 7.0 ML は Databricks Runtime 7.0 の上に構築されています。Databricks Runtime 7.0 ML is built on top of Databricks Runtime 7.0. Apache Spark MLlib や SparkR など、Databricks Runtime 7.0 の新機能の詳細については、 Databricks Runtime 7.0 (サポートされていません) リリースノートを参照してください。For information on what’s new in Databricks Runtime 7.0, including Apache Spark MLlib and SparkR, see the Databricks Runtime 7.0 (Unsupported) release notes.

GPU 対応スケジューリングGPU-aware scheduling

Databricks Runtime 7.0 ML では Apache Spark 3.0 からの GPU 対応スケジュールがサポートされています。Databricks Runtime 7.0 ML supports GPU-aware scheduling from Apache Spark 3.0. Azure Databricks によって自動的に構成されます。Azure Databricks automatically configures it for you. 「 GPU スケジューリング」を参照してください。See GPU scheduling.

ML Python 環境の主な変更点Major changes to ML Python environment

このセクションでは、 Databricks Runtime 6.6 ml (サポートされていません) と比較して、プレインストールされた ml Python 環境に対する主な変更点について説明します。This section describes the major changes to the pre-installed ML Python environment compared to Databricks Runtime 6.6 ML (Unsupported). また、 Databricks Runtime 7.0 (サポートされていません) の基本 Python 環境に対する主な変更についても確認する必要があります。You should also review the major changes to the base Python environment in Databricks Runtime 7.0 (Unsupported). インストールされている Python パッケージとそのバージョンの完全な一覧については、「 python ライブラリ」を参照してください。For a full list of installed Python packages and their versions, see Python libraries.

アップグレードされた Python パッケージPython packages upgraded

1.15.0 2.2.0 > の2.2.0tensorflow 1.15.0 -> 2.2.0
1.15.0-> 2.2.2tensorboard 1.15.0 -> 2.2.2
pytorch: > 1.5.0pytorch 1.4.0 -> 1.5.0
xgboost スト 0.90-> 1.1.1xgboost 0.90 -> 1.1.1
sparkdl 1.6.0-db1-> 2.1.0-db1sparkdl 1.6.0-db1 -> 2.1.0-db1
hyperopt 0.2.2-> 0.2.4hyperopt 0.2.2.db1 -> 0.2.4.db1

追加された Python パッケージPython packages added

ライト gbm: 2.3.0lightgbm: 2.3.0
nltk: 3.4.5nltk: 3.4.5
petastorm: 0.9.2petastorm: 0.9.2
4.5.2:plotly: 4.5.2

削除された Python パッケージPython packages removed

argparseargparse
boto (代わりに使用 boto3 )boto (use boto3 instead)
ラマcolorama
deprecateddeprecated
et-xmlfileet-xmlfile
fusepyfusepy
html5libhtml5lib
jdcaljdcal
keras (代わりに使用 tensorflow.keras )keras (use tensorflow.keras instead)
keras アプリケーション (代わりに使用 tensorflow.keras.applications )keras-applications (use tensorflow.keras.applications instead)
llvmlitellvmlite
lxmllxml
下げnose
鼻-除外nose-exclude
numbanumba
openpyxlopenpyxl
pathlib2pathlib2
又ply
pymongopymongo
singledispatchsingledispatch
マイテナント x (代わりに使用 torch.utils.tensorboard )tensorboardX (use torch.utils.tensorboard instead)
virtualenvvirtualenv
webencodingswebencodings

ML R 環境の主な変更点Major changes to ML R environment

Databricks Runtime 7.0 ML には、 GitHubにソースコードがある、変更されていないバージョンの Rstudio Server オープンソース v 1.2.5033 が含まれています。Databricks Runtime 7.0 ML includes an unmodified version of RStudio Server Open Source v1.2.5033 for which the source code can be found in GitHub. Rstudio Serverの詳細については、Azure Databricks を参照してください。Read more about RStudio Server on Azure Databricks.

ML Spark パッケージ、Java、およびスケールライブラリに対する変更Changes to ML Spark packages, Java and Scala libraries

次のパッケージがアップグレードされます。The following packages are upgraded. Apache Spark 3.0 と互換性のあるリリースにアップグレードされるものもあり SNAPSHOT ます。Some are upgraded to SNAPSHOT releases that are compatible with Apache Spark 3.0:

graphframes: 0.7.0 0.8.0 以降-spark 2.4->-spark 3.0graphframes: 0.7.0-db1-spark2.4 -> 0.8.0-db2-spark3.0
spark-1.15.0 (1.15.0 a 2.11)-> ()-(2.12)spark-tensorflow-connector: 1.15.0 (Scala 2.11) -> 1.15.0 (Scala 2.12)
xgboost4j と xgboost4j-spark: 0.90-> 1.0.0xgboost4j and xgboost4j-spark: 0.90 -> 1.0.0
mleap-runtime: 0.17.0-48983 (SNAPSHOT)mleap-databricks-runtime: 0.17.0-4882dc3 (SNAPSHOT)

次のパッケージが削除されます。The following packages are removed:

すべての方法 (Java)TensorFlow (Java)
すべてのフレームをTensorFrames
Apache Spark のディープラーニングパイプライン (Python で使用可能)Deep Learning Pipelines for Apache Spark (HorovodRunner is available in Python)

Notebook スコープの Python ライブラリをサポートするための conda と pip コマンドを追加しました (パブリックプレビュー)Added conda and pip commands to support notebook-scoped Python libraries (public preview)

Databricks Runtime 7.0 ML 以降では、およびコマンドを使用し %pip %conda て、notebook セッションにインストールされている Python ライブラリを管理できます。Starting with Databricks Runtime 7.0 ML, you can use %pip and %conda commands to manage Python libraries installed in a notebook session. これらのコマンドを使用して、ノートブックのカスタム環境を作成し、ノートブック間でこの環境を再現することもできます。You can also use these commands to create a custom environment for a notebook and to reproduce this environment between notebooks. この機能を有効にするには、[クラスター設定] で、 Spark の構成を設定し spark.databricks.conda.condaMagic.enabled true ます。To enable this feature, in cluster settings, set the Spark configuration spark.databricks.conda.condaMagic.enabled true. 詳細については、「 Notebook スコープの Python ライブラリ」を参照してください。For more information, see Notebook-scoped Python libraries.

廃止およびサポートされていない機能Deprecations and unsupported features

Databricks Runtime 7.0 ML はテーブルアクセス制御をサポートしていません。Databricks Runtime 7.0 ML does not support table access control. テーブルアクセス制御が必要な場合は Databricks Runtime 7.0 を使用することをお勧めします。If you need table access control, we recommend that you use Databricks Runtime 7.0.

既知の問題Known issues

Mleap sample_input mlflow.spark.log_model 形式で mllib モデルをログに記録するために引数を渡しても、MLEAP API が変更されたため、attributeerror で失敗します。Passing the sample_input argument to mlflow.spark.log_model in order to log an MLlib model in mleap format fails with an AttributeError due to an mleap API change. 回避策として MLflow 1.9.0 以降にアップグレードします。Upgrade to MLflow 1.9.0 as a workaround. Notebook スコープの Python ライブラリまたはワークスペースライブラリを使用して mlflow 1.9.0 以降をインストールできます。You can install MLflow 1.9.0 using Notebook-scoped Python libraries or Workspace Libraries

システム環境System environment

Databricks Runtime 7.0 ML のシステム環境は、次のように Databricks Runtime 7.0 と異なります。The system environment in Databricks Runtime 7.0 ML differs from Databricks Runtime 7.0 as follows:

DBUtils: Databricks Runtime ML にライブラリユーティリティが含まれていません。DBUtils: Databricks Runtime ML does not contain Library utilities. %pip代わりに、コマンドとコマンドを使用でき %conda ます。You can use %pip and %conda commands instead. 「ノートブックスコープの Python ライブラリ」を参照してください。See Notebook-scoped Python libraries.
GPU クラスターの場合、次の NVIDIA GPU ライブラリを使用します。For GPU clusters, the following NVIDIA GPU libraries:
- CUDA 10.1 更新プログラム2CUDA 10.1 Update 2
- cuDNN 7.6.5cuDNN 7.6.5
- NCCL 2.7.3NCCL 2.7.3
- このようにしています。TensorRT 6.0.1

ライブラリLibraries

以下のセクションでは、Databricks Runtime 7.0 に含まれているものとは異なる Databricks Runtime 7.0 ML に含まれるライブラリについて説明します。The following sections list the libraries included in Databricks Runtime 7.0 ML that differ from those included in Databricks Runtime 7.0.

このセクションの内容:In this section:

最上位層ライブラリTop-tier libraries
Python ライブラリPython libraries
R ライブラリR libraries
Java とスケールのライブラリ (2.12 クラスター)Java and Scala libraries (Scala 2.12 cluster)

最上位層ライブラリTop-tier libraries

Databricks Runtime 7.0 ML には、次の最上位層ライブラリが含まれています。Databricks Runtime 7.0 ML includes the following top-tier libraries:

Python ライブラリPython libraries

Databricks Runtime 7.0 ML では、Python パッケージ管理に Conda を使用しており、多くの一般的な ML パッケージが含まれています。Databricks Runtime 7.0 ML uses Conda for Python package management and includes many popular ML packages. 次のセクションでは、Databricks Runtime 7.0 ML の Conda 環境について説明します。The following section describes the Conda environment for Databricks Runtime 7.0 ML.

CPU クラスターでの PythonPython on CPU clusters

name: databricks-ml
channels:
  - pytorch
  - defaults
dependencies:
  - _libgcc_mutex=0.1=main
  - absl-py=0.9.0=py37_0
  - asn1crypto=1.3.0=py37_0
  - astor=0.8.0=py37_0
  - backcall=0.1.0=py37_0
  - backports=1.0=py_2
  - bcrypt=3.1.7=py37h7b6447c_1
  - blas=1.0=mkl
  - blinker=1.4=py37_0
  - boto3=1.12.0=py_0
  - botocore=1.15.0=py_0
  - c-ares=1.15.0=h7b6447c_1001
  - ca-certificates=2020.1.1=0
  - cachetools=4.1.0=py_1
  - certifi=2020.4.5.1=py37_0
  - cffi=1.14.0=py37h2e261b9_0
  - chardet=3.0.4=py37_1003
  - click=7.0=py37_0
  - cloudpickle=1.3.0=py_0
  - configparser=3.7.4=py37_0
  - cpuonly=1.0=0
  - cryptography=2.8=py37h1ba5d50_0
  - cycler=0.10.0=py37_0
  - cython=0.29.15=py37he6710b0_0
  - decorator=4.4.1=py_0
  - dill=0.3.1.1=py37_1
  - docutils=0.15.2=py37_0
  - entrypoints=0.3=py37_0
  - flask=1.1.1=py_1
  - freetype=2.9.1=h8a8886c_1
  - future=0.18.2=py37_1
  - gast=0.3.3=py_0
  - gitdb2=2.0.6=py_0
  - gitpython=3.0.5=py_0
  - google-auth=1.11.2=py_0
  - google-auth-oauthlib=0.4.1=py_2
  - google-pasta=0.2.0=py_0
  - grpcio=1.27.2=py37hf8bcb03_0
  - gunicorn=20.0.4=py37_0
  - h5py=2.10.0=py37h7918eee_0
  - hdf5=1.10.4=hb1b8bf9_0
  - icu=58.2=he6710b0_3
  - idna=2.8=py37_0
  - intel-openmp=2020.0=166
  - ipykernel=5.1.4=py37h39e3cac_0
  - ipython=7.12.0=py37h5ca1d4c_0
  - ipython_genutils=0.2.0=py37_0
  - itsdangerous=1.1.0=py37_0
  - jedi=0.14.1=py37_0
  - jinja2=2.11.1=py_0
  - jmespath=0.9.4=py_0
  - joblib=0.14.1=py_0
  - jpeg=9b=h024ee3a_2
  - jupyter_client=5.3.4=py37_0
  - jupyter_core=4.6.1=py37_0
  - kiwisolver=1.1.0=py37he6710b0_0
  - krb5=1.16.4=h173b8e3_0
  - ld_impl_linux-64=2.33.1=h53a641e_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=9.1.0=hdf63c60_0
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libpng=1.6.37=hbc83047_0
  - libpq=11.2=h20c2e04_0
  - libprotobuf=3.11.4=hd408876_0
  - libsodium=1.0.16=h1bed415_0
  - libstdcxx-ng=9.1.0=hdf63c60_0
  - libtiff=4.1.0=h2733197_0
  - lightgbm=2.3.0=py37he6710b0_0
  - lz4-c=1.8.1.2=h14c3975_0
  - mako=1.1.2=py_0
  - markdown=3.1.1=py37_0
  - markupsafe=1.1.1=py37h7b6447c_0
  - matplotlib-base=3.1.3=py37hef1b27d_0
  - mkl=2020.0=166
  - mkl-service=2.3.0=py37he904b0f_0
  - mkl_fft=1.0.15=py37ha843d7b_0
  - mkl_random=1.1.0=py37hd6b4f25_0
  - ncurses=6.2=he6710b0_1
  - networkx=2.4=py_0
  - ninja=1.9.0=py37hfd86e86_0
  - nltk=3.4.5=py37_0
  - numpy=1.18.1=py37h4f9e942_0
  - numpy-base=1.18.1=py37hde5b4d6_1
  - oauthlib=3.1.0=py_0
  - olefile=0.46=py37_0
  - openssl=1.1.1g=h7b6447c_0
  - packaging=20.1=py_0
  - pandas=1.0.1=py37h0573a6f_0
  - paramiko=2.7.1=py_0
  - parso=0.5.2=py_0
  - patsy=0.5.1=py37_0
  - pexpect=4.8.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pillow=7.0.0=py37hb39fc2d_0
  - pip=20.0.2=py37_3
  - plotly=4.5.2=py_0
  - prompt_toolkit=3.0.3=py_0
  - protobuf=3.11.4=py37he6710b0_0
  - psutil=5.6.7=py37h7b6447c_0
  - psycopg2=2.8.4=py37h1ba5d50_0
  - ptyprocess=0.6.0=py37_0
  - pyasn1=0.4.8=py_0
  - pyasn1-modules=0.2.7=py_0
  - pycparser=2.19=py37_0
  - pygments=2.5.2=py_0
  - pyjwt=1.7.1=py37_0
  - pynacl=1.3.0=py37h7b6447c_0
  - pyodbc=4.0.30=py37he6710b0_0
  - pyopenssl=19.1.0=py37_0
  - pyparsing=2.4.6=py_0
  - pysocks=1.7.1=py37_0
  - python=3.7.6=h0371630_2
  - python-dateutil=2.8.1=py_0
  - python-editor=1.0.4=py_0
  - pytorch=1.5.0=py3.7_cpu_0
  - pytz=2019.3=py_0
  - pyzmq=18.1.1=py37he6710b0_0
  - readline=7.0=h7b6447c_5
  - requests=2.22.0=py37_1
  - requests-oauthlib=1.3.0=py_0
  - retrying=1.3.3=py37_2
  - rsa=4.0=py_0
  - s3transfer=0.3.3=py37_0
  - scikit-learn=0.22.1=py37hd81dba3_0
  - scipy=1.4.1=py37h0b6359f_0
  - setuptools=45.2.0=py37_0
  - simplejson=3.17.0=py37h7b6447c_0
  - six=1.14.0=py37_0
  - smmap2=2.0.5=py37_0
  - sqlite=3.31.1=h62c20be_1
  - sqlparse=0.3.0=py_0
  - statsmodels=0.11.0=py37h7b6447c_0
  - tabulate=0.8.3=py37_0
  - tk=8.6.8=hbc83047_0
  - torchvision=0.6.0=py37_cpu
  - tornado=6.0.3=py37h7b6447c_3
  - tqdm=4.42.1=py_0
  - traitlets=4.3.3=py37_0
  - unixodbc=2.3.7=h14c3975_0
  - urllib3=1.25.8=py37_0
  - wcwidth=0.1.8=py_0
  - websocket-client=0.56.0=py37_0
  - werkzeug=1.0.0=py_0
  - wheel=0.34.2=py37_0
  - wrapt=1.11.2=py37h7b6447c_0
  - xz=5.2.4=h14c3975_4
  - zeromq=4.3.1=he6710b0_3
  - zlib=1.2.11=h7b6447c_3
  - zstd=1.3.7=h0b5b093_0
  - pip:
    - astunparse==1.6.3
    - databricks-cli==0.11.0
    - diskcache==4.1.0
    - docker==4.2.1
    - gorilla==0.3.0
    - horovod==0.19.1
    - hyperopt==0.2.4.db1
    - keras-preprocessing==1.1.2
    - mleap==0.16.0
    - mlflow==1.8.0
    - opt-einsum==3.2.1
    - petastorm==0.9.2
    - pyarrow==0.15.1
    - pyyaml==5.3.1
    - querystring-parser==1.2.4
    - seaborn==0.10.0
    - sparkdl==2.1.0-db1
    - tensorboard==2.2.2
    - tensorboard-plugin-wit==1.6.0.post3
    - tensorflow-cpu==2.2.0
    - tensorflow-estimator==2.2.0
    - termcolor==1.1.0
    - xgboost==1.1.1
prefix: /databricks/conda/envs/databricks-ml

GPU クラスターでの PythonPython on GPU clusters

name: databricks-ml-gpu
channels:
  - pytorch
  - defaults
dependencies:
  - _libgcc_mutex=0.1=main
  - absl-py=0.9.0=py37_0
  - asn1crypto=1.3.0=py37_0
  - astor=0.8.0=py37_0
  - backcall=0.1.0=py37_0
  - backports=1.0=py_2
  - bcrypt=3.1.7=py37h7b6447c_1
  - blas=1.0=mkl
  - blinker=1.4=py37_0
  - boto3=1.12.0=py_0
  - botocore=1.15.0=py_0
  - c-ares=1.15.0=h7b6447c_1001
  - ca-certificates=2020.1.1=0
  - cachetools=4.1.0=py_1
  - certifi=2020.4.5.2=py37_0
  - cffi=1.14.0=py37h2e261b9_0
  - chardet=3.0.4=py37_1003
  - click=7.0=py37_0
  - cloudpickle=1.3.0=py_0
  - configparser=3.7.4=py37_0
  - cryptography=2.8=py37h1ba5d50_0
  - cudatoolkit=10.1.243=h6bb024c_0
  - cycler=0.10.0=py37_0
  - cython=0.29.15=py37he6710b0_0
  - decorator=4.4.1=py_0
  - dill=0.3.1.1=py37_1
  - docutils=0.15.2=py37_0
  - entrypoints=0.3=py37_0
  - flask=1.1.1=py_1
  - freetype=2.9.1=h8a8886c_1
  - future=0.18.2=py37_1
  - gast=0.3.3=py_0
  - gitdb2=2.0.6=py_0
  - gitpython=3.0.5=py_0
  - google-auth=1.11.2=py_0
  - google-auth-oauthlib=0.4.1=py_2
  - google-pasta=0.2.0=py_0
  - grpcio=1.27.2=py37hf8bcb03_0
  - gunicorn=20.0.4=py37_0
  - h5py=2.10.0=py37h7918eee_0
  - hdf5=1.10.4=hb1b8bf9_0
  - icu=58.2=he6710b0_3
  - idna=2.8=py37_0
  - intel-openmp=2020.0=166
  - ipykernel=5.1.4=py37h39e3cac_0
  - ipython=7.12.0=py37h5ca1d4c_0
  - ipython_genutils=0.2.0=py37_0
  - itsdangerous=1.1.0=py37_0
  - jedi=0.14.1=py37_0
  - jinja2=2.11.1=py_0
  - jmespath=0.9.4=py_0
  - joblib=0.14.1=py_0
  - jpeg=9b=h024ee3a_2
  - jupyter_client=5.3.4=py37_0
  - jupyter_core=4.6.1=py37_0
  - kiwisolver=1.1.0=py37he6710b0_0
  - krb5=1.16.4=h173b8e3_0
  - ld_impl_linux-64=2.33.1=h53a641e_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=9.1.0=hdf63c60_0
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libpng=1.6.37=hbc83047_0
  - libpq=11.2=h20c2e04_0
  - libprotobuf=3.11.4=hd408876_0
  - libsodium=1.0.16=h1bed415_0
  - libstdcxx-ng=9.1.0=hdf63c60_0
  - libtiff=4.1.0=h2733197_0
  - lightgbm=2.3.0=py37he6710b0_0
  - lz4-c=1.8.1.2=h14c3975_0
  - mako=1.1.2=py_0
  - markdown=3.1.1=py37_0
  - markupsafe=1.1.1=py37h7b6447c_0
  - matplotlib-base=3.1.3=py37hef1b27d_0
  - mkl=2020.0=166
  - mkl-service=2.3.0=py37he904b0f_0
  - mkl_fft=1.0.15=py37ha843d7b_0
  - mkl_random=1.1.0=py37hd6b4f25_0
  - ncurses=6.2=he6710b0_1
  - networkx=2.4=py_0
  - ninja=1.9.0=py37hfd86e86_0
  - nltk=3.4.5=py37_0
  - numpy=1.18.1=py37h4f9e942_0
  - numpy-base=1.18.1=py37hde5b4d6_1
  - oauthlib=3.1.0=py_0
  - olefile=0.46=py37_0
  - openssl=1.1.1g=h7b6447c_0
  - packaging=20.1=py_0
  - pandas=1.0.1=py37h0573a6f_0
  - paramiko=2.7.1=py_0
  - parso=0.5.2=py_0
  - patsy=0.5.1=py37_0
  - pexpect=4.8.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pillow=7.0.0=py37hb39fc2d_0
  - pip=20.0.2=py37_3
  - plotly=4.5.2=py_0
  - prompt_toolkit=3.0.3=py_0
  - protobuf=3.11.4=py37he6710b0_0
  - psutil=5.6.7=py37h7b6447c_0
  - psycopg2=2.8.4=py37h1ba5d50_0
  - ptyprocess=0.6.0=py37_0
  - pyasn1=0.4.8=py_0
  - pyasn1-modules=0.2.7=py_0
  - pycparser=2.19=py37_0
  - pygments=2.5.2=py_0
  - pyjwt=1.7.1=py37_0
  - pynacl=1.3.0=py37h7b6447c_0
  - pyodbc=4.0.30=py37he6710b0_0
  - pyopenssl=19.1.0=py37_0
  - pyparsing=2.4.6=py_0
  - pysocks=1.7.1=py37_0
  - python=3.7.6=h0371630_2
  - python-dateutil=2.8.1=py_0
  - python-editor=1.0.4=py_0
  - pytorch=1.5.0=py3.7_cuda10.1.243_cudnn7.6.3_0
  - pytz=2019.3=py_0
  - pyzmq=18.1.1=py37he6710b0_0
  - readline=7.0=h7b6447c_5
  - requests=2.22.0=py37_1
  - requests-oauthlib=1.3.0=py_0
  - retrying=1.3.3=py37_2
  - rsa=4.0=py_0
  - s3transfer=0.3.3=py37_0
  - scikit-learn=0.22.1=py37hd81dba3_0
  - scipy=1.4.1=py37h0b6359f_0
  - setuptools=45.2.0=py37_0
  - simplejson=3.17.0=py37h7b6447c_0
  - six=1.14.0=py37_0
  - smmap2=2.0.5=py37_0
  - sqlite=3.31.1=h62c20be_1
  - sqlparse=0.3.0=py_0
  - statsmodels=0.11.0=py37h7b6447c_0
  - tabulate=0.8.3=py37_0
  - tk=8.6.8=hbc83047_0
  - torchvision=0.6.0=py37_cu101
  - tornado=6.0.3=py37h7b6447c_3
  - tqdm=4.42.1=py_0
  - traitlets=4.3.3=py37_0
  - unixodbc=2.3.7=h14c3975_0
  - urllib3=1.25.8=py37_0
  - wcwidth=0.1.8=py_0
  - websocket-client=0.56.0=py37_0
  - werkzeug=1.0.0=py_0
  - wheel=0.34.2=py37_0
  - wrapt=1.11.2=py37h7b6447c_0
  - xz=5.2.4=h14c3975_4
  - zeromq=4.3.1=he6710b0_3
  - zlib=1.2.11=h7b6447c_3
  - zstd=1.3.7=h0b5b093_0
  - pip:
    - astunparse==1.6.3
    - databricks-cli==0.11.0
    - diskcache==4.1.0
    - docker==4.2.1
    - gorilla==0.3.0
    - horovod==0.19.1
    - hyperopt==0.2.4.db1
    - keras-preprocessing==1.1.2
    - mleap==0.16.0
    - mlflow==1.8.0
    - opt-einsum==3.2.1
    - petastorm==0.9.2
    - pyarrow==0.15.1
    - pyyaml==5.3.1
    - querystring-parser==1.2.4
    - seaborn==0.10.0
    - sparkdl==2.1.0-db1
    - tensorboard==2.2.2
    - tensorboard-plugin-wit==1.6.0.post3
    - tensorflow-estimator==2.2.0
    - tensorflow-gpu==2.2.0
    - termcolor==1.1.0
    - xgboost==1.1.1
prefix: /databricks/conda/envs/databricks-ml-gpu

Python モジュールを含む Spark パッケージSpark packages containing Python modules

Spark パッケージSpark Package	Python モジュールPython Module	バージョンVersion
graphframesgraphframes	graphframesgraphframes	0.8.0 以降-spark 3.00.8.0-db2-spark3.0

R ライブラリR libraries

R ライブラリは Databricks Runtime 7.0 Beta の r ライブラリと同じです。The R libraries are identical to the R Libraries in Databricks Runtime 7.0 Beta.

Java とスケールのライブラリ (2.12 クラスター)Java and Scala libraries (Scala 2.12 cluster)

Databricks Runtime 7.0 の Java と a のライブラリに加え、Databricks Runtime 7.0 ML には次の Jar が含まれています。In addition to Java and Scala libraries in Databricks Runtime 7.0, Databricks Runtime 7.0 ML contains the following JARs:

グループ IDGroup ID	成果物 IDArtifact ID	バージョンVersion
タイプセーフな. akkacom.typesafe.akka	akka-actor_2 12akka-actor_2.12	2.5.232.5.23
combust. mleapml.combust.mleap	mleap-runtime_2 12mleap-databricks-runtime_2.12	0.17.0-48dc30.17.0-4882dc3
ml (dmlc)ml.dmlc	xgboost4j-spark_2 12xgboost4j-spark_2.12	1.0.01.0.0
ml (dmlc)ml.dmlc	xgboost4j_2 12xgboost4j_2.12	1.0.01.0.0
組織の mlfloworg.mlflow	mlflow-クライアントmlflow-client	1.8.01.8.0
org. lang. モジュールorg.scala-lang.modules	java8-compat_2 12scala-java8-compat_2.12	0.8.00.8.0
組織の "転送フロー"org.tensorflow	spark-connector_2. 12spark-tensorflow-connector_2.12	1.15.01.15.0