Databricks Runtime 7.0 ML (サポートされていません)Databricks Runtime 7.0 ML (Unsupported)

Databricks は、2020年6月にこのイメージをリリースしました。Databricks released this image in June 2020.

Machine Learning の Databricks Runtime 7.0 は Databricks Runtime 7.0 (サポートされていません)に基づく機械学習とデータサイエンスのための準備が整った環境を提供します。Databricks Runtime 7.0 for Machine Learning provides a ready-to-go environment for machine learning and data science based on Databricks Runtime 7.0 (Unsupported). Databricks Runtime ML には、PyTorch、XGBoost ストなど、多くの一般的な機械学習ライブラリが含まれています。Databricks Runtime ML contains many popular machine learning libraries, including TensorFlow, PyTorch, and XGBoost. また、Horovod を使用した分散ディープラーニングトレーニングもサポートしています。It also supports distributed deep learning training using Horovod.

Databricks Runtime ML クラスターを作成する手順など、詳細については、 Machine Learning の Databricks Runtimeを参照してください。For more information, including instructions for creating a Databricks Runtime ML cluster, see Databricks Runtime for Machine Learning.

新機能と主な変更点New features and major changes

Databricks Runtime 7.0 ML は Databricks Runtime 7.0 の上に構築されています。Databricks Runtime 7.0 ML is built on top of Databricks Runtime 7.0. Apache Spark MLlib や SparkR など、Databricks Runtime 7.0 の新機能の詳細については、 Databricks Runtime 7.0 (サポートされていません) リリースノートを参照してください。For information on what’s new in Databricks Runtime 7.0, including Apache Spark MLlib and SparkR, see the Databricks Runtime 7.0 (Unsupported) release notes.

GPU 対応スケジューリングGPU-aware scheduling

Databricks Runtime 7.0 ML では Apache Spark 3.0 からの GPU 対応スケジュールがサポートされています。Databricks Runtime 7.0 ML supports GPU-aware scheduling from Apache Spark 3.0. Azure Databricks によって自動的に構成されます。Azure Databricks automatically configures it for you. GPU スケジューリング」を参照してください。See GPU scheduling.

ML Python 環境の主な変更点Major changes to ML Python environment

このセクションでは、 Databricks Runtime 6.6 ml (サポートされていません) と比較して、プレインストールされた ml Python 環境に対する主な変更点について説明します。This section describes the major changes to the pre-installed ML Python environment compared to Databricks Runtime 6.6 ML (Unsupported). また、 Databricks Runtime 7.0 (サポートされていません) の基本 Python 環境に対する主な変更についても確認する必要があります。You should also review the major changes to the base Python environment in Databricks Runtime 7.0 (Unsupported). インストールされている Python パッケージとそのバージョンの完全な一覧については、「 python ライブラリ」を参照してください。For a full list of installed Python packages and their versions, see Python libraries.

アップグレードされた Python パッケージPython packages upgraded

  • 1.15.0 2.2.0 > の2.2.0tensorflow 1.15.0 -> 2.2.0
  • 1.15.0-> 2.2.2tensorboard 1.15.0 -> 2.2.2
  • pytorch: > 1.5.0pytorch 1.4.0 -> 1.5.0
  • xgboost スト 0.90-> 1.1.1xgboost 0.90 -> 1.1.1
  • sparkdl 1.6.0-db1-> 2.1.0-db1sparkdl 1.6.0-db1 -> 2.1.0-db1
  • hyperopt 0.2.2-> 0.2.4hyperopt 0.2.2.db1 -> 0.2.4.db1

追加された Python パッケージPython packages added

  • ライト gbm: 2.3.0lightgbm: 2.3.0
  • nltk: 3.4.5nltk: 3.4.5
  • petastorm: 0.9.2petastorm: 0.9.2
  • 4.5.2:plotly: 4.5.2

削除された Python パッケージPython packages removed

  • argparseargparse
  • boto (代わりに使用 boto3 )boto (use boto3 instead)
  • ラマcolorama
  • deprecateddeprecated
  • et-xmlfileet-xmlfile
  • fusepyfusepy
  • html5libhtml5lib
  • jdcaljdcal
  • keras (代わりに使用 tensorflow.keras )keras (use tensorflow.keras instead)
  • keras アプリケーション (代わりに使用 tensorflow.keras.applications )keras-applications (use tensorflow.keras.applications instead)
  • llvmlitellvmlite
  • lxmllxml
  • 下げnose
  • 鼻-除外nose-exclude
  • numbanumba
  • openpyxlopenpyxl
  • pathlib2pathlib2
  • ply
  • pymongopymongo
  • singledispatchsingledispatch
  • マイテナント x (代わりに使用 torch.utils.tensorboard )tensorboardX (use torch.utils.tensorboard instead)
  • virtualenvvirtualenv
  • webencodingswebencodings

ML R 環境の主な変更点Major changes to ML R environment

Databricks Runtime 7.0 ML には、 GitHubにソースコードがある、変更されていないバージョンの Rstudio Server オープンソース v 1.2.5033 が含まれています。Databricks Runtime 7.0 ML includes an unmodified version of RStudio Server Open Source v1.2.5033 for which the source code can be found in GitHub. Rstudio Serverの詳細については、Azure Databricks を参照してください。Read more about RStudio Server on Azure Databricks.

ML Spark パッケージ、Java、およびスケールライブラリに対する変更Changes to ML Spark packages, Java and Scala libraries

次のパッケージがアップグレードされます。The following packages are upgraded. Apache Spark 3.0 と互換性のあるリリースにアップグレードされるものもあり SNAPSHOT ます。Some are upgraded to SNAPSHOT releases that are compatible with Apache Spark 3.0:

  • graphframes: 0.7.0 0.8.0 以降-spark 2.4->-spark 3.0graphframes: 0.7.0-db1-spark2.4 -> 0.8.0-db2-spark3.0
  • spark-1.15.0 (1.15.0 a 2.11)-> ()-(2.12)spark-tensorflow-connector: 1.15.0 (Scala 2.11) -> 1.15.0 (Scala 2.12)
  • xgboost4j と xgboost4j-spark: 0.90-> 1.0.0xgboost4j and xgboost4j-spark: 0.90 -> 1.0.0
  • mleap-runtime: 0.17.0-48983 (SNAPSHOT)mleap-databricks-runtime: 0.17.0-4882dc3 (SNAPSHOT)

次のパッケージが削除されます。The following packages are removed:

  • すべての方法 (Java)TensorFlow (Java)
  • すべてのフレームをTensorFrames
  • Apache Spark のディープラーニングパイプライン (Python で使用可能)Deep Learning Pipelines for Apache Spark (HorovodRunner is available in Python)

Notebook スコープの Python ライブラリをサポートするための conda と pip コマンドを追加しました (パブリックプレビュー)Added conda and pip commands to support notebook-scoped Python libraries (public preview)

Databricks Runtime 7.0 ML 以降では、およびコマンドを使用し %pip %conda て、notebook セッションにインストールされている Python ライブラリを管理できます。Starting with Databricks Runtime 7.0 ML, you can use %pip and %conda commands to manage Python libraries installed in a notebook session. これらのコマンドを使用して、ノートブックのカスタム環境を作成し、ノートブック間でこの環境を再現することもできます。You can also use these commands to create a custom environment for a notebook and to reproduce this environment between notebooks. この機能を有効にするには、[クラスター設定] で、 Spark の構成を設定し spark.databricks.conda.condaMagic.enabled true ます。To enable this feature, in cluster settings, set the Spark configuration spark.databricks.conda.condaMagic.enabled true. 詳細については、「 Notebook スコープの Python ライブラリ」を参照してください。For more information, see Notebook-scoped Python libraries.

廃止およびサポートされていない機能Deprecations and unsupported features

Databricks Runtime 7.0 ML は テーブルアクセス制御をサポートしていません。Databricks Runtime 7.0 ML does not support table access control. テーブルアクセス制御が必要な場合は Databricks Runtime 7.0 を使用することをお勧めします。If you need table access control, we recommend that you use Databricks Runtime 7.0.

既知の問題Known issues

  • Mleap sample_input mlflow.spark.log_model 形式で mllib モデルをログに記録するために引数を渡しても、MLEAP API が変更されたため、attributeerror で失敗します。Passing the sample_input argument to mlflow.spark.log_model in order to log an MLlib model in mleap format fails with an AttributeError due to an mleap API change. 回避策として MLflow 1.9.0 以降にアップグレードします。Upgrade to MLflow 1.9.0 as a workaround. Notebook スコープの Python ライブラリまたはワークスペースライブラリを使用して mlflow 1.9.0 以降をインストールできます。You can install MLflow 1.9.0 using Notebook-scoped Python libraries or Workspace Libraries

システム環境System environment

Databricks Runtime 7.0 ML のシステム環境は、次のように Databricks Runtime 7.0 と異なります。The system environment in Databricks Runtime 7.0 ML differs from Databricks Runtime 7.0 as follows:

ライブラリLibraries

以下のセクションでは、Databricks Runtime 7.0 に含まれているものとは異なる Databricks Runtime 7.0 ML に含まれるライブラリについて説明します。The following sections list the libraries included in Databricks Runtime 7.0 ML that differ from those included in Databricks Runtime 7.0.

このセクションの内容:In this section:

最上位層ライブラリTop-tier libraries

Databricks Runtime 7.0 ML には、次の最上位層 ライブラリが含まれています。Databricks Runtime 7.0 ML includes the following top-tier libraries:

Python ライブラリPython libraries

Databricks Runtime 7.0 ML では、Python パッケージ管理に Conda を使用しており、多くの一般的な ML パッケージが含まれています。Databricks Runtime 7.0 ML uses Conda for Python package management and includes many popular ML packages. 次のセクションでは、Databricks Runtime 7.0 ML の Conda 環境について説明します。The following section describes the Conda environment for Databricks Runtime 7.0 ML.

CPU クラスターでの PythonPython on CPU clusters

name: databricks-ml
channels:
  - pytorch
  - defaults
dependencies:
  - _libgcc_mutex=0.1=main
  - absl-py=0.9.0=py37_0
  - asn1crypto=1.3.0=py37_0
  - astor=0.8.0=py37_0
  - backcall=0.1.0=py37_0
  - backports=1.0=py_2
  - bcrypt=3.1.7=py37h7b6447c_1
  - blas=1.0=mkl
  - blinker=1.4=py37_0
  - boto3=1.12.0=py_0
  - botocore=1.15.0=py_0
  - c-ares=1.15.0=h7b6447c_1001
  - ca-certificates=2020.1.1=0
  - cachetools=4.1.0=py_1
  - certifi=2020.4.5.1=py37_0
  - cffi=1.14.0=py37h2e261b9_0
  - chardet=3.0.4=py37_1003
  - click=7.0=py37_0
  - cloudpickle=1.3.0=py_0
  - configparser=3.7.4=py37_0
  - cpuonly=1.0=0
  - cryptography=2.8=py37h1ba5d50_0
  - cycler=0.10.0=py37_0
  - cython=0.29.15=py37he6710b0_0
  - decorator=4.4.1=py_0
  - dill=0.3.1.1=py37_1
  - docutils=0.15.2=py37_0
  - entrypoints=0.3=py37_0
  - flask=1.1.1=py_1
  - freetype=2.9.1=h8a8886c_1
  - future=0.18.2=py37_1
  - gast=0.3.3=py_0
  - gitdb2=2.0.6=py_0
  - gitpython=3.0.5=py_0
  - google-auth=1.11.2=py_0
  - google-auth-oauthlib=0.4.1=py_2
  - google-pasta=0.2.0=py_0
  - grpcio=1.27.2=py37hf8bcb03_0
  - gunicorn=20.0.4=py37_0
  - h5py=2.10.0=py37h7918eee_0
  - hdf5=1.10.4=hb1b8bf9_0
  - icu=58.2=he6710b0_3
  - idna=2.8=py37_0
  - intel-openmp=2020.0=166
  - ipykernel=5.1.4=py37h39e3cac_0
  - ipython=7.12.0=py37h5ca1d4c_0
  - ipython_genutils=0.2.0=py37_0
  - itsdangerous=1.1.0=py37_0
  - jedi=0.14.1=py37_0
  - jinja2=2.11.1=py_0
  - jmespath=0.9.4=py_0
  - joblib=0.14.1=py_0
  - jpeg=9b=h024ee3a_2
  - jupyter_client=5.3.4=py37_0
  - jupyter_core=4.6.1=py37_0
  - kiwisolver=1.1.0=py37he6710b0_0
  - krb5=1.16.4=h173b8e3_0
  - ld_impl_linux-64=2.33.1=h53a641e_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=9.1.0=hdf63c60_0
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libpng=1.6.37=hbc83047_0
  - libpq=11.2=h20c2e04_0
  - libprotobuf=3.11.4=hd408876_0
  - libsodium=1.0.16=h1bed415_0
  - libstdcxx-ng=9.1.0=hdf63c60_0
  - libtiff=4.1.0=h2733197_0
  - lightgbm=2.3.0=py37he6710b0_0
  - lz4-c=1.8.1.2=h14c3975_0
  - mako=1.1.2=py_0
  - markdown=3.1.1=py37_0
  - markupsafe=1.1.1=py37h7b6447c_0
  - matplotlib-base=3.1.3=py37hef1b27d_0
  - mkl=2020.0=166
  - mkl-service=2.3.0=py37he904b0f_0
  - mkl_fft=1.0.15=py37ha843d7b_0
  - mkl_random=1.1.0=py37hd6b4f25_0
  - ncurses=6.2=he6710b0_1
  - networkx=2.4=py_0
  - ninja=1.9.0=py37hfd86e86_0
  - nltk=3.4.5=py37_0
  - numpy=1.18.1=py37h4f9e942_0
  - numpy-base=1.18.1=py37hde5b4d6_1
  - oauthlib=3.1.0=py_0
  - olefile=0.46=py37_0
  - openssl=1.1.1g=h7b6447c_0
  - packaging=20.1=py_0
  - pandas=1.0.1=py37h0573a6f_0
  - paramiko=2.7.1=py_0
  - parso=0.5.2=py_0
  - patsy=0.5.1=py37_0
  - pexpect=4.8.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pillow=7.0.0=py37hb39fc2d_0
  - pip=20.0.2=py37_3
  - plotly=4.5.2=py_0
  - prompt_toolkit=3.0.3=py_0
  - protobuf=3.11.4=py37he6710b0_0
  - psutil=5.6.7=py37h7b6447c_0
  - psycopg2=2.8.4=py37h1ba5d50_0
  - ptyprocess=0.6.0=py37_0
  - pyasn1=0.4.8=py_0
  - pyasn1-modules=0.2.7=py_0
  - pycparser=2.19=py37_0
  - pygments=2.5.2=py_0
  - pyjwt=1.7.1=py37_0
  - pynacl=1.3.0=py37h7b6447c_0
  - pyodbc=4.0.30=py37he6710b0_0
  - pyopenssl=19.1.0=py37_0
  - pyparsing=2.4.6=py_0
  - pysocks=1.7.1=py37_0
  - python=3.7.6=h0371630_2
  - python-dateutil=2.8.1=py_0
  - python-editor=1.0.4=py_0
  - pytorch=1.5.0=py3.7_cpu_0
  - pytz=2019.3=py_0
  - pyzmq=18.1.1=py37he6710b0_0
  - readline=7.0=h7b6447c_5
  - requests=2.22.0=py37_1
  - requests-oauthlib=1.3.0=py_0
  - retrying=1.3.3=py37_2
  - rsa=4.0=py_0
  - s3transfer=0.3.3=py37_0
  - scikit-learn=0.22.1=py37hd81dba3_0
  - scipy=1.4.1=py37h0b6359f_0
  - setuptools=45.2.0=py37_0
  - simplejson=3.17.0=py37h7b6447c_0
  - six=1.14.0=py37_0
  - smmap2=2.0.5=py37_0
  - sqlite=3.31.1=h62c20be_1
  - sqlparse=0.3.0=py_0
  - statsmodels=0.11.0=py37h7b6447c_0
  - tabulate=0.8.3=py37_0
  - tk=8.6.8=hbc83047_0
  - torchvision=0.6.0=py37_cpu
  - tornado=6.0.3=py37h7b6447c_3
  - tqdm=4.42.1=py_0
  - traitlets=4.3.3=py37_0
  - unixodbc=2.3.7=h14c3975_0
  - urllib3=1.25.8=py37_0
  - wcwidth=0.1.8=py_0
  - websocket-client=0.56.0=py37_0
  - werkzeug=1.0.0=py_0
  - wheel=0.34.2=py37_0
  - wrapt=1.11.2=py37h7b6447c_0
  - xz=5.2.4=h14c3975_4
  - zeromq=4.3.1=he6710b0_3
  - zlib=1.2.11=h7b6447c_3
  - zstd=1.3.7=h0b5b093_0
  - pip:
    - astunparse==1.6.3
    - databricks-cli==0.11.0
    - diskcache==4.1.0
    - docker==4.2.1
    - gorilla==0.3.0
    - horovod==0.19.1
    - hyperopt==0.2.4.db1
    - keras-preprocessing==1.1.2
    - mleap==0.16.0
    - mlflow==1.8.0
    - opt-einsum==3.2.1
    - petastorm==0.9.2
    - pyarrow==0.15.1
    - pyyaml==5.3.1
    - querystring-parser==1.2.4
    - seaborn==0.10.0
    - sparkdl==2.1.0-db1
    - tensorboard==2.2.2
    - tensorboard-plugin-wit==1.6.0.post3
    - tensorflow-cpu==2.2.0
    - tensorflow-estimator==2.2.0
    - termcolor==1.1.0
    - xgboost==1.1.1
prefix: /databricks/conda/envs/databricks-ml

GPU クラスターでの PythonPython on GPU clusters

name: databricks-ml-gpu
channels:
  - pytorch
  - defaults
dependencies:
  - _libgcc_mutex=0.1=main
  - absl-py=0.9.0=py37_0
  - asn1crypto=1.3.0=py37_0
  - astor=0.8.0=py37_0
  - backcall=0.1.0=py37_0
  - backports=1.0=py_2
  - bcrypt=3.1.7=py37h7b6447c_1
  - blas=1.0=mkl
  - blinker=1.4=py37_0
  - boto3=1.12.0=py_0
  - botocore=1.15.0=py_0
  - c-ares=1.15.0=h7b6447c_1001
  - ca-certificates=2020.1.1=0
  - cachetools=4.1.0=py_1
  - certifi=2020.4.5.2=py37_0
  - cffi=1.14.0=py37h2e261b9_0
  - chardet=3.0.4=py37_1003
  - click=7.0=py37_0
  - cloudpickle=1.3.0=py_0
  - configparser=3.7.4=py37_0
  - cryptography=2.8=py37h1ba5d50_0
  - cudatoolkit=10.1.243=h6bb024c_0
  - cycler=0.10.0=py37_0
  - cython=0.29.15=py37he6710b0_0
  - decorator=4.4.1=py_0
  - dill=0.3.1.1=py37_1
  - docutils=0.15.2=py37_0
  - entrypoints=0.3=py37_0
  - flask=1.1.1=py_1
  - freetype=2.9.1=h8a8886c_1
  - future=0.18.2=py37_1
  - gast=0.3.3=py_0
  - gitdb2=2.0.6=py_0
  - gitpython=3.0.5=py_0
  - google-auth=1.11.2=py_0
  - google-auth-oauthlib=0.4.1=py_2
  - google-pasta=0.2.0=py_0
  - grpcio=1.27.2=py37hf8bcb03_0
  - gunicorn=20.0.4=py37_0
  - h5py=2.10.0=py37h7918eee_0
  - hdf5=1.10.4=hb1b8bf9_0
  - icu=58.2=he6710b0_3
  - idna=2.8=py37_0
  - intel-openmp=2020.0=166
  - ipykernel=5.1.4=py37h39e3cac_0
  - ipython=7.12.0=py37h5ca1d4c_0
  - ipython_genutils=0.2.0=py37_0
  - itsdangerous=1.1.0=py37_0
  - jedi=0.14.1=py37_0
  - jinja2=2.11.1=py_0
  - jmespath=0.9.4=py_0
  - joblib=0.14.1=py_0
  - jpeg=9b=h024ee3a_2
  - jupyter_client=5.3.4=py37_0
  - jupyter_core=4.6.1=py37_0
  - kiwisolver=1.1.0=py37he6710b0_0
  - krb5=1.16.4=h173b8e3_0
  - ld_impl_linux-64=2.33.1=h53a641e_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=9.1.0=hdf63c60_0
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libpng=1.6.37=hbc83047_0
  - libpq=11.2=h20c2e04_0
  - libprotobuf=3.11.4=hd408876_0
  - libsodium=1.0.16=h1bed415_0
  - libstdcxx-ng=9.1.0=hdf63c60_0
  - libtiff=4.1.0=h2733197_0
  - lightgbm=2.3.0=py37he6710b0_0
  - lz4-c=1.8.1.2=h14c3975_0
  - mako=1.1.2=py_0
  - markdown=3.1.1=py37_0
  - markupsafe=1.1.1=py37h7b6447c_0
  - matplotlib-base=3.1.3=py37hef1b27d_0
  - mkl=2020.0=166
  - mkl-service=2.3.0=py37he904b0f_0
  - mkl_fft=1.0.15=py37ha843d7b_0
  - mkl_random=1.1.0=py37hd6b4f25_0
  - ncurses=6.2=he6710b0_1
  - networkx=2.4=py_0
  - ninja=1.9.0=py37hfd86e86_0
  - nltk=3.4.5=py37_0
  - numpy=1.18.1=py37h4f9e942_0
  - numpy-base=1.18.1=py37hde5b4d6_1
  - oauthlib=3.1.0=py_0
  - olefile=0.46=py37_0
  - openssl=1.1.1g=h7b6447c_0
  - packaging=20.1=py_0
  - pandas=1.0.1=py37h0573a6f_0
  - paramiko=2.7.1=py_0
  - parso=0.5.2=py_0
  - patsy=0.5.1=py37_0
  - pexpect=4.8.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pillow=7.0.0=py37hb39fc2d_0
  - pip=20.0.2=py37_3
  - plotly=4.5.2=py_0
  - prompt_toolkit=3.0.3=py_0
  - protobuf=3.11.4=py37he6710b0_0
  - psutil=5.6.7=py37h7b6447c_0
  - psycopg2=2.8.4=py37h1ba5d50_0
  - ptyprocess=0.6.0=py37_0
  - pyasn1=0.4.8=py_0
  - pyasn1-modules=0.2.7=py_0
  - pycparser=2.19=py37_0
  - pygments=2.5.2=py_0
  - pyjwt=1.7.1=py37_0
  - pynacl=1.3.0=py37h7b6447c_0
  - pyodbc=4.0.30=py37he6710b0_0
  - pyopenssl=19.1.0=py37_0
  - pyparsing=2.4.6=py_0
  - pysocks=1.7.1=py37_0
  - python=3.7.6=h0371630_2
  - python-dateutil=2.8.1=py_0
  - python-editor=1.0.4=py_0
  - pytorch=1.5.0=py3.7_cuda10.1.243_cudnn7.6.3_0
  - pytz=2019.3=py_0
  - pyzmq=18.1.1=py37he6710b0_0
  - readline=7.0=h7b6447c_5
  - requests=2.22.0=py37_1
  - requests-oauthlib=1.3.0=py_0
  - retrying=1.3.3=py37_2
  - rsa=4.0=py_0
  - s3transfer=0.3.3=py37_0
  - scikit-learn=0.22.1=py37hd81dba3_0
  - scipy=1.4.1=py37h0b6359f_0
  - setuptools=45.2.0=py37_0
  - simplejson=3.17.0=py37h7b6447c_0
  - six=1.14.0=py37_0
  - smmap2=2.0.5=py37_0
  - sqlite=3.31.1=h62c20be_1
  - sqlparse=0.3.0=py_0
  - statsmodels=0.11.0=py37h7b6447c_0
  - tabulate=0.8.3=py37_0
  - tk=8.6.8=hbc83047_0
  - torchvision=0.6.0=py37_cu101
  - tornado=6.0.3=py37h7b6447c_3
  - tqdm=4.42.1=py_0
  - traitlets=4.3.3=py37_0
  - unixodbc=2.3.7=h14c3975_0
  - urllib3=1.25.8=py37_0
  - wcwidth=0.1.8=py_0
  - websocket-client=0.56.0=py37_0
  - werkzeug=1.0.0=py_0
  - wheel=0.34.2=py37_0
  - wrapt=1.11.2=py37h7b6447c_0
  - xz=5.2.4=h14c3975_4
  - zeromq=4.3.1=he6710b0_3
  - zlib=1.2.11=h7b6447c_3
  - zstd=1.3.7=h0b5b093_0
  - pip:
    - astunparse==1.6.3
    - databricks-cli==0.11.0
    - diskcache==4.1.0
    - docker==4.2.1
    - gorilla==0.3.0
    - horovod==0.19.1
    - hyperopt==0.2.4.db1
    - keras-preprocessing==1.1.2
    - mleap==0.16.0
    - mlflow==1.8.0
    - opt-einsum==3.2.1
    - petastorm==0.9.2
    - pyarrow==0.15.1
    - pyyaml==5.3.1
    - querystring-parser==1.2.4
    - seaborn==0.10.0
    - sparkdl==2.1.0-db1
    - tensorboard==2.2.2
    - tensorboard-plugin-wit==1.6.0.post3
    - tensorflow-estimator==2.2.0
    - tensorflow-gpu==2.2.0
    - termcolor==1.1.0
    - xgboost==1.1.1
prefix: /databricks/conda/envs/databricks-ml-gpu

Python モジュールを含む Spark パッケージSpark packages containing Python modules

Spark パッケージSpark Package Python モジュールPython Module バージョンVersion
graphframesgraphframes graphframesgraphframes 0.8.0 以降-spark 3.00.8.0-db2-spark3.0

R ライブラリR libraries

R ライブラリは Databricks Runtime 7.0 Beta の r ライブラリ と同じです。The R libraries are identical to the R Libraries in Databricks Runtime 7.0 Beta.

Java とスケールのライブラリ (2.12 クラスター)Java and Scala libraries (Scala 2.12 cluster)

Databricks Runtime 7.0 の Java と a のライブラリに加え、Databricks Runtime 7.0 ML には次の Jar が含まれています。In addition to Java and Scala libraries in Databricks Runtime 7.0, Databricks Runtime 7.0 ML contains the following JARs:

グループ IDGroup ID 成果物 IDArtifact ID バージョンVersion
タイプセーフな. akkacom.typesafe.akka akka-actor_2 12akka-actor_2.12 2.5.232.5.23
combust. mleapml.combust.mleap mleap-runtime_2 12mleap-databricks-runtime_2.12 0.17.0-48dc30.17.0-4882dc3
ml (dmlc)ml.dmlc xgboost4j-spark_2 12xgboost4j-spark_2.12 1.0.01.0.0
ml (dmlc)ml.dmlc xgboost4j_2 12xgboost4j_2.12 1.0.01.0.0
組織の mlfloworg.mlflow mlflow-クライアントmlflow-client 1.8.01.8.0
org. lang. モジュールorg.scala-lang.modules java8-compat_2 12scala-java8-compat_2.12 0.8.00.8.0
組織の "転送フロー"org.tensorflow spark-connector_2. 12spark-tensorflow-connector_2.12 1.15.01.15.0