具有 Conda 的 Databricks Runtime 5.5 （不支援）

發行項
03/05/2024

注意

此版本已不再提供。如果您想要使用 Conda 來管理 Python 連結庫和環境，請使用支援的 Databricks Runtime 版本進行機器學習。

我們很高興引進 Databricks Runtime 5.5 與 Conda （Beta），這可讓您利用 Conda 來管理 Python 連結庫和環境。此執行時間會在叢集建立時提供兩個根 Conda 環境選項：

Databricks Standard 環境包含許多熱門 Python 套件的更新版本。此環境旨在取代在 Databricks Runtime 上執行的現有筆記本。這是預設的 Databricks Conda 型運行時間環境。
Databricks 最低 環境包含 PySpark 和 Databricks Python 筆記本功能所需的套件數目下限。如果您想要使用各種 Python 套件自定義運行時間，此環境是理想的環境。

兩者都包含 Databricks 連結庫公用程式（dbutils.library ）（legacy）的支援。

注意

Databricks Runtime 5.5 與 Conda 中的 Scala、Java 和 R 連結庫與 Databricks Runtime 5.5 中的連結庫相同。如需詳細資訊，請參閱 Databricks Runtime 5.5 LTS（不支援）版本資訊。如需如何搭配 Conda 使用 Databricks Runtime 的詳細資訊，請參閱 Conda。

新功能

提供新的筆記本範圍連結庫 API，以支援使用 YAML 規格更新筆記本的 Conda 環境（請參閱 Conda 檔）。

dbutils.library.updateCondaEnv('''envYmlContent''')

例如，若要將 numpy 連結庫更新為 1.16.4，請呼叫下列命令：

dbutils.library.updateCondaEnv(
"""channels:
  - default
dependencies:
  - numpy=1.16.4""")

注意

您可以取得使用 dbutils.library.help("updateCondaEnv")的詳細資訊updateCondaEnv。

改善

標準和最低環境中的套件會更新為較新版本。如需套件版本的完整清單，請參閱連結庫。以下是一些重要的套件更新：
- Python 已從 3.7.0 更新為 3.7.3
- IPython 已從 6.5.0 更新為 7.4.0
- pip 已從 10.0.1 更新為 19.0.3
為了改善筆記本之間的環境隔離，已啟用進程隔離和ADLS傳遞。
若要讓您使用 conda install 安裝套件，而不需要傳遞容易忘記的-y旗標，always_yesConda 元件選項現在會在中.condarc設定為 True 。

系統環境

Databricks Runtime 5.5 與 Conda 的系統環境與 Databricks Runtime 5.5 不同，如下所示：

Python：3.7.x。僅支援 Python 3。

圖書館

以下是 Databricks Runtime 5.5 與 Conda 上預設根環境的導出 environment.yml 檔案。

Databricks Standard

name: databricks-standard
channels:
  - defaults
dependencies:
  - asn1crypto=0.24.0=py37_0
  - backcall=0.1.0=py37_0
  - blas=1.0=openblas
  - boto=2.49.0=py37_0
  - boto3=1.9.162=py_0
  - botocore=1.12.163=py_0
  - ca-certificates=2019.1.23=0
  - certifi=2019.3.9=py37_0
  - cffi=1.12.2=py37h2e261b9_1
  - chardet=3.0.4=py37_1
  - cryptography=2.6.1=py37h1ba5d50_0
  - cython=0.29.6=py37he6710b0_0
  - decorator=4.4.0=py37_1
  - docutils=0.14=py37_0
  - idna=2.8=py37_0
  - ipython=7.4.0=py37h39e3cac_0
  - ipython_genutils=0.2.0=py37_0
  - jedi=0.13.3=py37_0
  - jmespath=0.9.4=py_0
  - krb5=1.16.1=h173b8e3_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=8.2.0=hdf63c60_1
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libopenblas=0.3.6=h5a2b251_0
  - libpq=11.2=h20c2e04_0
  - libstdcxx-ng=8.2.0=hdf63c60_1
  - ncurses=6.1=he6710b0_1
  - nomkl=3.0=0
  - numpy=1.16.2=py37h99e49ec_0
  - numpy-base=1.16.2=py37h2f8d375_0
  - openssl=1.1.1b=h7b6447c_1
  - pandas=0.24.2=py37he6710b0_0
  - parso=0.3.4=py37_0
  - patsy=0.5.1=py37_0
  - pexpect=4.6.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pip=19.0.3=py37_0
  - prompt_toolkit=2.0.9=py37_0
  - psycopg2=2.7.6.1=py37h1ba5d50_0
  - ptyprocess=0.6.0=py37_0
  - pycparser=2.19=py37_0
  - pygments=2.3.1=py37_0
  - pyopenssl=19.0.0=py37_0
  - pysocks=1.6.8=py37_0
  - python=3.7.3=h0371630_0
  - python-dateutil=2.8.0=py37_0
  - pytz=2018.9=py37_0
  - readline=7.0=h7b6447c_5
  - requests=2.21.0=py37_0
  - s3transfer=0.2.0=py37_0
  - scikit-learn=0.20.3=py37h22eb022_0
  - scipy=1.2.1=py37he2b7bc3_0
  - setuptools=40.8.0=py37_0
  - six=1.12.0=py37_0
  - sqlite=3.27.2=h7b6447c_0
  - statsmodels=0.9.0=py37h035aef0_0
  - tk=8.6.8=hbc83047_0
  - traitlets=4.3.2=py37_0
  - urllib3=1.24.1=py37_0
  - wcwidth=0.1.7=py37_0
  - wheel=0.33.1=py37_0
  - xz=5.2.4=h14c3975_4
  - zlib=1.2.11=h7b6447c_3
  - pip:
    - cycler==0.10.0
    - kiwisolver==1.1.0
    - matplotlib==3.0.3
    - pyarrow==0.12.0
    - pyparsing==2.4.0
    - seaborn==0.9.0
prefix: /databricks/conda/envs/databricks-standard

Databricks 最小

name: databricks-minimal
channels:
  - defaults
dependencies:
  - backcall=0.1.0=py37_0
  - blas=1.0=openblas
  - ca-certificates=2019.1.23=0
  - certifi=2019.3.9=py37_0
  - decorator=4.4.0=py37_1
  - ipython=7.4.0=py37h39e3cac_0
  - ipython_genutils=0.2.0=py37_0
  - jedi=0.13.3=py37_0
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=8.2.0=hdf63c60_1
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libopenblas=0.3.6=h5a2b251_0
  - libstdcxx-ng=8.2.0=hdf63c60_1
  - ncurses=6.1=he6710b0_1
  - nomkl=3.0=0
  - numpy=1.16.2=py37h99e49ec_0
  - numpy-base=1.16.2=py37h2f8d375_0
  - openssl=1.1.1b=h7b6447c_1
  - pandas=0.24.2=py37he6710b0_0
  - parso=0.3.4=py37_0
  - pexpect=4.6.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pip=19.0.3=py37_0
  - prompt_toolkit=2.0.9=py37_0
  - ptyprocess=0.6.0=py37_0
  - pygments=2.3.1=py37_0
  - python=3.7.3=h0371630_0
  - python-dateutil=2.8.0=py37_0
  - pytz=2018.9=py37_0
  - readline=7.0=h7b6447c_5
  - setuptools=40.8.0=py37_0
  - six=1.12.0=py37_0
  - sqlite=3.27.2=h7b6447c_0
  - tk=8.6.8=hbc83047_0
  - traitlets=4.3.2=py37_0
  - wcwidth=0.1.7=py37_0
  - wheel=0.33.1=py37_0
  - xz=5.2.4=h14c3975_4
  - zlib=1.2.11=h7b6447c_3
  - pip:
    - pyarrow==0.12.0
prefix: /databricks/conda/envs/databricks-minimal

共用方式為

具有 Conda 的 Databricks Runtime 5.5 （不支援）

新功能

改善

系統環境

圖書館

Databricks Standard

Databricks 最小

其他資源