Conda를 사용하는 Databricks Runtime 5.5(지원되지 않음)

아티클
03/01/2024

참고 항목

이 릴리스는 더 이상 사용할 수 없습니다. Conda를 사용하여 Python 라이브러리 및 환경을 관리하려면 지원되는 버전의 Machine Learning용 Databricks Runtime을 사용합니다.

Conda를 사용하여 Python 라이브러리 및 환경을 관리할 수 있는 Databricks Runtime 5.5(Conda 포함)(베타)를 소개합니다. 이 런타임은 클러스터를 만들 때 두 가지 루트 Conda 환경 옵션을 제공합니다.

Databricks Standard 환경에는 많은 인기 있는 Python 패키지의 업데이트된 버전이 포함되어 있습니다. 이 환경은 Databricks Runtime에서 실행되는 기존 Notebook을 대체하기 위한 것입니다. 이는 기본 Databricks Conda 기반 런타임 환경입니다.
Databricks 최소 환경에는 PySpark 및 Databricks Python Notebook 기능에 필요한 최소 패키지 수가 포함되어 있습니다. 이 환경은 다양한 Python 패키지로 런타임을 사용자 지정하려는 경우에 이상적입니다.

둘 다 Databricks 라이브러리 유틸리티(dbutils.library)(레거시)에 대한 지원을 포함합니다.

참고 항목

Databricks Runtime 5.5(Conda 포함)의 Scala, Java, R 라이브러리는 Databricks Runtime 5.5의 라이브러리와 동일합니다. 자세한 내용은 Databricks Runtime 5.5 LTS(지원되지 않는) 릴리스 정보를 참조하세요. Conda에서 Databricks 런타임을 사용하는 방법에 대한 자세한 내용은 Conda를 참조하세요.

새로운 기능

YAML 사양으로 Notebook의 Conda 환경을 업데이트할 수 있도록 지원하는 새로운 Notebook 범위 라이브러리 API가 제공됩니다(Conda 설명서 참조).

dbutils.library.updateCondaEnv('''envYmlContent''')

예를 들어, numpy 라이브러리를 1.16.4로 업데이트하려면 다음을 호출합니다.

dbutils.library.updateCondaEnv(
"""channels:
  - default
dependencies:
  - numpy=1.16.4""")

참고 항목

dbutils.library.help("updateCondaEnv")를 사용하여 updateCondaEnv에 대한 자세한 정보를 확인할 수 있습니다.

향상된 기능

표준 및 최소 환경의 패키지는 최신 버전으로 업데이트되었습니다. 패키지 버전의 전체 목록은 라이브러리를 참조하세요. 다음은 몇 가지 주요 패키지 업데이트입니다.
- Python 업데이트: 3.7.3에서 3.7.0으로
- IPython 업데이트: 7.4.0에서 6.5.0으로
- pip 업데이트: 10.0.1에서 19.0.3으로
Notebook 간 환경 격리를 개선하기 위해, 프로세스 격리 및 ADLS 통과가 사용하도록 설정되었습니다.
쉽게 잊어버릴 수 있는 플래그 -y를 전달하지 않고도 conda install을 사용하여 패키지를 설치할 수 있도록, 이제 always_yes Conda 구성 옵션이 .condarc에서 True로 설정되었습니다.

시스템 환경

Databricks Runtime 5.5(Conda 포함)의 시스템 환경은 다음과 같은 면에서 Databricks Runtime 5.5와 다릅니다.

Python: 3.7.x. Python 3만 지원됩니다.

라이브러리

다음은 Databricks Runtime 5.5(Conda 포함)의 기본 루트 환경에 대해 내보낸 environment.yml 파일입니다.

Databricks Standard

name: databricks-standard
channels:
  - defaults
dependencies:
  - asn1crypto=0.24.0=py37_0
  - backcall=0.1.0=py37_0
  - blas=1.0=openblas
  - boto=2.49.0=py37_0
  - boto3=1.9.162=py_0
  - botocore=1.12.163=py_0
  - ca-certificates=2019.1.23=0
  - certifi=2019.3.9=py37_0
  - cffi=1.12.2=py37h2e261b9_1
  - chardet=3.0.4=py37_1
  - cryptography=2.6.1=py37h1ba5d50_0
  - cython=0.29.6=py37he6710b0_0
  - decorator=4.4.0=py37_1
  - docutils=0.14=py37_0
  - idna=2.8=py37_0
  - ipython=7.4.0=py37h39e3cac_0
  - ipython_genutils=0.2.0=py37_0
  - jedi=0.13.3=py37_0
  - jmespath=0.9.4=py_0
  - krb5=1.16.1=h173b8e3_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=8.2.0=hdf63c60_1
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libopenblas=0.3.6=h5a2b251_0
  - libpq=11.2=h20c2e04_0
  - libstdcxx-ng=8.2.0=hdf63c60_1
  - ncurses=6.1=he6710b0_1
  - nomkl=3.0=0
  - numpy=1.16.2=py37h99e49ec_0
  - numpy-base=1.16.2=py37h2f8d375_0
  - openssl=1.1.1b=h7b6447c_1
  - pandas=0.24.2=py37he6710b0_0
  - parso=0.3.4=py37_0
  - patsy=0.5.1=py37_0
  - pexpect=4.6.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pip=19.0.3=py37_0
  - prompt_toolkit=2.0.9=py37_0
  - psycopg2=2.7.6.1=py37h1ba5d50_0
  - ptyprocess=0.6.0=py37_0
  - pycparser=2.19=py37_0
  - pygments=2.3.1=py37_0
  - pyopenssl=19.0.0=py37_0
  - pysocks=1.6.8=py37_0
  - python=3.7.3=h0371630_0
  - python-dateutil=2.8.0=py37_0
  - pytz=2018.9=py37_0
  - readline=7.0=h7b6447c_5
  - requests=2.21.0=py37_0
  - s3transfer=0.2.0=py37_0
  - scikit-learn=0.20.3=py37h22eb022_0
  - scipy=1.2.1=py37he2b7bc3_0
  - setuptools=40.8.0=py37_0
  - six=1.12.0=py37_0
  - sqlite=3.27.2=h7b6447c_0
  - statsmodels=0.9.0=py37h035aef0_0
  - tk=8.6.8=hbc83047_0
  - traitlets=4.3.2=py37_0
  - urllib3=1.24.1=py37_0
  - wcwidth=0.1.7=py37_0
  - wheel=0.33.1=py37_0
  - xz=5.2.4=h14c3975_4
  - zlib=1.2.11=h7b6447c_3
  - pip:
    - cycler==0.10.0
    - kiwisolver==1.1.0
    - matplotlib==3.0.3
    - pyarrow==0.12.0
    - pyparsing==2.4.0
    - seaborn==0.9.0
prefix: /databricks/conda/envs/databricks-standard

Databricks Minimal

name: databricks-minimal
channels:
  - defaults
dependencies:
  - backcall=0.1.0=py37_0
  - blas=1.0=openblas
  - ca-certificates=2019.1.23=0
  - certifi=2019.3.9=py37_0
  - decorator=4.4.0=py37_1
  - ipython=7.4.0=py37h39e3cac_0
  - ipython_genutils=0.2.0=py37_0
  - jedi=0.13.3=py37_0
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=8.2.0=hdf63c60_1
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libopenblas=0.3.6=h5a2b251_0
  - libstdcxx-ng=8.2.0=hdf63c60_1
  - ncurses=6.1=he6710b0_1
  - nomkl=3.0=0
  - numpy=1.16.2=py37h99e49ec_0
  - numpy-base=1.16.2=py37h2f8d375_0
  - openssl=1.1.1b=h7b6447c_1
  - pandas=0.24.2=py37he6710b0_0
  - parso=0.3.4=py37_0
  - pexpect=4.6.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pip=19.0.3=py37_0
  - prompt_toolkit=2.0.9=py37_0
  - ptyprocess=0.6.0=py37_0
  - pygments=2.3.1=py37_0
  - python=3.7.3=h0371630_0
  - python-dateutil=2.8.0=py37_0
  - pytz=2018.9=py37_0
  - readline=7.0=h7b6447c_5
  - setuptools=40.8.0=py37_0
  - six=1.12.0=py37_0
  - sqlite=3.27.2=h7b6447c_0
  - tk=8.6.8=hbc83047_0
  - traitlets=4.3.2=py37_0
  - wcwidth=0.1.7=py37_0
  - wheel=0.33.1=py37_0
  - xz=5.2.4=h14c3975_4
  - zlib=1.2.11=h7b6447c_3
  - pip:
    - pyarrow==0.12.0
prefix: /databricks/conda/envs/databricks-minimal

다음을 통해 공유

Conda를 사용하는 Databricks Runtime 5.5(지원되지 않음)

새로운 기능

향상된 기능

시스템 환경

라이브러리

Databricks Standard

Databricks Minimal

추가 리소스