Databricks Runtime 5.5 mit Conda (nicht unterstützt)

Artikel
03/01/2024

Hinweis

Dieses Release ist nicht mehr verfügbar. Wenn Sie Conda zur Verwaltung von Python-Bibliotheken und -Umgebungen verwenden möchten, nutzen Sie eine unterstützte Version von Databricks Runtime für Machine Learning.

Wir freuen uns, Databricks Runtime 5.5 mit Conda (Beta) vorstellen zu können, womit Sie die Vorteile von Conda für die Verwaltung von Python-Bibliotheken und -Umgebungen nutzen können. Diese Runtime bietet zwei Conda-Stammumgebungsoptionen bei der Clustererstellung:

Die Databricks Standard-Umgebung enthält aktualisierte Versionen vieler beliebter Python-Pakete. Diese Umgebung ist als direkter Ersatz für vorhandene Notebooks gedacht, die in Databricks Runtime ausgeführt werden. Dies ist die standardmäßige auf Databricks mit Conda basierende Laufzeitumgebung.
Die Databricks Minimal-Umgebung enthält die mindestens notwendigen Pakete für die Python-Notebookfunktionen von PySpark und Databricks. Diese Umgebung ist ideal, wenn Sie die Laufzeit mit verschiedenen Python-Paketen anpassen möchten.

Beide bieten Unterstützung für das Bibliothekshilfsprogramm (dbutils.library) (Legacy) von Databricks an.

Hinweis

Die Scala-, Java- und R-Bibliotheken in Databricks Runtime 5.5 mit Conda sind identisch mit denen in Databricks Runtime 5.5. Einzelheiten finden Sie in den Versionshinweisen zu Databricks Runtime 5.5 LTS (nicht unterstützt). Informationen zur Verwendung von Databricks Runtime mit Conda finden Sie unter Conda.

Neue Funktionen

Eine neue Bibliotheks-API im Notebookbereich wird bereitgestellt, um das Aktualisieren der Conda-Umgebung des Notebooks mit einer YAML-Spezifikation zu unterstützen (siehe Conda-Dokumentation).

dbutils.library.updateCondaEnv('''envYmlContent''')

Um beispielsweise die numpy-Bibliothek auf 1.16.4 zu aktualisieren, rufen Sie Folgendes auf:

dbutils.library.updateCondaEnv(
"""channels:
  - default
dependencies:
  - numpy=1.16.4""")

Hinweis

Sie können ausführliche Informationen zu updateCondaEnv und der Verwendung von dbutils.library.help("updateCondaEnv") erhalten.

Verbesserungen

Die Pakete in der Standard- und Minimal-Umgebung werden auf neuere Versionen aktualisiert. Die vollständige Liste der Paketversionen finden Sie unter Bibliotheken. Hier sind einige wichtige Paketupdates:
- Python wurde von 3.7.0 auf 3.7.3 aktualisiert
- IPython wurde von 6.5.0 auf 7.4.0 aktualisiert
- pip wurde von 10.0.1 auf 19.0.3 aktualisiert
Um die Isolation der Umgebung zwischen Notebooks zu verbessern, werden Prozessisolation und ADLS-Passthrough aktiviert.
Damit Sie Pakete mit conda install installieren können, ohne das leicht vergessene -y-Flag übergeben zu müssen, ist die Conda-Konfigurationsoption always_yes jetzt in .condarc auf True festgelegt.

Systemumgebung

Die Systemumgebung in Databricks Runtime 5.5 mit Conda unterscheidet sich wie folgt von Databricks Runtime 5.5:

Python: 3.7.x. Es wird nur Python 3 unterstützt.

Bibliotheken

Nachstehend wird die exportierte Datei environment.yml für Standardstammumgebungen in Databricks Runtime 5.5 mit Conda gezeigt.

Databricks Standard

name: databricks-standard
channels:
  - defaults
dependencies:
  - asn1crypto=0.24.0=py37_0
  - backcall=0.1.0=py37_0
  - blas=1.0=openblas
  - boto=2.49.0=py37_0
  - boto3=1.9.162=py_0
  - botocore=1.12.163=py_0
  - ca-certificates=2019.1.23=0
  - certifi=2019.3.9=py37_0
  - cffi=1.12.2=py37h2e261b9_1
  - chardet=3.0.4=py37_1
  - cryptography=2.6.1=py37h1ba5d50_0
  - cython=0.29.6=py37he6710b0_0
  - decorator=4.4.0=py37_1
  - docutils=0.14=py37_0
  - idna=2.8=py37_0
  - ipython=7.4.0=py37h39e3cac_0
  - ipython_genutils=0.2.0=py37_0
  - jedi=0.13.3=py37_0
  - jmespath=0.9.4=py_0
  - krb5=1.16.1=h173b8e3_7
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=8.2.0=hdf63c60_1
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libopenblas=0.3.6=h5a2b251_0
  - libpq=11.2=h20c2e04_0
  - libstdcxx-ng=8.2.0=hdf63c60_1
  - ncurses=6.1=he6710b0_1
  - nomkl=3.0=0
  - numpy=1.16.2=py37h99e49ec_0
  - numpy-base=1.16.2=py37h2f8d375_0
  - openssl=1.1.1b=h7b6447c_1
  - pandas=0.24.2=py37he6710b0_0
  - parso=0.3.4=py37_0
  - patsy=0.5.1=py37_0
  - pexpect=4.6.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pip=19.0.3=py37_0
  - prompt_toolkit=2.0.9=py37_0
  - psycopg2=2.7.6.1=py37h1ba5d50_0
  - ptyprocess=0.6.0=py37_0
  - pycparser=2.19=py37_0
  - pygments=2.3.1=py37_0
  - pyopenssl=19.0.0=py37_0
  - pysocks=1.6.8=py37_0
  - python=3.7.3=h0371630_0
  - python-dateutil=2.8.0=py37_0
  - pytz=2018.9=py37_0
  - readline=7.0=h7b6447c_5
  - requests=2.21.0=py37_0
  - s3transfer=0.2.0=py37_0
  - scikit-learn=0.20.3=py37h22eb022_0
  - scipy=1.2.1=py37he2b7bc3_0
  - setuptools=40.8.0=py37_0
  - six=1.12.0=py37_0
  - sqlite=3.27.2=h7b6447c_0
  - statsmodels=0.9.0=py37h035aef0_0
  - tk=8.6.8=hbc83047_0
  - traitlets=4.3.2=py37_0
  - urllib3=1.24.1=py37_0
  - wcwidth=0.1.7=py37_0
  - wheel=0.33.1=py37_0
  - xz=5.2.4=h14c3975_4
  - zlib=1.2.11=h7b6447c_3
  - pip:
    - cycler==0.10.0
    - kiwisolver==1.1.0
    - matplotlib==3.0.3
    - pyarrow==0.12.0
    - pyparsing==2.4.0
    - seaborn==0.9.0
prefix: /databricks/conda/envs/databricks-standard

Databricks Minimal

name: databricks-minimal
channels:
  - defaults
dependencies:
  - backcall=0.1.0=py37_0
  - blas=1.0=openblas
  - ca-certificates=2019.1.23=0
  - certifi=2019.3.9=py37_0
  - decorator=4.4.0=py37_1
  - ipython=7.4.0=py37h39e3cac_0
  - ipython_genutils=0.2.0=py37_0
  - jedi=0.13.3=py37_0
  - libedit=3.1.20181209=hc058e9b_0
  - libffi=3.2.1=hd88cf55_4
  - libgcc-ng=8.2.0=hdf63c60_1
  - libgfortran-ng=7.3.0=hdf63c60_0
  - libopenblas=0.3.6=h5a2b251_0
  - libstdcxx-ng=8.2.0=hdf63c60_1
  - ncurses=6.1=he6710b0_1
  - nomkl=3.0=0
  - numpy=1.16.2=py37h99e49ec_0
  - numpy-base=1.16.2=py37h2f8d375_0
  - openssl=1.1.1b=h7b6447c_1
  - pandas=0.24.2=py37he6710b0_0
  - parso=0.3.4=py37_0
  - pexpect=4.6.0=py37_0
  - pickleshare=0.7.5=py37_0
  - pip=19.0.3=py37_0
  - prompt_toolkit=2.0.9=py37_0
  - ptyprocess=0.6.0=py37_0
  - pygments=2.3.1=py37_0
  - python=3.7.3=h0371630_0
  - python-dateutil=2.8.0=py37_0
  - pytz=2018.9=py37_0
  - readline=7.0=h7b6447c_5
  - setuptools=40.8.0=py37_0
  - six=1.12.0=py37_0
  - sqlite=3.27.2=h7b6447c_0
  - tk=8.6.8=hbc83047_0
  - traitlets=4.3.2=py37_0
  - wcwidth=0.1.7=py37_0
  - wheel=0.33.1=py37_0
  - xz=5.2.4=h14c3975_4
  - zlib=1.2.11=h7b6447c_3
  - pip:
    - pyarrow==0.12.0
prefix: /databricks/conda/envs/databricks-minimal

Share via

Databricks Runtime 5.5 mit Conda (nicht unterstützt)

Neue Funktionen

Verbesserungen

Systemumgebung

Bibliotheken

Databricks Standard

Databricks Minimal

Zusätzliche Ressourcen