Databricks Runtime a Machine Learning

Databricks Runtime a Machine Learning (Databricks Runtime ML) automatizálja a gépi tanulásra optimalizált fürtök létrehozását. Databricks Runtime ML fürtök tartalmazzák a legnépszerűbb gépi tanulási kódtárakat, például a TensorFlow-t, a PyTorch-t, a Kerast és az XGBoostot, valamint az elosztott betanításhoz szükséges kódtárakat, például a Horovodot. A Databricks Runtime ML felgyorsítja a fürtök létrehozását, és biztosítja a telepített kódtárverziók kompatibilitását.

A gépi tanuláshoz és mély tanuláshoz Azure Databricks részletes információkért lásd a Databricks Machine Learning útmutatóját.

Az egyes verziók tartalmával kapcsolatos Databricks Runtime ML a kibocsátási megjegyzésekben található.

Databricks Runtime ML a Databricks Runtime. A 7.3 LTS Databricks Runtime például Machine Learning 7,3 LTS-re Databricks Runtime épül. Az alapként Databricks Runtime kódtárak a következő kibocsátási Databricks Runtime vannak felsorolva:.

Bevezetés a Databricks Runtime-Machine Learning

Ez az oktatóanyag a felhasználók számára készült, Databricks Runtime ML. A folyamat körülbelül 10 percet vesz igénybe, és teljes körű példát mutat be a táblázatos adatok betöltésére, a modell betanítására, az elosztott hiperparaméterek finomhangolására és a modell következtetésére. Azt is bemutatja, hogyan használhatja az MLflow API-t és az MLflow-modell regisztrációs adatbázisát.

Databricks-oktatóanyag jegyzetfüzete

Jegyzetfüzet beszerzése

A Databricks Runtime ML

A Databricks Runtime ML számos népszerű kódtárat ML tartalmaz. A kódtárak minden kiadással frissülnek, és új funkciókat és javításokat tartalmaznak.

Azure Databricks a támogatott kódtárak egy részkészletét jelölte meg legfelső szintű kódtárakként. Ezekhez a kódtárakhoz Azure Databricks gyorsabb frissítési ütemet biztosít, és minden egyes futásidejű kiadással frissíti a legújabb csomagokat (a függőségütközéseket is beleértve). Azure Databricks speciális támogatást, tesztelést és beágyazott optimalizálást is biztosít a legfelső szintű kódtárakhoz.

A legfelső szintű és más rendelkezésre álló kódtárak teljes listáját az alábbi cikkekben talál az egyes elérhető futásidőkről:

A Databricks Runtime ML

Az előre telepített kódtárak mellett a Databricks Runtime ML a fürtkonfigurációban Databricks Runtime a Python-csomagok kezelésében is különbözik.

Fürt létrehozása Databricks Runtime ML

Amikor létrehoz egy fürtöt,válasszon egy Databricks Runtime ML verziót a Databricks Runtime Verzió legördülő menüből. A processzorral és a GPU-val kompatibilis ML is elérhetők.

Válassza a Databricks Runtime ML

Ha GPU-kompatibilis ML választ, a rendszer felkéri, hogy válasszon ki egy kompatibilis illesztőprogram-típust és feldolgozótípust. A inkompatibilis példánytípusok kiszürkülnek a legördülő menüből. A GPU-kompatibilis példánytípusok a GPU-gyorsított címkén vannak felsorolva.

Figyelmeztetés

A munkaterületen az összes fürtre automatikusan telepítve lévő kódtárak ütközhet a Databricks Runtime ML. Mielőtt fürtöt hoz létre Databricks Runtime ML, törölje az Ütköző kódtárak telepítése az összes fürtön jelölőnégyzet jelölését.

Python-csomagok kezelése

A Databricks Runtime 9.0-s ML és a fentiekben a Virtualenv csomagkezelővel telepíthetők a Python-csomagok. Minden Python-csomag egyetlen környezetben van telepítve: /databricks/python3 .

A Databricks Runtime 8.4-es és ML a Conda csomagkezelő a Python-csomagok telepítéséhez használható. Minden Python-csomag egyetlen környezetben van telepítve: a Python 2-t használó fürtökön és a /databricks/python2/databricks/python3 Python 3-ast használó fürtökön. A Conda-környezetek váltása (vagy aktiválása) nem támogatott.

A Python-kódtárak kezelésével kapcsolatos információkért lásd: Kódtárak.

Az automatizált gépi tanulás támogatása

Databricks Runtime ML olyan eszközöket tartalmaz, amelyek automatizálják a modellfejlesztési folyamatot, és segítenek megtalálni a legjobban teljesítő modellt.

  • Az AutoML automatikusan létrehoz, kihangolja és kiértékel egy modellkészletet, és létrehoz egy Python-jegyzetfüzetet az egyes futtatások forráskódja alapján, így ön áttekintheti, reprodukálhatja és módosíthatja a kódot.
  • A felügyelt MLFlow kezeli a modellek végpontok közötti életciklusát, beleértve a kísérleti futtatásokat, a modellek üzembe helyezését és megosztását, valamint a központosított modelljegyzék fenntartását.
  • A osztálysal kiegészített Hyperoptautomatizálja és elosztja ML modellparaméterek finomhangolását.