Python API

  • Cikk

Ez az oldal a Databricks Szolgáltatásfejlesztés és a Databricks-munkaterület szolgáltatástárolójának Python API-dokumentációjára mutató hivatkozásokat, valamint az ügyfélcsomagokkal databricks-feature-engineering és databricks-feature-storea .

Feljegyzés

A 0.17.0-s databricks-feature-store verzió elavult. A csomag összes meglévő modulja már elérhető a 0.2.0-s és újabb verziókban databricks-feature-engineering . További információ a migrálásról: Migrálás databricks-feature-engineeringa databricks-feature-engineering szolgáltatásba.

Kompatibilitási mátrix

A használni kívánt csomag és ügyfél attól függ, hogy hol találhatók a szolgáltatástáblák, és hogy milyen Databricks Runtime ML-verziót futtat, ahogyan az alábbi táblázatban látható.

A Databricks Runtime ML-verzióba beépített csomagverzió azonosításához tekintse meg a Szolgáltatásmérnöki kompatibilitási mátrixot.

Databricks Runtime verzió Funkciótáblák a következőben: Csomag használata Python-ügyfél használata
Databricks Runtime 14.3 ML vagy újabb Unity Catalog databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.3 ML vagy újabb Munkaterület databricks-feature-engineering FeatureStoreClient
Databricks Runtime 14.2 ML és újabb Unity Catalog databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.2 ML és újabb Munkaterület databricks-feature-store FeatureStoreClient

Szolgáltatásfejlesztés – Python API-referencia

Tekintse meg a Feature Engineering Python API-referenciáját.

Munkaterületi funkciótár – Python API-referencia (elavult)

Feljegyzés

  • A 0.17.0-s databricks-feature-store verzió elavult. A csomag összes meglévő modulja már elérhető a 0.2.0-s és újabb verziókban databricks-feature-engineering .

A 0.17.0-s verzióról databricks-feature-store a Databricks FeatureStoreClient in Feature Engineering Python API-referenciájában olvashat a Workspace Feature Store API legújabb referenciáiról .

A 0.16.3-s vagy újabb verzió esetén a táblázatban található hivatkozásokkal letöltheti vagy megjelenítheti a Feature Store Python API-referenciáját. A Databricks Runtime ML-verzió előre telepített verziójának meghatározásához tekintse meg a kompatibilitási mátrixot.

Verzió PDF letöltése Online API-referencia
v0.3.5–v0.16.3 Feature Store Python API 0.16.3 referencia PDF Online API-referencia
0.3.5-ös vagy újabb verzió Feature Store Python API 0.3.5 referencia PDF Online API-referencia nem érhető el

Python-csomag

Ez a szakasz bemutatja, hogyan telepíthetők a Python-csomagok a Databricks szolgáltatásfejlesztés és a Databricks-munkaterület funkciótárolójának használatára.

Jellemzőkiemelés

Feljegyzés

  • A 0.2.0-s databricks-feature-engineering verziótól a Unity Catalog és a Workspace Feature Store szolgáltatástábláinak használatát lehetővé tevő modulokat tartalmaz. databricks-feature-engineering az alábbi 0.2.0-s verzió csak a Unity Catalog szolgáltatástábláival működik.

A Databricks szolgáltatásmérnöki API-k a Python-ügyfélcsomagon databricks-feature-engineeringkeresztül érhetők el. Az ügyfél a PyPI-n érhető el, és előre telepítve van a Databricks Runtime 13.3 LTS ML-ben és újabb verziókban.

Ha meg szeretné tudni, hogy melyik ügyfélverzió melyik futtatókörnyezeti verziónak felel meg, tekintse meg a kompatibilitási mátrixot.

Az ügyfél telepítése a Databricks Runtime-ban:

%pip install databricks-feature-engineering

Az ügyfél telepítése helyi Python-környezetben:

pip install databricks-feature-engineering

Munkaterület funkciótárolója (elavult)

Feljegyzés

  • A 0.17.0-s databricks-feature-store verzió elavult. A csomag összes meglévő modulja elérhető a 0.2.0-s és újabb verziókban databricks-feature-engineering.
  • További információ: Migrálás a databricks-feature-engineering szolgáltatásba.

A Databricks feature Store API-k a Python-ügyfélcsomagon databricks-feature-storekeresztül érhetők el. Az ügyfél elérhető a PyPI-n, és előre telepítve van a Databricks Runtime for Machine Tanulás. Ha megtekinti, hogy melyik futtatókörnyezet melyik ügyfélverziót tartalmazza, tekintse meg a kompatibilitási mátrixot.

Az ügyfél telepítése a Databricks Runtime-ban:

%pip install databricks-feature-store

Az ügyfél telepítése helyi Python-környezetben:

pip install databricks-feature-store

Migrálás a databricks-feature-engineering

A csomag telepítéséhez használja pip install databricks-feature-engineering a databricks-feature-engineering következő helyett: pip install databricks-feature-store. Az összes modul databricks-feature-store át lett helyezve databricks-feature-engineering, ezért nem kell módosítania a kódot. Az importálási utasítások, például from databricks.feature_store import FeatureStoreClient a telepítés databricks-feature-engineeringután is működni fognak.

Ha funkciótáblákkal szeretne dolgozni a Unity Catalogban, használja a következőt FeatureEngineeringClient: . A Munkaterület funkciótároló használatához a következőt kell használnia FeatureStoreClient: .

Támogatott esetek

A Databricksen, beleértve a Databricks Runtime-ot és a Databricks Runtime for Machine Tanulás, a következőket teheti:

  • Funkciótáblák létrehozása, olvasása és írása.
  • Modellek betanítása és pontszáma funkcióadatokon.
  • Szolgáltatástáblák közzététele online áruházakban valós idejű kiszolgálás céljából.

Helyi környezetből vagy a Databricksen kívüli környezetből a következőket teheti:

  • Kód fejlesztése helyi IDE-támogatással.
  • Egységteszt szimulált keretrendszerek használatával.
  • A Databricksen futtatandó integrációs tesztek írása.

Korlátozások

Az ügyfélkódtár csak a Databricksen futtatható, beleértve a Databricks Runtime és a Databricks Runtime for Machine Tanulás. Nem támogatja a Szolgáltatásfejlesztés meghívását a Unity Catalogban vagy a Feature Store API-kban helyi környezetből vagy a Databrickstől eltérő környezetből.

Az ügyfelek használata egységteszteléshez

Az egységtesztek futtatásához helyileg telepítheti a szolgáltatásfejlesztést a Unity Catalog-ügyfélben vagy a Feature Store-ügyfélben.

Ha például ellenőrizni szeretné, hogy egy metódus update_customer_features helyesen hív-e FeatureEngineeringClient.write_table (vagy munkaterületi szolgáltatástároló esetén), FeatureStoreClient.write_tableírhat a következőt:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Az ügyfelek használata integrációs teszteléshez

Integrációs teszteket futtathat a Unity Catalog-ügyfél szolgáltatásfejlesztésével vagy a Databricks Szolgáltatástár-ügyféllel. További információ: Fejlesztői eszközök és útmutató: CI/CD használata.

Az ügyfelek használata integrált fejlesztési környezetben (IDE)

A Szolgáltatásfejlesztés a Unity Catalog-ügyfélben vagy a Feature Store-ügyfél egy IDE-vel használható a Databricks szoftverfejlesztéséhez. További információt a Dbx használata a Visual Studio Code-tal című témakörben talál.