Python-API

  • Artikel

Deze pagina bevat koppelingen naar de Python API-documentatie van Databricks Feature Engineering en Databricks Workspace Feature Store, en informatie over de clientpakketten databricks-feature-engineering en databricks-feature-store.

Notitie

Vanaf versie 0.17.0 databricks-feature-store is afgeschaft. Alle bestaande modules van dit pakket zijn nu beschikbaar in databricks-feature-engineering versie 0.2.0 en hoger. Zie Migreren naar databricks-feature-engineering voor meer informatie over migreren databricks-feature-engineeringnaar.

Compatibiliteitsmatrix

Het pakket en de client die u moet gebruiken, zijn afhankelijk van waar uw functietabellen zich bevinden en welke Databricks Runtime ML-versie u uitvoert, zoals wordt weergegeven in de volgende tabel.

Zie de compatibiliteitsmatrix voor feature engineering om de pakketversie te identificeren die is ingebouwd in uw Databricks Runtime ML-versie.

Databricks Runtime-versie Voor functietabellen in Pakket gebruiken Python-client gebruiken
Databricks Runtime 14.3 ML en hoger Unity-catalogus databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.3 ML en hoger Werkplek databricks-feature-engineering FeatureStoreClient
Databricks Runtime 14.2 ML en hieronder Unity-catalogus databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.2 ML en hieronder Werkplek databricks-feature-store FeatureStoreClient

Naslaginformatie over Python-API voor functie-engineering

Zie de Naslaginformatie over de Python-API voor Feature Engineering.

Python API-verwijzing voor werkruimtefunctiesarchief (afgeschaft)

Notitie

  • Vanaf versie 0.17.0 databricks-feature-store is afgeschaft. Alle bestaande modules van dit pakket zijn nu beschikbaar in databricks-feature-engineering versie 0.2.0 en hoger.

Voor databricks-feature-store v0.17.0 raadpleegt u Databricks FeatureStoreClient in Python API-naslaginformatie over feature engineering voor de nieuwste api voor werkruimtefunctiesopslag.

Gebruik voor v0.16.3 en hieronder de koppelingen in de tabel om de Python API-verwijzing voor de Feature Store te downloaden of weer te geven. Zie de compatibiliteitsmatrix om de vooraf geïnstalleerde versie voor uw Databricks Runtime ML-versie te bepalen.

Versie PDF dowloaden Naslaginformatie over online-API
v0.3.5 tot v0.16.3 Python API 0.16.3-verwijzings-PDF voor Feature Store Naslaginformatie over online-API
v0.3.5 en lager Python API 0.3.5-referentie-PDF voor Feature Store Online-API-verwijzing niet beschikbaar

Python-pakket

In deze sectie wordt beschreven hoe u de Python-pakketten installeert voor het gebruik van Databricks Feature Engineering en Databricks Workspace Feature Store.

Functie-engineering

Notitie

  • Vanaf versie 0.2.0 databricks-feature-engineering bevat deze modules voor het werken met functietabellen in zowel unity-catalogus als werkruimtefunctiearchief. databricks-feature-engineering lager dan versie 0.2.0 werkt alleen met functietabellen in Unity Catalog.

De Databricks Feature Engineering-API's zijn beschikbaar via het Python-clientpakket databricks-feature-engineering. De client is beschikbaar op PyPI en is vooraf geïnstalleerd in Databricks Runtime 13.3 LTS ML en hoger.

Zie de compatibiliteitsmatrix voor een verwijzing naar welke clientversie overeenkomt met welke runtimeversie.

De client installeren in Databricks Runtime:

%pip install databricks-feature-engineering

De client installeren in een lokale Python-omgeving:

pip install databricks-feature-engineering

Werkruimtefunctiearchief (afgeschaft)

Notitie

  • Vanaf versie 0.17.0 databricks-feature-store is afgeschaft. Alle bestaande modules van dit pakket zijn nu beschikbaar in databricks-feature-engineeringversie 0.2.0 en hoger.
  • Zie Migreren naar databricks-feature-engineering voor meer informatie.

De Databricks Feature Store-API's zijn beschikbaar via het Python-clientpakket databricks-feature-store. De client is beschikbaar op PyPI en is vooraf geïnstalleerd in Databricks Runtime voor Machine Learning. Zie de compatibiliteitsmatrix voor een verwijzing van welke runtime welke clientversie bevat.

De client installeren in Databricks Runtime:

%pip install databricks-feature-store

De client installeren in een lokale Python-omgeving:

pip install databricks-feature-store

Migreren naar databricks-feature-engineering

Als u het databricks-feature-engineering pakket wilt installeren, gebruikt pip install databricks-feature-engineering u in plaats van pip install databricks-feature-store. Alle modules zijn databricks-feature-store verplaatst naar databricks-feature-engineering, dus u hoeft geen code te wijzigen. Importinstructies zoals from databricks.feature_store import FeatureStoreClient blijven werken nadat u de installatie hebt uitgevoerd databricks-feature-engineering.

Als u wilt werken met functietabellen in Unity Catalog, gebruikt u FeatureEngineeringClient. Als u werkruimtefunctiearchief wilt gebruiken, moet u .FeatureStoreClient

Ondersteunde scenario's

Op Databricks, waaronder Databricks Runtime en Databricks Runtime voor Machine Learning, kunt u het volgende doen:

  • Functietabellen maken, lezen en schrijven.
  • Modellen trainen en beoordelen op functiegegevens.
  • Functietabellen publiceren naar online winkels voor realtime serveren.

Vanuit een lokale omgeving of een omgeving buiten Databricks kunt u het volgende doen:

  • Ontwikkel code met lokale IDE-ondersteuning.
  • Eenheidstest met behulp van mockframeworks.
  • Schrijf integratietests die moeten worden uitgevoerd op Databricks.

Beperkingen

De clientbibliotheek kan alleen worden uitgevoerd op Databricks, waaronder Databricks Runtime en Databricks Runtime voor Machine Learning. Het biedt geen ondersteuning voor het aanroepen van Functie-engineering in Unity Catalog of Feature Store-API's vanuit een lokale omgeving of vanuit een andere omgeving dan Databricks.

De clients gebruiken voor eenheidstests

U kunt de functie-engineering in de Unity Catalog-client of de Feature Store-client lokaal installeren om te helpen bij het uitvoeren van eenheidstests.

Als u bijvoorbeeld wilt controleren of een methode update_customer_features correct aanroept FeatureEngineeringClient.write_table (of voor werkruimtefunctiearchief), FeatureStoreClient.write_tablekunt u het volgende schrijven:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

De clients gebruiken voor integratietests

U kunt integratietests uitvoeren met de Functie-engineering in de Unity Catalog-client of de Feature Store-client op Databricks. Zie Hulpprogramma's en richtlijnen voor ontwikkelaars voor meer informatie: CI/CD gebruiken.

De clients gebruiken in een IDE (Integrated Development Environment)

U kunt de Functie-engineering in de Unity Catalog-client of de Feature Store-client gebruiken met een IDE voor softwareontwikkeling met Databricks. Zie Dbx gebruiken met Visual Studio Code voor meer informatie.