Share via

API Python

  • Artigo

Esta página fornece links para a documentação da API Python do Databricks Feature Engineering e do Databricks Workspace Feature Store, além de informações sobre os pacotes databricks-feature-engineering do cliente e databricks-feature-storeo .

Nota

A partir da versão 0.17.0, databricks-feature-store foi preterido. Todos os módulos existentes deste pacote estão agora disponíveis na databricks-feature-engineering versão 0.2.0 e posterior. Para obter informações sobre como migrar para o databricks-feature-engineering, consulte Migrar para databricks-feature-engineering.

Matriz de compatibilidade

O pacote e o cliente que você deve usar dependem de onde suas tabelas de recursos estão localizadas e qual versão do Databricks Runtime ML você está executando, conforme mostrado na tabela a seguir.

Para identificar a versão do pacote incorporada à versão do Databricks Runtime ML, consulte a matriz de compatibilidade do Feature Engineering.

Versão do Databricks Runtime Para tabelas de recursos em Pacote de uso Usar cliente Python
Databricks Runtime 14.3 ML e superior Catálogo do Unity databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.3 ML e superior Área de trabalho databricks-feature-engineering FeatureStoreClient
Databricks Runtime 14.2 ML e inferior Catálogo do Unity databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.2 ML e inferior Área de trabalho databricks-feature-store FeatureStoreClient

Referência da API Python de Engenharia de Recursos

Consulte a referência da API Python de engenharia de recursos.

Referência da API Python do Repositório de Recursos de Espaço de Trabalho (preterida)

Nota

  • A partir da versão 0.17.0, databricks-feature-store foi preterido. Todos os módulos existentes deste pacote estão agora disponíveis na databricks-feature-engineering versão 0.2.0 e posterior.

Para databricks-feature-store v0.17.0, consulte Databricks FeatureStoreClient em Feature Engineering Python API reference para obter a referência mais recente da API do Workspace Feature Store.

Para v0.16.3 e abaixo, use os links na tabela para baixar ou exibir a referência da API Python do Feature Store. Para determinar a versão pré-instalada para sua versão do Databricks Runtime ML, consulte a matriz de compatibilidade.

Versão Transferir PDF Referência da API online
v0.3.5 a v0.16.3 Repositório de recursos Python API 0.16.3 referência PDF Referência da API online
v0.3.5 e inferior Repositório de recursos Python API 0.3.5 referência PDF Referência de API on-line não disponível

Pacote Python

Esta seção descreve como instalar os pacotes Python para usar o Databricks Feature Engineering e o Databricks Workspace Feature Store.

Desenvolvimento de Funcionalidades

Nota

  • A partir da versão 0.2.0, databricks-feature-engineering contém módulos para trabalhar com tabelas de recursos no Unity Catalog e no Workspace Feature Store. databricks-feature-engineering abaixo a versão 0.2.0 só funciona com tabelas de recursos no Unity Catalog.

As APIs de engenharia de recursos do Databricks estão disponíveis através do pacote databricks-feature-engineeringdo cliente Python . O cliente está disponível no PyPI e está pré-instalado no Databricks Runtime 13.3 LTS ML e superior.

Para obter uma referência de qual versão do cliente corresponde a qual versão de tempo de execução, consulte a matriz de compatibilidade.

Para instalar o cliente no Databricks Runtime:

%pip install databricks-feature-engineering

Para instalar o cliente em um ambiente Python local:

pip install databricks-feature-engineering

Repositório de recursos do espaço de trabalho (preterido)

Nota

  • A partir da versão 0.17.0, databricks-feature-store foi preterido. Todos os módulos existentes deste pacote estão agora disponíveis na databricks-feature-engineeringversão 0.2.0 e posterior.
  • Consulte Migrar para databricks-feature-engineering para obter mais informações.

As APIs do Databricks Feature Store estão disponíveis através do pacote databricks-feature-storedo cliente Python . O cliente está disponível no PyPI e está pré-instalado no Databricks Runtime for Machine Learning. Para obter uma referência de qual tempo de execução inclui qual versão do cliente, consulte a matriz de compatibilidade.

Para instalar o cliente no Databricks Runtime:

%pip install databricks-feature-store

Para instalar o cliente em um ambiente Python local:

pip install databricks-feature-store

Migrar para databricks-feature-engineering

Para instalar o databricks-feature-engineering pacote, use pip install databricks-feature-engineering em vez de pip install databricks-feature-store. Todos os módulos foram databricks-feature-store movidos para databricks-feature-engineering, portanto, você não precisa alterar nenhum código. Importar instruções como as que from databricks.feature_store import FeatureStoreClient continuarão a funcionar após a instalação databricks-feature-engineeringdo .

Para trabalhar com tabelas de recursos no Unity Catalog, use FeatureEngineeringClient. Para usar o Repositório de Recursos de Espaço de Trabalho, você deve usar FeatureStoreCliento .

Cenários suportados

No Databricks, incluindo Databricks Runtime e Databricks Runtime for Machine Learning, você pode:

  • Crie, leia e escreva tabelas de recursos.
  • Treine e classifique modelos em dados de recursos.
  • Publique tabelas de recursos em lojas online para atendimento em tempo real.

A partir de um ambiente local ou externo ao Databricks, você pode:

  • Desenvolva código com suporte IDE local.
  • Teste de unidade usando estruturas simuladas.
  • Escreva testes de integração para serem executados no Databricks.

Limitações

A biblioteca de cliente só pode ser executada em Databricks, incluindo Databricks Runtime e Databricks Runtime for Machine Learning. Ele não suporta chamar Feature Engineering no Unity Catalog ou APIs do Feature Store de um ambiente local ou de um ambiente diferente do Databricks.

Usar os clientes para testes de unidade

Você pode instalar o Feature Engineering no cliente Unity Catalog ou o cliente Feature Store localmente para ajudar na execução de testes de unidade.

Por exemplo, para validar que um método update_customer_features chama FeatureEngineeringClient.write_table corretamente (ou para o Workspace Feature Store, FeatureStoreClient.write_table), você pode escrever:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Use os clientes para testes de integração

Você pode executar testes de integração com o cliente Feature Engineering no Unity Catalog ou o cliente Feature Store no Databricks. Para obter detalhes, consulte Developer Tools and Guidance: Use CI/CD.

Use os clientes para em um ambiente de desenvolvimento integrado (IDE)

Você pode usar o cliente Feature Engineering no Unity Catalog ou o cliente Feature Store com um IDE para desenvolvimento de software com Databricks. Para obter detalhes, consulte Usar dbx com Visual Studio Code.