Share via

Busca em Vetores do Databricks

  • Artigo

Este artigo fornece uma visão geral da solução de banco de dados vetorial do Databricks, a Busca em Vetores do Databricks, incluindo o que é e como funciona.

O Databricks Vector Search é um banco de dados de vetor integrado à Plataforma de Inteligência de Dados do Databricks e às ferramentas de governança e produtividade. O banco de dados vetorial é um banco de dados otimizado para armazenar e recuperar incorporações. Incorporações são representações matemáticas do conteúdo semântico de dados, de modo geral dados de texto ou de imagens. As incorporações são geradas por um modelo de linguagem grande e um componente fundamental de vários aplicativos de GenAI que dependem da localização de documentos ou imagens semelhantes entre si. Alguns exemplos são os sistemas RAG, sistemas de recomendação e reconhecimentos de imagem e vídeo.

Com o Vector Search, você cria um índice de pesquisa vetorial a partir de uma tabela Delta. O índice inclui dados incorporados com metadados. Em seguida, você pode consultar o índice usando uma API REST para identificar os vetores mais semelhantes e retornar os documentos associados. Você pode estruturar o índice para sincronizar automaticamente sempre que a tabela Delta subjacente for atualizada.

O Databricks Vector Search usa o algoritmo Mundo Pequeno Navegável Hierárquico (HNSW) para suas pesquisas aproximadas de vizinho mais próximo e a métrica de distância euclidiana (L2) para medir a similaridade entre vetores de incorporação. Se quiser usar a similaridade por cosseno, você precisará normalizar suas incorporações de ponto de dados antes de usá-las para alimentar o Vector Search. Quando os pontos de dados são normalizados, a classificação produzida pela distância euclidiana é a mesma que a classificação produzida pela similaridade por cosseno.

Como funciona a Busca em Vetores?

Para criar um banco de dados vetorial no Databricks, primeiro você precisa decidir como fornecer incorporações de vetor. O Databricks dá suporte para três opções:

  • Opção 1 Você fornece uma tabela Delta de origem que contém dados em formato de texto. O Databricks calcula as inserções usando um modelo especificado e, opcionalmente, salva as inserções em uma tabela no Catálogo do Unity. À medida que a tabela Delta é atualizada, o índice permanece sincronizado com a tabela Delta.

    O diagrama a seguir ilustra o processo:

    1. Calcular incorporações de consulta. A consulta pode incluir filtros de metadados.
    2. Realize pesquisas por similaridade para identificar os documentos mais relevantes.
    3. Retorne os documentos mais relevantes e anexe-os à consulta.

    banco de dados vetorial, o Databricks calculará as inserções

  • Opção 2 Você fornece uma tabela Delta de origem que contém inserções pré-calculadas. À medida que a tabela Delta é atualizada, o índice permanece sincronizado com a tabela Delta.

    O diagrama a seguir ilustra o processo:

    1. A consulta consiste em incorporações e pode incluir filtros de metadados.
    2. Realize pesquisas por similaridade para identificar os documentos mais relevantes. Retorne os documentos mais relevantes e anexe-os à consulta.

    banco de dados vetorial, inserções pré-calculados

  • Opção 3 Você fornece uma tabela Delta de origem que contém inserções pré-calculadas. Não ocorre uma sincronização automática quando a tabela Delta é atualizada. Você precisa atualizar o índice manualmente usando a API REST quando a tabela de incorporações for alterada.

    O diagrama a seguir ilustra o processo, que é o mesmo da Opção 2, exceto pelo fato de que o índice do vetor não é atualizado automaticamente quando a tabela Delta é alterada:

    banco de dados vetorial, inserções pré-calculadas sem sincronização automática

Cálculo de pesquisa de similaridade

O cálculo de pesquisa de similaridade usa a seguinte fórmula:

recíproco de 1 mais a distância ao quadrado

em que dist é a distância euclidiana entre a consulta q e a entrada de índice x:

Distância eucidiana, raiz quadrada da soma das diferenças ao quadrado

Para usar o Databricks Vector Search, você precisa criar o seguinte:

  • Um ponto de extremidade de busca em vetores. Esse ponto de extremidade atende ao índice de busca em vetores. Você pode consultar e atualizar o ponto de extremidade usando a API REST ou o SDK. Os pontos de extremidade são dimensionados automaticamente para dar suporte ao tamanho do índice ou ao número de solicitações simultâneas. Confira Criar um ponto de extremidade de busca em vetores para obter instruções.
  • Um índice de busca em vetores. O índice de busca em vetores é criado a partir de uma tabela Delta e é otimizado para fornecer pesquisas aproximadas de vizinho mais próximo em tempo real. O objetivo da pesquisa é identificar os documentos que sejam semelhantes à consulta. Os índices de busca em vetores aparecem no Catálogo do Unity e são regidos por ele. Confira Criar um índice de busca em vetores para obter instruções.

Além disso, se optar por ter o Databricks computando as incorporações, você também precisará criar um ponto de extremidade que atenda a modelos para o modelo de incorporação. Confira Criar pontos de extremidade de serviço de modelo básicos para obter instruções.

Para consultar o ponto de extremidade atenda a modelos, use a API REST ou o SDK do Python. Sua consulta pode definir os filtros com base em qualquer coluna na tabela Delta. Para obter detalhes, consulte Usar filtros em consultas, a Referência da API ou a Referência do SDK do Python.

Requisitos

  • Workspace habilitados para o Catálogo do Unity.
  • Computação sem servidor habilitada.
  • A tabela de origem deve ter o Feed de Dados de Alteração habilitado.
  • Os privilégios de CRIAÇÃO DE TABELAS nos esquemas do catálogo para criar índices.
  • Token de acesso pessoal habilitados.

Proteção e autenticação de dados

O Databricks implementa os seguintes controles de segurança para proteger seus dados:

  • Cada solicitação do cliente para a busca em vetores é logicamente isolada, autenticada e autorizada.
  • A busca em vetores do Databricks criptografa todos os dados inativos (AES-256) e em trânsito (TLS 1.2+).

A busca em vetores do Databricks dá suporte a dois modos de autenticação:

  • Token de acesso pessoal – Você pode usar um token de acesso pessoal para se autenticar com a busca em vetores. Consulte token de autenticação de acesso pessoal. Se for usado em um ambiente de notebook, o SDK irá gerar um token PAT para autenticação automaticamente.
  • Token de entidade de serviço – Um administrador pode gerar um token de entidade de serviço e passá-lo para o SDK ou a API. Consulte usar entidades de serviço. Para casos de uso de produção, o Databricks recomenda usar um token de entidade de serviço.

As Chaves Gerenciadas pelo Cliente (CMK) têm suporte em pontos de extremidade criados em 8 de maio de 2024 ou após 8 de maio de 2024. O suporte à busca em vetores para CMK está em Visualização Pública.

Monitorar o uso e os custos da busca em vetores

A tabela do sistema de uso faturável permite monitorar o uso e os custos associados aos índices de busca em vetores e pontos de extremidade. Veja um exemplo de consulta:

SELECT *
FROM system.billing.usage
WHERE billing_origin_product = 'VECTOR_SEARCH'
  AND usage_metadata.endpoint_name IS NOT NULL

Para obter detalhes sobre o conteúdo da tabela de uso de cobrança, confira Referência de tabela do sistema de uso faturável. Há consultas adicionais no notebook de exemplo a seguir.

Notebook consultas tabelas do sistema busca em vetores

Obter notebook

Limites de tamanho de dados e recursos

A tabela a seguir resume os limites de tamanho de dados e recursos para pontos de extremidade e índices de busca em vetores:

Recurso Granularidade Limite
Pontos de extremidade de busca em vetores Por workspace 100
Incorporações Por ponto de extremidade 100.000.000
Dimensão de inserção Por índice 4096
Índices Por ponto de extremidade 20
Colunas Por índice 20
Colunas Tipos com suporte: bytes, curto, inteiro, longo, float, duplo, booliano, cadeia de caracteres, carimbo de data/hora, data
Campos de metadados Por índice 20
Nome do índice Por índice 128 caracteres

Os limites a seguir se aplicam à criação e atualização de índices de busca em vetores:

Recurso Granularidade Limite
Tamanho da linha do Índice de Sincronização Delta Por índice 100 KB
Tamanho da coluna de inserção de origem do Índice de Sincronização Delta Por índice 32764 bytes
Limite de tamanho da solicitação de upsert em massa do Índice de Vetor Direto Por índice 10MB
Limite de tamanho da solicitação de exclusão em massa do Índice de Vetor Direto Por índice 10MB

Os limites a seguir se aplicam à API de consulta para busca em vetores.

Recurso Granularidade Limite
Tamanho do texto de consulta Por consulta 32764
Número máximo de resultados retornados Por consulta 10,000

Limitações

  • No momento, o PrivateLink está limitado a um conjunto selecionado de clientes. Se você estiver interessado em usar o recurso com o PrivateLink, entre em contato com o representante da sua conta do Databricks.
  • Não há suporte para workspaces regulamentados, portanto, essa funcionalidade não tem conformidade com HIPAA.
  • Não há suporte para permissões no nível de linha e de coluna. No entanto, você pode implementar suas próprias ACLs de nível usando a API de filtro.

Recursos adicionais