Repositórios de vetores no Azure Machine Learning (visualização)
Importante
Esta funcionalidade está atualmente em pré-visualização pública. Esta versão de pré-visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas.
Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.
Este artigo de conceito ajuda você a usar um índice de vetor no Aprendizado de Máquina do Azure para executar a Geração Aumentada de Recuperação (RAG). Um índice vetorial armazena incorporações, que são representações numéricas de conceitos (dados) convertidos em sequências numéricas, que permitem aos LLMs entender as relações entre esses conceitos. A criação de repositórios vetoriais ajuda você a conectar seus dados com um modelo de linguagem grande (LLM) como GPT-4 e recuperar os dados de forma eficiente.
O Azure Machine Learning suporta dois tipos de arquivos de vetores que contêm os dados suplementares utilizados num fluxo de trabalho do RAG:
O Faiss é uma biblioteca open-source que fornece um arquivo baseado em ficheiros locais. O índice de vetor é armazenado na conta de armazenamento da área de trabalho do Azure Machine Learning. Como é armazenado localmente, os custos são mínimos, tornando-o ideal para desenvolvimento e teste.
O Azure AI Search (anteriormente Cognitive Search ) é um recurso do Azure que dá suporte à recuperação de informações sobre seus dados vetoriais e textuais armazenados em índices de pesquisa. Um fluxo de prompt pode criar, preencher e consultar seus dados vetoriais armazenados no Azure AI Search.
Escolha uma loja de vetores
Você pode usar qualquer loja no fluxo de prompt, então qual você deve usar?
Faiss é uma biblioteca de código aberto que você baixa e usa um componente de sua solução. Essa biblioteca pode ser o melhor lugar para começar se você tiver dados somente vetoriais. Alguns pontos-chave sobre trabalhar com a Faiss:
Armazenamento local, sem custos para a criação de um índice (apenas custo de armazenamento).
Você pode criar e consultar um índice na memória.
Você pode compartilhar cópias para uso individual. Se você quiser hospedar o índice de um aplicativo, precisará configurá-lo.
Faiss escala com índice de carga de computação subjacente.
O Azure AI Search é um recurso PaaS dedicado que você cria em uma assinatura do Azure. Um único serviço de pesquisa pode hospedar um grande número de índices, que podem ser consultados e usados em um padrão RAG. Alguns pontos-chave sobre como usar a Pesquisa de IA do Azure para seu repositório de vetores:
Suporta requisitos de negócios de nível empresarial para escala, segurança e disponibilidade.
Suporta recuperação de informações híbridas. Os dados vetoriais podem coexistir com dados não vetoriais, o que significa que você pode usar qualquer um dos recursos do Azure AI Search para indexação e consultas, incluindo pesquisa híbrida e reclassificação semântica.
O suporte a vetores está em pré-visualização pública. Atualmente, os vetores devem ser gerados externamente e, em seguida, passados para o Azure AI Search para indexação e codificação de consulta. O fluxo de prompt lida com essas transições para você.
Para usar a Pesquisa de IA como um repositório de vetores para o Aprendizado de Máquina do Azure, você deve ter um serviço de pesquisa. Depois que o serviço existir e você tiver concedido acesso aos desenvolvedores, poderá escolher o Azure AI Search como um índice vetorial em um fluxo de prompt. O fluxo de prompt cria o índice na Pesquisa de IA do Azure, gera vetores a partir dos dados de origem, envia os vetores para o índice, invoca a pesquisa de semelhança na Pesquisa de IA e retorna a resposta.
Próximos passos
Como criar índice de vetor no fluxo de prompt do Aprendizado de Máquina do Azure (visualização)