Almacenes de vectores en Azure Machine Learning (versión preliminar)
Importante
Esta característica actualmente está en su versión preliminar pública. Esta versión preliminar se ofrece sin un Acuerdo de Nivel de Servicio y no se recomienda para cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas.
Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.
Este artículo conceptual le ayuda a usar un índice vectorial en Azure Machine Learning para realizar la generación aumentada de recuperación (RAG). Un índice vectorial almacena inserciones, que son representaciones numéricas de conceptos (datos) convertidas en secuencias numéricas, lo que permite a los LLM comprender las relaciones entre ellos. La creación de almacenes de vectores le ayuda a enlazar los datos con un modelo de lenguaje grande (LLM), como GPT-4, y recuperar los datos de forma eficaz.
Azure Machine Learning admite dos tipos de almacenes de vectores que contienen los datos complementarios usados en un flujo de trabajo RAG:
Faiss es una biblioteca código abierto que proporciona un almacén basado en archivos local. El índice de vectores se almacena en la cuenta de almacenamiento del área de trabajo de Azure Machine Learning. Ya que se almacena de manera local, los costos son mínimos y esto vuelve ideal para el desarrollo y las pruebas.
Azure AI Search (formalmente conocido como Cognitive Search) es un recurso de Azure que admite la recuperación de información sobre los datos vectoriales y textuales almacenados en los índices de búsqueda. Un flujo de avisos puede crear, rellenar y consultar los datos vectoriales almacenados en Azure AI Search.
Elegir un almacén de vectores
Puede usar cualquiera de los almacenes en el flujo de solicitud. A continuación, los describimos para facilitar su decisión.
Faiss es una biblioteca código abierto que descarga y usa un componente de la solución. Esta biblioteca podría ser el mejor lugar para empezar si tiene datos de solo vector. Algunos puntos clave sobre cómo trabajar con Faiss:
Almacenamiento local sin costes para crear un índice (solo el coste de almacenamiento).
Puede compilar y consultar un índice en memoria.
Puede compartir copias para uso individual. Hospedar el índice de una aplicación es una acción que requiere configurarse.
Faiss realiza el escalado con el índice de carga del proceso subyacente.
Azure AI Search es un recurso PaaS dedicado que se crea en una suscripción de Azure. Un único servicio de búsqueda puede hospedar un gran número de índices, que se pueden consultar y usar en un patrón RAG. Algunos puntos clave sobre el uso de Azure AI Search para el almacén de vectores:
Admite los requisitos empresariales de nivel empresarial para el escalado, la seguridad y la disponibilidad.
Admite la recuperación de información híbrida. Los datos vectoriales pueden coexistir con datos son vectoriales, por lo que se puede usar cualquiera de las características de Azure AI Search para la indexación y las consultas, incluida la búsqueda híbrida y la reclasificación semántica.
La compatibilidad con vectores está en versión preliminar pública. Actualmente, los vectores se deben generar externamente y, después, pasarlos a Azure AI Search para la indexación y codificación de consultas. El flujo de mensajes controla estas transiciones automáticamente.
Para usar Azure AI Search como almacén de vectores para Azure Machine Learning, debes tener un servicio de búsqueda. Una vez que el servicio exista y se haya concedido acceso a los desarrolladores, puede elegir Azure AI Search como índice vectorial en un flujo de avisos. El flujo de avisos crea el índice en Azure AI Search, genera vectores a partir de los datos de origen, envía los vectores al índice, invoca la búsqueda de similitud en Azure AI Search y devuelve la respuesta.