Aracılığıyla paylaş

Azure Machine Learning'de vektör depoları (önizleme)

  • Makale

Önemli

Bu özellik şu anda genel önizlemededir. Bu önizleme sürümü hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için bu sürümü önermeyiz. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir.

Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Bu kavram makalesi, Alma Artırılmış Nesil (RAG) gerçekleştirmek için Azure Machine Learning'de vektör dizini kullanmanıza yardımcı olur. Vektör dizini, sayı dizilerine dönüştürülen kavramların (verilerin) sayısal gösterimleri olan eklemeleri depolar ve bu da LLM'lerin bu kavramlar arasındaki ilişkileri anlamasını sağlar. Vektör depoları oluşturmak, verilerinizi GPT-4 gibi büyük bir dil modeliyle (LLM) bağlamanıza ve verileri verimli bir şekilde almanıza yardımcı olur.

Azure Machine Learning, RAG iş akışında kullanılan ek verilerinizi içeren iki tür vektör deposunu destekler:

  • Faiss, yerel dosya tabanlı depo sağlayan bir açık kaynak kitaplığıdır. Vektör dizini, Azure Machine Learning çalışma alanınızın depolama hesabında depolanır. Yerel olarak depolandığından, maliyetler çok düşük olup geliştirme ve test için idealdir.

  • Azure AI Search (eski adıYla Bilişsel Arama), arama dizinlerinde depolanan vektör ve metin verileri üzerinden bilgi almayı destekleyen bir Azure kaynağıdır. Bir istem akışı, Azure AI Search'te depolanan vektör verilerinizi oluşturabilir, doldurabilir ve sorgulayabilir.

Vektör deposu seçme

İstem akışında depolardan birini kullanabilirsiniz, bu nedenle hangisini kullanmalısınız?

Faiss, indirdiğiniz ve çözümünüzün bir bileşenini kullandığınız bir açık kaynak kitaplığıdır. Bu kitaplık, yalnızca vektör verilerine sahipseniz başlamak için en iyi yer olabilir. Faiss ile çalışmayla ilgili bazı önemli noktalar:

  • Dizin oluşturma maliyeti olmayan yerel depolama (yalnızca depolama maliyeti).

  • Bellekte bir dizin oluşturabilir ve sorgulayabilirsiniz.

  • Kopyaları tek tek kullanım için paylaşabilirsiniz. Bir uygulamanın dizinini barındırmak istiyorsanız, bunu ayarlamanız gerekir.

  • Faiss, temel işlem yükleme diziniyle ölçeklendirilir.

Azure AI Search , Azure aboneliğinde oluşturduğunuz ayrılmış bir PaaS kaynağıdır. Tek bir arama hizmeti, sorgulanabilen ve RAG düzeninde kullanılabilen çok sayıda dizin barındırabilir. Vektör deponuz için Azure AI Search kullanmayla ilgili bazı önemli noktalar:

  • Ölçek, güvenlik ve kullanılabilirlik için kurumsal düzeyde iş gereksinimlerini destekler.

  • Karma bilgi almayı destekler. Vektör verileri vektör olmayan verilerle birlikte bulunabilir; bu da Azure AI Search'ün dizin oluşturma ve sorgular için karma arama ve anlamsal yeniden boyutlandırma gibi özelliklerinden herhangi birini kullanabileceğiniz anlamına gelir.

  • Vektör desteği genel önizleme aşamasındadır. Şu anda vektörlerin dışarıdan oluşturulması ve ardından dizin oluşturma ve sorgu kodlaması için Azure AI Search'e geçirilmesi gerekir. İstem akışı bu geçişleri sizin için işler.

AI Search'i Azure Machine Learning'de vektör deposu olarak kullanmak için bir arama hizmetiniz olmalıdır. Hizmet mevcut olduğunda ve geliştiricilere erişim izni verdikten sonra, istem akışında vektör dizini olarak Azure AI Arama'yı seçebilirsiniz. İstem akışı, Azure AI Search'te dizini oluşturur, kaynak verilerinizden vektörler oluşturur, vektörleri dizine gönderir, AI Search'te benzerlik araması çağırır ve yanıtı döndürür.

Sonraki adımlar

Azure Machine Learning istem akışında vektör dizini oluşturma (önizleme)