Share via

Azure Machine Learning istem akışını (önizleme) kullanarak Artırılmış Nesil alma

  • Makale

Önemli

Bu özellik şu anda genel önizlemededir. Bu önizleme sürümü hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için bu sürümü önermeyiz. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir.

Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Alma Artırılmış Nesil (RAG), yanıt oluşturmak için önceden eğitilmiş Büyük Dil Modelleri (LLM) ve kendi verilerinizle çalışan bir desendir. Azure Machine Learning'de artık RAG'yi bir istem akışında uygulayabilirsiniz. RAG desteği şu anda genel önizleme aşamasındadır.

Bu makalede RAG'nin bazı avantajları listelenir, teknik bir genel bakış sağlanır ve Azure Machine Learning'de RAG desteği açıklanır.

Dekont

LLM ve RAG kavramlarını yeni mi edineceksiniz? Microsoft sunusunun bu video klibi basit bir açıklama sunar.

RAG neden kullanılır?

Temel model geleneksel olarak belirli görevleri gerçekleştirme ve istenen etki alanına uyum sağlama konusunda etkili olmasını sağlamak için belirli bir noktaya verilerle eğitilir. Ancak, bazen daha yeni veya daha güncel verilerle çalışmanız gerekir. İki yaklaşım temel modeli destekleyebilir: temel modelin yeni verilerle ince ayarı veya daha fazla eğitimi veya modeli gerçek zamanlı olarak desteklemek veya yönlendirmek için istem mühendisliğini kullanan RAG.

hassas ayarlama, sürekli etki alanı uyarlaması için uygundur ve model kalitesinde önemli iyileştirmeler sağlar, ancak genellikle daha yüksek maliyetlere neden olur. Buna karşılık RAG, bir istemde sağlanan yeni veriler üzerinde aynı modelin bir akıl yürütme altyapısı olarak kullanılmasına olanak sağlayan alternatif bir yaklaşım sunar. Bu teknik, pahalı ince ayarlamalara gerek kalmadan bağlam içi öğrenmeyi mümkün kılar ve işletmelerin LLM'leri daha verimli kullanmalarını sağlar.

RAG, işletmelerin veri ilgi düzeyini korurken ve maliyetleri iyileştirirken özelleştirilmiş çözümler elde etmesine olanak tanır. RAG'yi benimseyen şirketler, LLM'lerin akıl yürütme özelliklerini kullanabilir ve yeni verilere dayalı yanıtlar işlemek ve oluşturmak için mevcut modellerini kullanabilir. RAG, düzenli veri güncelleştirmelerini ince ayarlamaya gerek kalmadan kolaylaştırır ve böylece LLM'lerin işletmelerle tümleştirilmesini kolaylaştırır.

  • LLM'ye yönerge veya istem olarak ek veriler sağlayın
  • Mevcut modellerinize bir olgu denetimi bileşeni ekler
  • Modelinizi, ek süre ve ince ayarlamayla ilişkili maliyetlerle sonuçlanmadan güncel veriler üzerinde eğitin
  • İşletmenize özgü veriler üzerinde eğitin

Büyük Dil Modellerinde (LLM) RAG kullanımına teknik genel bakış

Bilgi almada RAG, LLM'lerin gücünden kendi verilerinizle yararlanmanızı sağlayan bir yaklaşımdır. LlM'nin özel verilere erişmesini sağlamak aşağıdaki adımları içerir. İlk olarak, büyük veriler yönetilebilir parçalara ayrılmalıdır. İkinci olarak öbeklerin aranabilir biçime dönüştürülmesi gerekir. Üçüncüsü, dönüştürülen veriler verimli erişime izin veren bir konumda depolanmalıdır. Ayrıca, LLM yanıtlar sağladığında alıntılar veya başvurular için ilgili meta verileri depolamak önemlidir.

Screenshot of a diagram of the technical overview of an LLM walking through rag steps.

Diyagrama daha ayrıntılı bir şekilde göz atalım.

  • Kaynak veriler: Verilerinizin bulunduğu yer burasıdır. Makinenizdeki bir dosya/klasör, bulut depolamadaki bir dosya, Azure Machine Learning veri varlığı, Git deposu veya SQL veritabanı olabilir.

  • Veri öbekleme: Kaynağınızdaki verilerin düz metne dönüştürülmesi gerekir. Örneğin, word belgelerinin veya PDF'lerin açılması ve metne dönüştürülmesi gerekir. Metin daha sonra daha küçük parçalara ayrılır.

  • Metni vektörlere dönüştürme: ekleme olarak adlandırılır. Vektörler, bilgisayarların bu kavramlar arasındaki ilişkileri anlamasını kolaylaştıran sayı dizilerine dönüştürülen kavramların sayısal temsilleridir.

  • Kaynak veriler ile eklemeler arasındaki bağlantılar: Bu bilgiler, oluşturulan öbeklerde meta veri olarak depolanır ve daha sonra LLM'lerin yanıt oluştururken alıntılar oluşturmasına yardımcı olmak için kullanılır.

Azure Machine Learning ile RAG (önizleme)

Azure Machine Learning'de RAG, vektör depoları olarak Faiss ve Azure AI Search (eski adı Bilişsel Arama) desteği ve veri öbekleme için LangChain gibi açık kaynak teklif araçları ve çerçeveleri desteğiyle büyük dil modelleri ve vektörleştirme için Azure OpenAI Hizmeti ile tümleştirmeyle etkinleştirilir.

RAG uygulamak için birkaç temel gereksinimin karşılanması gerekir. İlk olarak, veriler LLM'ye gönderilmeden önce verimli aranabilirliğe olanak tanıyan ve sonuçta belirteç tüketimini azaltacak şekilde biçimlendirilmelidir. RAG'ın etkili olmasını sağlamak için verilerinizi düzenli aralıklara göre düzenli olarak güncelleştirmeniz de önemlidir. Ayrıca, verilerinizi kullanarak LLM'den gelen çıkışı değerlendirme özelliğine sahip olmak, tekniklerinizin etkinliğini ölçmenizi sağlar. Azure Machine Learning yalnızca bu konularda kolayca çalışmaya başlamanıza izin vermekle kalmaz, aynı zamanda RAG'i geliştirmenize ve üretime geçirmenize de olanak tanır. Azure Machine Learning teklifleri:

  • RAG tabanlı Soru-Cevap senaryolarını başlatma örnekleri.
  • Verileri oluşturup yönetmek ve istem akışlarına dahil etmek için sihirbaz tabanlı kullanıcı arabirimi deneyimi.
  • Test verisi oluşturma, otomatik istem oluşturma ve görselleştirilmiş istem değerlendirme ölçümleri de dahil olmak üzere RAG iş akışlarını ölçme ve geliştirme olanağı.
  • Not defterlerinde özel işlem hatları oluşturmak için yeni yerleşik RAG bileşenlerini kullanarak daha fazla denetime sahip gelişmiş senaryolar.
  • LangChain gibi açık kaynak tekliflerle oluşturulan verilerin kullanımına olanak tanıyan kod deneyimi.
  • İŞLEM hatlarını ve işleri kullanarak RAG iş akışlarının MLOps iş akışlarıyla sorunsuz tümleştirilmesi.

Sonuç

Azure Machine Learning, Azure Machine Learning Studio'yu kullanarak veya Azure Machine Learning işlem hatlarıyla kod kullanarak RAG'yi yapay zekanıza dahil etmenizi sağlar. RAG iş akışlarını ölçme ve geliştirme, veri oluşturmayı test etme, otomatik istem oluşturma ve istem değerlendirme ölçümlerini görselleştirme gibi çeşitli değer eklemeleri sunar. İşlem hatlarını kullanarak RAG iş akışlarının MLOps iş akışlarıyla tümleştirilmesini sağlar. Verilerinizi LangChain gibi açık kaynak tekliflerle de kullanabilirsiniz.

Sonraki adımlar

Azure Machine Learning ile Vektör Depolarını kullanma (önizleme)

Azure Machine Learning istem akışında vektör dizini oluşturma (önizleme)