Üretken yapay zeka uygulamaları için model izleme (önizleme)
Üretimdeki modelleri izleme, yapay zeka yaşam döngüsünün önemli bir parçasıdır. Verilerdeki ve tüketici davranışındaki değişiklikler, zaman içinde üretken yapay zeka uygulamanızı etkileyerek iş sonuçlarını olumsuz etkileyen ve kuruluşların uyumluluk, ekonomik ve saygınlık risklerine maruz bırakmasına neden olan eski sistemlere neden olabilir.
Önemli
Üretken yapay zeka uygulamaları için model izleme şu anda genel önizleme aşamasındadır. Bu önizlemeler hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.
Üretken yapay zeka uygulamaları için Azure Machine Learning model izleme, iş üzerinde en yüksek etkiyi sağladığını güvence altına almak için üretim ortamındaki LLM uygulamalarınızı güvenlik ve kalite açısından izlemenizi kolaylaştırır. İzleme nihai olarak, üretken yapay zeka uygulamalarınızın kalitesini ve güvenliğini korumaya yardımcı olur. Özellikler ve tümleştirmeler şunlardır:
- Model veri toplayıcıyı kullanarak üretim verilerini toplayın.
- Azure Machine Learning istem akışı değerlendirme ölçümleriylebirlikte çalışabilen topraklama, tutarlılık, akıcılık, ilgi ve benzerlik gibi sorumlu yapay zeka değerlendirme ölçümleri.
- Kuruluş hedeflerine göre ihlallere yönelik uyarıları yapılandırma ve izlemeyi yinelenen olarak çalıştırma olanağı
- sonuçları Azure Machine Learning stüdyosu çalışma alanında zengin bir panoda kullanın.
- Azure Machine Learning istem akışı değerlendirme ölçümleriyle tümleştirme, zamanında uyarılar sağlamak için toplanan üretim verilerinin analizi ve ölçümlerin zaman içindeki görselleştirmesi.
Genel model izleme temel kavramları için bkz. Azure Machine Learning ile model izleme (önizleme). Bu makalede, yönetilen bir çevrimiçi uç nokta tarafından yedeklenen üretken bir yapay zeka uygulamasını izlemeyi öğreneceksiniz. Gerçekleştirdiğiniz adımlar şunlardır:
- Önkoşulları yapılandırma
- Monitörünüzü oluşturma
- İzleme durumunu onaylama
- İzleme sonuçlarını kullanma
Değerlendirme ölçümleri
Ölçümler, sıralı görevler için değerlendirici modelleri olarak görev yapan belirli değerlendirme yönergeleri (istem şablonları) ile yapılandırılmış aşağıdaki en son düzey GPT dil modelleri tarafından oluşturulur. Bu teknik, standart üretken yapay zeka değerlendirme ölçümlerine kıyasla güçlü ampirik sonuçlar ve insan yargısıyla yüksek bağıntı göstermiştir. İstem akışı değerlendirmesi hakkında daha fazla bilgi için bkz . Toplu test gönderme ve akışı değerlendirme (önizleme) istemi akışı değerlendirmesi hakkında daha fazla bilgi için.
Bu GPT modelleri desteklenir ve Azure OpenAI kaynağınız olarak yapılandırılır:
- GPT-3.5 Turbo
- GPT-4
- GPT-4-32k
Aşağıdaki ölçümler desteklenir. Her ölçüm hakkında daha ayrıntılı bilgi için bkz . Değerlendirme ölçümleri açıklamalarını ve kullanım örneklerini izleme
- Temellik: Modelin oluşturduğu yanıtların giriş kaynağındaki bilgilerle ne kadar uyumlu olduğunu değerlendirir.
- İlgi: Modelin oluşturduğu yanıtların ne ölçüde ilgili olduğunu ve verilen sorularla doğrudan ilişkili olduğunu değerlendirir.
- Tutarlılık: Dil modelinin çıkış akışlarını sorunsuz bir şekilde ne kadar iyi üretebileceğini değerlendirir, doğal olarak okur ve insan benzeri bir dile benzer.
- Akıcılık: Üretken bir yapay zekanın tahmin edilen yanıtının dil yeterliliğini değerlendirir. Oluşturulan metnin dil bilgisi kurallarına, söz dizimsel yapılara ve sözcük dağarcığının uygun kullanımına ne kadar uygun olduğunu değerlendirerek dilsel olarak doğru ve doğal sesli yanıtlar verir.
- Benzerlik: Bir temel doğruluk cümlesi (veya belge) ile yapay zeka modeli tarafından oluşturulan tahmin cümlesi arasındaki benzerliği değerlendirir.
Ölçüm yapılandırma gereksinimleri
Oluşturma güvenliğini ve kalitesini ölçmek için aşağıdaki girişler (veri sütunu adları) gereklidir:
- prompt text - verilen özgün istem ("girişler" veya "soru" olarak da bilinir)
- tamamlama metni - döndürülen API çağrısından son tamamlama ("çıkışlar" veya "yanıt" olarak da bilinir)
- bağlam metni - ÖZGÜN istemle birlikte API çağrısına gönderilen tüm bağlam verileri. Örneğin, arama sonuçlarını yalnızca belirli sertifikalı bilgi kaynaklarından/web sitesinden almayı düşünüyorsanız değerlendirme adımlarında tanımlayabilirsiniz. Bu, istem akışı aracılığıyla yapılandırılabilir isteğe bağlı bir adımdır.
- ground truth text - kullanıcı tanımlı metin "doğruluk kaynağı" olarak (isteğe bağlı)
Veri varlığınızda hangi parametrelerin yapılandırıldığı, aşağıdaki tabloya göre hangi ölçümleri üretebileceğinizi belirler:
| Metric | İstem | Tamamlama | Bağlam | Temel gerçek |
|---|---|---|---|---|
| Tutarlı -lık | Required | Required | - | - |
| Akıcı -lık | Required | Required | - | - |
| Topraklanmışlık | Required | Zorunlu | Required | - |
| İlgi | Required | Zorunlu | Required | - |
| Benzerlik | Required | Zorunlu | - | Required |
Önkoşullar
- Azure OpenAI kaynağı: Yeterli kotayla oluşturulmuş bir Azure OpenAI kaynağınız olmalıdır. Bu kaynak değerlendirme uç noktanız olarak kullanılır.
- Yönetilen kimlik: Kullanıcı Tarafından Atanan Yönetilen Kimlik (UAI) oluşturun ve sonraki adımda tanımlandığı gibi Yeterli rol erişimine sahip CLI v2kullanarak kullanıcı tarafından atanan yönetilen kimliği ekleme yönergelerini kullanarak bunu çalışma alanınıza ekleyin.
- Rol erişimi Gerekli izinlere sahip bir rol atamak için kaynağınızda sahibine veya Microsoft.Authorization/roleAssignments/write iznine sahip olmanız gerekir. Bağlantıların ve izinlerin güncelleştirilmesi birkaç dakika sürebilir. Bu ek roller UAI'nize atanmalıdır:
- Kaynak: Çalışma Alanı
- Rol: Azure Machine Learning Veri Bilimci
- Çalışma alanı bağlantısı:Bu kılavuzun ardından, izleme ölçümlerini hesaplamak için kullanılan Azure OpenAI uç noktasının kimlik bilgilerini temsil eden bir yönetilen kimlik kullanırsınız. Akışta kullanıldığında bağlantıyı SİlMEYİN .
- API sürümü: 2023-03-15-preview
- İstem akışı dağıtımı: Bu kılavuzu izleyerek bir istem akışı çalışma zamanı oluşturun, akışınızı çalıştırın ve bu makaleyi kılavuz olarak kullanarak dağıtımınızın yapılandırıldığından emin olun
- Akış girişleri ve çıkışları: Akış çıkışlarınızı uygun şekilde adlandırmanız ve izleyicinizi oluştururken bu sütun adlarını hatırlamanız gerekir. Bu makalede, aşağıdakileri kullanırız:
- Girişler (gerekli): "prompt"
- Çıkışlar (gerekli): "tamamlama"
- Çıkışlar (isteğe bağlı): "bağlam" | "temel gerçek"
- Veri toplama: "Dağıtım" (istem akışı dağıtım sihirbazının 2. adımı) içinde, Model Veri Toplayıcısı kullanılarak 'çıkarım veri toplama' iki durumlu düğmesi etkinleştirilmelidir
- Çıkışlar: Çıkışlar'da (istem akışı dağıtım sihirbazının 3. adımı) ölçüm yapılandırma gereksinimlerinizi karşılayan gerekli çıkışları (örneğin, tamamlama | bağlam | ground_truth) seçtiğinizden emin olun
- Akış girişleri ve çıkışları: Akış çıkışlarınızı uygun şekilde adlandırmanız ve izleyicinizi oluştururken bu sütun adlarını hatırlamanız gerekir. Bu makalede, aşağıdakileri kullanırız:
Not
İşlem örneğiniz bir sanal ağın arkasındaysa bkz . komut istemi akışında ağ yalıtımı.
Monitörünüzü oluşturma
İzlemeye genel bakış sayfasında monitörünüzü oluşturma 
Temel izleme ayarlarını yapılandırma
İzleme oluşturma sihirbazında, ekran görüntüsünde (A) tarafından gösterildiği gibi model görev türünüdeğiştirerek & tamamlanmasını iste.
Veri varlığını yapılandırma
Model Veri Toplayıcı'yı kullandıysanız iki veri varlığınızı (girişler ve çıkışlar) seçin.
İzleme sinyallerini seçme
- Ekran görüntüsünde çalışma alanı bağlantısını (A) yapılandırın.
- Çalışma alanı bağlantınızı doğru yapılandırmanız gerekir veya şunu görürsünüz:
- Çalışma alanı bağlantınızı doğru yapılandırmanız gerekir veya şunu görürsünüz:
- Azure OpenAI değerlendirici dağıtım adınızı (B) girin.
- (İsteğe bağlı) Üretim veri girişlerinizi ve çıkışlarınızı birleştirin: Üretim modeli girişleriniz ve çıkışlarınız otomatik olarak İzleme hizmeti (C) tarafından birleştirilir. Gerekirse bunu özelleştirebilirsiniz, ancak herhangi bir eylem gerekmez. Birleştirme sütunu varsayılan olarak bağıntı kimliğidir.
- (İsteğe bağlı) Ölçüm eşiklerini yapılandırma: Örnek başına kabul edilebilir puan 5/3 olarak sabittir. %1,99] aralığı arasında kabul edilebilir genel % geçirme oranınızı ayarlayabilirsiniz
İstem akışınızdan (E) sütun adlarını el ile girin. Standart adlar ("istem" | "tamamlama" | "bağlam" | "ground_truth") ancak bunu veri varlığınıza göre yapılandırabilirsiniz.
(isteğe bağlı) Örnekleme hızını ayarlama (F)
Yapılandırıldıktan sonra sinyaliniz artık bir uyarı göstermez.
Bildirimleri yapılandırma
Eylem gerekmiyor. Gerekirse daha fazla alıcı yapılandırabilirsiniz.
İzleme sinyali yapılandırmasını onaylama
Başarıyla yapılandırıldığında izleyiciniz şu şekilde görünmelidir: 
İzleme durumunu onaylama
Başarıyla yapılandırıldıysa, izleme işlem hattı işiniz aşağıdakileri gösterir: 
Sonuçları kullanma
İzleyici genel bakış sayfası
Monitörünüze genel bakış, sinyal performansınıza genel bir bakış sağlar. Daha fazla bilgi için sinyal ayrıntıları sayfanızı girebilirsiniz.
Sinyal ayrıntıları sayfası
Sinyal ayrıntıları sayfası, zaman içindeki ölçümleri (A) ve dağıtım histogramlarını (B) görüntülemenizi sağlar.
Uyarıları çözme
Yalnızca sinyal eşiklerini ayarlamak mümkündür. Kabul edilebilir puan 5/3 olarak sabittir ve yalnızca 'kabul edilebilir genel geçiş oranı yüzdesi' alanını ayarlamak mümkündür.
