Azure OpenAI Hizmetini İzleme
Azure kaynaklarına dayanan kritik uygulamalarınız ve iş süreçleriniz olduğunda bu kaynakları kullanılabilirlik, performans ve çalışma açısından izlemek istersiniz.
Bu makalede, Azure OpenAI Hizmeti tarafından oluşturulan izleme verileri açıklanmaktadır. Azure OpenAI, Azure İzleyici kullanan Azure yapay zeka hizmetlerinin bir parçasıdır. Hizmeti kullanan tüm Azure hizmetlerinde ortak olan Azure İzleyici özelliklerini bilmiyorsanız bkz . Azure İzleyici ile Azure kaynaklarını izleme.
Panolar
Azure OpenAI, Azure OpenAI kaynaklarınızın her biri için kullanıma hazır panolar sağlar. İzleme panolarına erişmek için Azure OpenAI kaynaklarınızın birinde oturum açın https://portal.azure.com ve genel bakış bölmesini seçin.
Panolar dört kategoride gruplandırılır: HTTP İstekleri, Belirteç Tabanlı Kullanım, PTU Kullanımı ve İnce Ayarlama
Azure İzleyici'de veri toplama ve yönlendirme
Azure OpenAI, diğer Azure kaynaklarıyla aynı izleme verilerini toplar. Azure İzleyici'yi etkinlik günlüklerinde, kaynak günlüklerinde, sanal makine günlüklerinde ve platform ölçümlerinde veri oluşturacak şekilde yapılandırabilirsiniz. Daha fazla bilgi için bkz . Azure kaynaklarından verileri izleme.
Platform ölçümleri ve Azure İzleyici etkinlik günlüğü otomatik olarak toplanır ve depolanır. Bu veriler bir tanılama ayarı kullanılarak diğer konumlara yönlendirilebilir. Azure İzleyici kaynak günlükleri, bir tanılama ayarı oluşturup günlükleri bir veya daha fazla konuma yönlendirene kadar toplanmaz ve depolanmaz.
Tanılama ayarı oluşturduğunuzda hangi günlük kategorilerinin toplanacağını belirtirsiniz. Azure portalı, Azure CLI veya PowerShell kullanarak tanılama ayarı oluşturma hakkında daha fazla bilgi için bkz . Azure'da platform günlüklerini ve ölçümlerini toplamak için tanılama ayarı oluşturma.
Tanılama ayarlarını kullanmanın ve Verileri Azure İzleyici Günlüklerine göndermenin ilişkili başka maliyetleri olduğunu unutmayın. Daha fazla bilgi için bkz . Azure İzleyici Günlükleri maliyet hesaplamaları ve seçenekleri.
Toplayabileceğiniz ölçümler ve günlükler aşağıdaki bölümlerde açıklanmıştır.
Ölçümleri analiz etme
Azure portalda Azure İzleyici araçlarıyla Azure OpenAI Hizmeti kaynaklarınız için ölçümleri analiz edebilirsiniz. Azure OpenAI kaynağınızın Genel Bakış sayfasından sol bölmedeki İzleme'nin altında Ölçümler'i seçin. Daha fazla bilgi için bkz . Azure İzleyici ölçüm gezginini kullanmaya başlama.
Azure OpenAI,Azure AI hizmetlerinin bir alt kümesiyle ortaklığa sahiptir. Azure OpenAI ve Azure İzleyici tarafından benzer Azure AI hizmetleri için toplanan tüm platform ölçümlerinin listesi için bkz . Microsoft.CognitiveServices/accounts için desteklenen ölçümler.
Bilişsel Hizmetler Ölçümleri
Bunlar, tüm Azure AI Hizmetleri kaynakları için ortak olan eski ölçümlerdir. Artık bu ölçümleri Azure OpenAI ile kullanmanızı önermeyiz.
Azure OpenAI Ölçümleri
Not
Sağlanan yönetilen Kullanım ölçümü artık kullanım dışıdır ve artık önerilmez. Bu ölçüm, Sağlanan yönetilen Kullanım V2 ölçümüyle değiştirilmiştir.
Aşağıdaki tabloda Azure OpenAI'de kullanılabilen ölçümlerin geçerli alt kümesi özetlemektedir.
| Metric | Kategori | Toplama | Açıklama | Boyutlar |
|---|---|---|---|---|
Azure OpenAI Requests |
HTTP | Sayı | Belirli bir süre boyunca Azure OpenAI API'sine yapılan toplam çağrı sayısı. PayGo, PTU ve PTU tarafından yönetilen SKU'lar için geçerlidir. | ApiName, ModelDeploymentName,ModelName,ModelVersion, OperationName, , StatusCodeRegion,StreamType |
Generated Completion Tokens |
Kullanım | Sum | Azure OpenAI modelinden oluşturulan belirteçlerin (çıktı) sayısı. PayGo, PTU ve PTU tarafından yönetilen SKU'lar için geçerlidir | ApiName, ModelDeploymentName,ModelName, Region |
Processed FineTuned Training Hours |
Kullanım | Sum | Azure OpenAI ince ayarlı modelde işlenen eğitim saatlerinin sayısı. | ApiName, ModelDeploymentName,ModelName, Region |
Processed Inference Tokens |
Kullanım | Sum | Azure OpenAI modeli tarafından işlenen çıkarım belirteçlerinin sayısı. İstem belirteçleri (giriş) + oluşturulan belirteçler olarak hesaplanır. PayGo, PTU ve PTU tarafından yönetilen SKU'lar için geçerlidir. | ApiName, ModelDeploymentName,ModelName, Region |
Processed Prompt Tokens |
Kullanım | Sum | Azure OpenAI modelinde işlenen toplam istem belirteci (giriş) sayısı. PayGo, PTU ve PTU tarafından yönetilen SKU'lar için geçerlidir. | ApiName, ModelDeploymentName,ModelName, Region |
Provision-managed Utilization V2 |
Kullanım | Ortalama | Sağlamayla yönetilen kullanım, sağlanan yönetilen belirli bir dağıtımın kullanım yüzdesidir. Olarak hesaplanır (tüketilen/dağıtılan PTU'lar)*100. Kullanım %100 veya üzerinde olduğunda çağrılar kısıtlanır ve 429 hata kodu döndürür. | ModelDeploymentName,ModelName,ModelVersion, Region, StreamType |
Tanılama ayarlarını yapılandırma
Tüm ölçümler Azure İzleyici'deki tanılama ayarlarıyla dışarı aktarılabilir. Azure İzleyici Log Analytics sorguları ile günlükleri ve ölçüm verilerini analiz etmek için Azure OpenAI kaynağınız ve Log Analytics çalışma alanınız için tanılama ayarlarını yapılandırmanız gerekir.
Azure OpenAI kaynak sayfanızdaki İzleme'nin altında sol bölmedeki Tanılama ayarları'nı seçin. Tanılama ayarları sayfasında Tanılama ayarı ekle'yi seçin.
Tanılama ayarları sayfasında aşağıdaki alanları yapılandırın:
- Log Analytics çalışma alanına gönder'i seçin.
- Azure hesabı aboneliğinizi seçin.
- Log Analytics çalışma alanınızı seçin.
- Günlükler'in altında tüm Günlükler'i seçin.
- Ölçümler'in altında AllMetrics'i seçin.
Yapılandırmayı kaydetmek için bir Tanılama ayarı adı girin.
Kaydet'i seçin.
Tanılama ayarlarını yapılandırdıktan sonra Log Analytics çalışma alanınızda Azure OpenAI kaynağınız için ölçümler ve günlük verileriyle çalışabilirsiniz.
Günlükleri analiz etme
Azure İzleyici Günlüklerindeki veriler, her tablonun kendi benzersiz özellikler kümesine sahip olduğu tablolarda depolanır.
Azure İzleyici'deki tüm kaynak günlükleri aynı alanlara ve ardından hizmete özgü alanlara sahiptir. Ortak şema hakkında bilgi için bkz . Azure kaynak günlükleri için ortak ve hizmete özgü şemalar.
Etkinlik günlüğü , Azure'da abonelik düzeyi olaylar hakkında içgörü sağlayan bir platform günlüğü türüdür. Bu günlüğü bağımsız olarak görüntüleyebilir veya Azure İzleyici Günlüklerine yönlendirebilirsiniz. Azure portalında, Log Analytics ile karmaşık sorgular çalıştırmak için Azure İzleyici Günlükleri'ndeki etkinlik günlüğünü kullanabilirsiniz.
Azure OpenAI ve benzer Azure AI hizmetleri için kullanılabilir kaynak günlüğü türlerinin listesi için bkz . Microsoft.CognitiveServices Azure kaynak sağlayıcısı işlemleri.
Kusto sorgularını kullanma
Azure OpenAI modelini dağıttığınızda, Azure AI Studio'daki oyun alanı ortamını kullanarak bazı tamamlama çağrıları gönderebilirsiniz.
Tamamlamalar oyun alanına veya Sohbet tamamlamalar oyun alanına girdiğiniz tüm metinler, Azure OpenAI kaynağınız için ölçümler ve günlük verileri oluşturur. Kaynağınızın Log Analytics çalışma alanında Kusto sorgu dilini kullanarak izleme verilerini sorgulayabilirsiniz.
Önemli
Azure OpenAI kaynak sayfasındaki Sorguyu aç seçeneği, Azure Kaynak Grafı'a göz atar ve bu makalede açık değildir. Aşağıdaki sorgular Log Analytics için sorgu ortamını kullanır. Log Analytics çalışma alanınızı hazırlamak için Tanılama ayarlarını yapılandırma başlığı altında yer alan adımları izlediğinizden emin olun.
Azure OpenAI kaynak sayfanızdaki sol bölmedeki İzleme'nin altında Günlükler'i seçin.
Azure OpenAI kaynağınız için tanılama ile yapılandırdığınız Log Analytics çalışma alanını seçin.
Log Analytics çalışma alanı sayfasında, sol bölmedeki Genel Bakış'ın altında Günlükler'i seçin.
Azure portalında varsayılan olarak örnek sorguların ve önerilerin yer aldığı bir Sorgular penceresi görüntülenir. Bu pencereyi kapatabilirsiniz.
Aşağıdaki örnekler için Sorgu penceresinin üst kısmındaki düzenleme bölgesine Kusto sorgusunu girin ve çalıştır'ı seçin. Sorgu sonuçları, sorgu metninin altında görüntülenir.
Aşağıdaki Kusto sorgusu, kaynağınızla ilgili Azure Tanılama (AzureDiagnostics) verilerin ilk analizinde yararlıdır:
AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s
Bu sorgu 100 girdiden oluşan bir örnek döndürür ve günlüklerde kullanılabilir veri sütunlarının bir alt kümesini görüntüler. Sorgu sonuçlarında, kullanılabilir tüm sütunları ve ilişkili veri türlerini görüntülemek için tablo adının yanındaki oku seçebilirsiniz.
Kullanılabilir tüm veri sütunlarını görmek için, sorgudan kapsam parametreleri satırını | project ... kaldırabilirsiniz:
AzureDiagnostics
| take 100
Kaynağınızın Azure Ölçümleri (AzureMetrics) verilerini incelemek için aşağıdaki sorguyu çalıştırın:
AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName
Sorgu 100 girdiden oluşan bir örnek döndürür ve Azure Ölçüm verilerinin kullanılabilir sütunlarının bir alt kümesini görüntüler:
Not
Kaynağınız için Azure OpenAI menüsünde İzleme>Günlükleri'ni seçtiğinizde Log Analytics açılır ve sorgu kapsamı geçerli kaynağa ayarlanır. Görünür günlük sorguları yalnızca ilgili kaynaktan gelen verileri içerir. Diğer kaynaklardan veya diğer Azure hizmetlerinden gelen verileri içeren bir sorgu çalıştırmak için Azure portalındaki Azure İzleyici menüsünden Günlükler'i seçin. Daha fazla bilgi için bkz . Azure İzleyici Log Analytics'te günlük sorgusu kapsamı ve zaman aralığı.
Uyarıları ayarlama
İzleme verilerinizde önemli koşullar belirlendiğinde Azure İzleyici uyarıları size durumu önceden bildirir. Bunlar, kullanıcılarınız bunları fark etmeden önce sisteminizdeki sorunları tanımlamanıza ve çözmenize olanak sağlar. Ölçümler, günlükler ve etkinlik günlüğüyle ilgili uyarılar ayarlayabilirsiniz. Farklı uyarı türlerinin farklı avantajları ve dezavantajları vardır.
Her kuruluşun uyarı gereksinimleri farklılık gösterir ve zaman içinde değişebilir. Genellikle, uyarı oluşursa tüm uyarılar eyleme dönüştürülebilir ve belirli bir hedeflenen yanıta sahip olmalıdır. Bir uyarı anında yanıt gerektirmiyorsa, koşul uyarı yerine bir raporda yakalanabilir. Bazı kullanım örnekleri, belirli hata koşulları mevcutken uyarı gerektirebilir. Diğer durumlarda, belirli bir zaman aralığı için belirli bir eşiği aşan hatalar için uyarılara ihtiyacınız olabilir.
Belirli eşiklerin altındaki hatalar genellikle Azure İzleyici Günlüklerindeki verilerin düzenli analiziyle değerlendirilebilir. Günlük verilerinizi zaman içinde analiz ettikçe, belirli bir koşulun beklenen bir süre için gerçekleşmediğini fark edebilirsiniz. Uyarıları kullanarak bu koşulu izleyebilirsiniz. Bazen günlükte bir olayın olmaması bir hata kadar önemli bir sinyaldir.
Azure OpenAI kullanımınızla geliştirmekte olduğunuz uygulama türüne bağlı olarak, Azure İzleyici Uygulaması Analizler uygulama katmanında daha fazla izleme avantajı sunabilir.