Bir dizi örnek ile toplu test

Toplu işlem testi, etkin eğitilen sürümünüzü tahmin doğruluğunu ölçecek şekilde doğrular. Batch testi, etkin sürümünüzde her bir amaç ve varlığın doğruluğunu görüntülemenize yardımcı olur. Uygulamanızın bir amaca göre doğru amacı belirleyemediği veya etiketlenmesini sağlamak için bir amaca daha fazla örnek ekleme gibi bir amaca yönelik daha fazla örnek ekleme gibi işlem testi sonuçlarını gözden geçirin.

Batch testi için grup verileri

Toplu test için kullanılan utterslar, LUIN için yeni bir öneme sahiptir. Bir dizi veri kümesi varsa, bu noktaları üç küme içine ayırın: bir amaca eklenen örnek, yayımlanan uç noktasından alınan utterler ve eğitilen işlem testi için kullanılan utterslar.

Kullandığınız Batch JSON dosyası, başlangıç ve bitiş konumu dahil olmak üzere en üst düzey makine öğrenimi varlıklarıyla birlikte yer almalıdır. Söyleyler uygulamada zaten bulunan örneklerin bir parçası olmamalıdır. Bu, amaç ve varlıklar için olumlu tahmin etmek istediğiniz söyler olmalıdır.

Testleri amaç ve/veya varlığa göre ayırabilir veya aynı dosyadaki tüm testlere (1000 ' e kadar) sahip olabilirsiniz.

Toplu iş içeri aktarma yaygın hataları

Toplu iş dosyanızı LUO 'ya yükleme hatalarıyla karşılaşırsanız, aşağıdaki yaygın sorunları kontrol edin:

• Toplu iş dosyasında 1.000 ' den fazla Aralık
• Bir varlık özelliği olmayan bir söylenişi JSON nesnesi. Özelliği boş bir dizi olabilir.
• Birden çok varlıkta etiketlenmiş sözcük (ler)
• Bir alana başlayan veya biten varlık etiketleri.

Toplu iş hatalarını düzeltme

Toplu iş testinde hatalar varsa, bir amaca daha fazla bilgi ekleyebilir ve/veya, LUTO 'lar arasında ayırt edici hale getirmenize yardımcı olmak için varlıkla birlikte daha fazla bilgi etiketi ekleyebilirsiniz. Uttersları eklediyseniz ve bunları etiketlendirmeye devam ediyorsa ve toplu iş testinde tahmin hataları almaya devam ediyorsanız, LUL 'nın daha hızlı öğrendiğine yardımcı olması için alana özgü sözlük içeren bir ifade listesi özelliği eklemeyi göz önünde bulundurun.

Lua portalını kullanarak Batch test etme

Örnek bir uygulamayı içeri aktarma ve eğitme

Gibi bir pizza sırası alan bir uygulamayı içeri aktarın 1 pepperoni pizza on thin crust .

1. Uygulama JSON dosyasını indirip kaydedin.

2. Luo portalındaoturum açın ve bu yazma kaynağına atanmış uygulamaları görmek için aboneliğinizi ve yazma kaynağını seçin.

3. Yeni uygulama ' nın yanındaki oku SEÇIN ve JSON 'ı yeni bir uygulamaya aktarmak için JSON olarak içeri aktar ' a tıklayın. Uygulamayı adlandırın Pizza app .

4. Uygulamayı eğitebilmeniz için, gezinmede sağ üst köşedeki eğitme ' yi seçin.

Toplu iş testinde roller

Toplu işlem test dosyası

JSON örneği, bir test dosyasının nasıl göründüğünü göstermek için etiketlenmiş bir varlığa sahip bir söylenişi içerir. Kendi testlerinizde, etiketli doğru amaç ve makine öğrenimi varlığı ile birçok söyleyün olması gerekir.

1. pizza-with-machine-learned-entity-test.jsonBir metin düzenleyicisinde oluşturun veya indirin .

2. JSON biçimli toplu iş dosyasında, testte tahmin etmek istediğiniz amacı içeren bir söylenişi ekleyin.

   [
       {
           "text": "I want to pick up 1 cheese pizza",
           "intent": "ModifyOrder",
           "entities": [
               {
                   "entity": "Order",
                   "startPos": 18,
                   "endPos": 31
               },
               {
                   "entity": "ToppingList",
                   "startPos": 20,
                   "endPos": 25
               }
           ]
       }
   ]
   

Batch 'i çalıştırma

1. Üst gezinti çubuğunda Test ' i seçin.

2. Sağ taraftaki panelde Batch test paneli ' ni seçin.

   

3. İçeri aktar'ı seçin. Görüntülenen iletişim kutusunda Dosya Seç ' i seçin ve test etmek için 1.000 ' den fazla yer içermeyen doğru JSON biçimine sahip bir JSON dosyası bulun.

   İçeri aktarma hataları tarayıcının üst kısmındaki kırmızı bir bildirim çubuğunda raporlanır. İçeri aktarma hataları olduğunda, hiçbir veri kümesi oluşturulmaz. Daha fazla bilgi için bkz. genel hatalar.

4. Dosyanın dosya konumunu seçin pizza-with-machine-learned-entity-test.json .

5. Veri kümesini adlandırın pizza test ve bitti' yi seçin.

6. Çalıştır düğmesini seçin.

7. Batch testi tamamlandıktan sonra aşağıdaki sütunları görebilirsiniz:

   Sütun	Açıklama
   Durum	Testin durumu. Sonuçlar yalnızca test tamamlandıktan sonra görünür.
   Name	Teste verdiğiniz ad.
   Boyut	Bu toplu işlem test dosyasındaki testlerin sayısı.
   Son çalıştırma	Bu toplu işlem test dosyasının son çalıştırıldığı tarih.
   Son sonuç	Testteki başarılı tahmin sayısı.

8. Testin ayrıntılı sonuçlarını görüntülemek için sonuçları göster' i seçin.

   İpucu

   • Karşıdan yükleme ' nin seçilmesi, karşıya yüklediğiniz aynı dosyayı indirir.
   • Batch test başarısız olursa, en az bir söylenişi hedefi tahmine uymuyor.

Amaçlar için Batch sonuçlarını gözden geçirme

Batch test sonuçlarını gözden geçirmek için sonuçları göster' i seçin. Test sonuçları, test dıksları 'nın etkin sürüme göre nasıl tahmin edildiği hakkında grafiksel olarak gösterilir.

Batch grafiğinde dört çeyrek daire görüntülenir. Grafiğin sağında bir filtre vardır. Filtre, amaçları ve varlıkları içerir. Grafiğin bir bölümünü veya grafik içindeki bir noktayı seçtiğinizde, ilişkili söyleyler grafiğin altında görüntülenir.

Grafiğin üzerine gelindiğinde fare tekerleği grafikteki görüntüyü büyütebilir veya azaltabilir. Bu, grafikte sıkı bir şekilde kümelenmiş çok sayıda noktaya sahip olduğunda faydalıdır.

Grafik, kırmızı renkte iki bölümden oluşan dört Quadrants içinde yer alır.

1. Filtre listesinden Modifyorder hedefini seçin. Söylenişi, toplu iş dosyasında listelenen pozitif tahmine başarıyla eşleşeceğinden, gerçek bir pozitif anlamı olarak tahmin edilir.

   

   Filtreler listesindeki yeşil onay işaretleri de her bir amaç için testin başarısını gösterir. Diğer tüm amaçlar, toplu iş testinde listelenmeyen herhangi bir amaç için negatif bir test olarak her bir amaca karşı test edildiğinden, tüm diğer amaçlar 1/1 pozitif bir puana göre listelenir.

2. Onay hedefini seçin. Bu amaç Batch testinde listelenmez, bu nedenle Batch testinde listelenen söylenişi 'in negatif bir testi olur.

   

   Negatif test, filtredeki yeşil metin ve kılavuz ile belirtilen şekilde başarılı oldu.

Varlıklar için Batch test sonuçlarını gözden geçirme

ModifyOrder varlığı, alt varlıklara sahip bir makine varlığı olarak, üst düzey varlığın eşleştiğini ve alt varlıkların nasıl tahmin edilir olduğunu gösterir.

1. Filtre listesinden Modifyorder varlığını seçin ve ardından kılavuzdaki daireyi seçin.

2. Varlık tahmini grafiğin altında görüntülenir. Ekranda, beklenmeler ile eşleşmeyen tahminler için beklenmeler ve noktalı çizgiler ile eşleşen tahminler için düz çizgiler bulunur.

   

Grafik sonuçlarını filtrele

Grafiği belirli bir amaç veya varlığa göre filtrelemek için, sağ taraftaki filtreleme panelinde amacı veya varlığı seçin. Veri noktaları ve kendi dağıtım güncelleştirmeleri seçiminize göre grafiğe göre yapılır.

Grafik sonucu örnekleri

LUSıS portalındaki grafik, aşağıdaki işlemleri gerçekleştirebilirsiniz:

Tek noktalı söylenişi verilerini görüntüle

Grafikte, tahminiyle ilgili belirsizlik Puanını görmek için bir veri noktasının üzerine gelin. Sayfanın alt kısmındaki utterlik listesine karşılık gelen utterlik listesini almak için bir veri noktası seçin.

Bölüm verilerini görüntüleme

Dört bölümden biri olan grafikte, grafiğin sağ üst kısmında Yer Alan Hatalı Pozitif gibi bölüm adını seçin. Grafiğin altında, bu bölümdeki tüm konuşmalar grafiğin altında bir listede görüntülenir.

Bu önceki görüntüde konuşma TurnAllOn amacı ile etiketlenmiş ancak Hiçbiri switch on amacı tahmini alınmıştır. Bu, Beklenen tahmini yapmak için TurnAllOn amacının daha fazla örnek konuşmaya ihtiyacı olduğunu gösteren bir göstergedir.

Grafiğin kırmızı renkle iki bölümü, beklenen tahminle eşleşmeyan ifadeleri ifade ediyor. Bunlar LUIS'in daha fazla eğitime ihtiyacı olan konuşmaları işaret ediyor.

Yeşil renkli grafiğin iki bölümü beklenen tahminle eşdü.

REST API kullanarak toplu REST API

LUIS, LUIS portalını ve REST API. Uygulamanın uç REST API aşağıda listelenmiştir. LUIS portalını kullanarak toplu test hakkında bilgi için bkz. Öğretici: toplu test veri kümeleri. Yer tutucu değerlerini kendi LUIS Tahmin anahtarınız ve uç noktanız ile değiştirerek aşağıdaki URL'lerin tamamını kullanın.

LUIS anahtarınızı üst bilgide Ocp-Apim-Subscription-Key 'ye eklemenizi ve olarak ayarlamayı Content-Type application/json unutmayın.

Toplu test başlatma

Uygulama sürüm kimliğini veya yayımlama yuvalarını kullanarak bir toplu test başlatma. Aşağıdaki uç nokta biçimlerinden biri için bir POST isteği gönderin. Toplu iş dosyanızı isteğin gövdesine dahil etmek.

Yayımlama yuvası

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-NAME>/evaluations

Uygulama sürüm kimliği

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations

Bu uç noktalar, durumu kontrol etmek ve sonuçları almak için kullanabileceğiniz bir işlem kimliği verir.

Devam eden bir toplu iş testinin durumunu al

Durumunu aşağıdaki uç nokta biçimlerinden almak için, başladığınız toplu iş testinde işlem kimliğini kullanın:

Yayımlama yuvası

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-ID>/evaluations/<YOUR-OPERATION-ID>/status

Uygulama sürüm kimliği

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations/<YOUR-OPERATION-ID>/status

Toplu testten sonuçları al

Aşağıdaki uç nokta biçimlerinden sonuçlarını almak için, başladığınız toplu iş testinde işlem kimliğini kullanın:

Yayımlama yuvası

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-ID>/evaluations/<YOUR-OPERATION-ID>/result

Uygulama sürüm kimliği

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations/<YOUR-OPERATION-ID>/result

Konuşmaların Batch dosyası

Toplu test için, veri kümesi olarak bilinen konuşmalardan bir toplu iş dosyası gönderin. Veri kümesi, en fazla 1.000 etiketli konuşma içeren JSON biçimli bir dosyadır. Bir uygulamada en fazla 10 veri kümesi test edin. Daha fazla teste ihtiyacınız varsa bir veri kümesi silin ve yeni bir tane ekleyin. Toplu iş dosyası verisinde karşılık gelen varlıklar olsa bile modelde tüm özel varlıklar toplu test varlıkları filtresinde görünür.

Toplu iş dosyası konuşmalardan oluşur. Her konuşmanın algılanan makine öğrenmesi varlıklarıyla birlikte beklenen bir amaç tahmini olması gerekir.

Varlıklara sahip intents için Batch söz dizimi şablonu

Toplu iş dosyanızı başlatmak için aşağıdaki şablonu kullanın:

{
    "LabeledTestSetUtterances": [
        {
            "text": "play a song",
            "intent": "play_music",
            "entities": [
                {
                    "entity": "song_parent",
                    "startPos": 0,
                    "endPos": 15,
                    "children": [
                        {
                            "entity": "pre_song",
                            "startPos": 0,
                            "endPos": 3
                        },
                        {
                            "entity": "song_info",
                            "startPos": 5,
                            "endPos": 15
                        }
                    ]
                }
            ]
        }
    ]
}

Toplu iş dosyası, bir varlığın başlangıcını ve sonunu not etmek için startPos ve endPos özelliklerini kullanır. Değerler sıfır tabanlıdır ve bir boşlukta başlamalı veya bitimli değildir. Bu, startIndex ve endIndex özelliklerini kullanan sorgu günlüklerinden farklıdır.

Varlıkları test etmek istemiyorsanız özelliğini dahil entities etmek ve değeri boş bir dizi olarak [] ayarlayın.

REST API toplu test sonuçlarını değerlendirme

API tarafından döndürülen birkaç nesne vardır:

• Duyarlık, geri çağırma ve F puanı gibi amaç ve varlık modelleri hakkında bilgi.
• Her varlık için duyarlık, geri çağırma ve F puanı gibi varlık modelleri hakkında bilgi
  • bayrağını verbose kullanarak, ve gibi varlık hakkında daha fazla bilgi entityTextFScore entityTypeFScore edinebilirsiniz.
• Tahmin edilen ve etiketlenmiş amaç adlarını olan konuşmalar sağlandı
• Hatalı pozitif varlıkların ve hatalı negatif varlıkların listesi.

Sonraki adımlar

Test, LUIS uygulamanın doğru amaç ve varlıkları tanımadığını gösteriyorsa, daha fazla konuşma etiketleerek veya özellik ekleyerek LUIS uygulama performansını geliştirmek için çalışabilirsiniz.

• Önerilen ifadeleri LUIS ile etiketleme
• LUIS uygulama performansını geliştirmek için özellikleri kullanma