Bir dizi örnek konuşma ile toplu test etme

Önemli

LUIS 1 Ekim 2025'te kullanımdan kaldırılacak ve 1 Nisan 2023'den itibaren yeni LUIS kaynakları oluşturamayacaksınız. Sürekli ürün desteği ve çok dilli özelliklerden yararlanmak için LUIS uygulamalarınızıkonuşma dili anlayışına geçirmenizi öneririz.

Toplu test, tahmin doğruluğunu ölçmek için etkin eğitilmiş sürümünüzü doğrular. Toplu test, etkin sürümünüzdeki her amacın ve varlığın doğruluğunu görüntülemenize yardımcı olur. Uygulamanız sık sık doğru amacı belirleyemiyorsa veya konuşmadaki varlıkları etiketlemede başarısız olursa amaca daha fazla örnek konuşma eklemek gibi doğruluğu artırmak için uygun eylemi yapmak için toplu iş testi sonuçlarını gözden geçirin.

Toplu test için verileri gruplandırma

Toplu test için kullanılan konuşmaların LUIS'de yeni olması önemlidir. Bir veri konuşma kümeniz varsa, konuşmaları üç kümeye bölün: bir amaca eklenen örnek konuşmalar, yayımlanan uç noktadan alınan konuşmalar ve LUIS'i eğitildikten sonra toplu test etmek için kullanılan konuşmalar.

Kullandığınız toplu JSON dosyası, başlangıç ve bitiş konumu dahil olmak üzere etiketlenmiş en üst düzey makine öğrenmesi varlıklarına sahip konuşmalar içermelidir. Konuşmalar, uygulamadaki örneklerin bir parçası olmamalıdır. Bunlar amaç ve varlıklar için pozitif tahminde bulunacağınız konuşmalar olmalıdır.

Testleri amaca ve/veya varlığa göre ayırabilir veya tüm testleri (en fazla 1000 konuşma) aynı dosyada bulabilirsiniz.

Toplu işlemi içeri aktarmayla ilgili sık karşılaşılan hatalar

Toplu iş dosyanızı LUIS'e yüklerken hatalarla karşılaşırsanız aşağıdaki yaygın sorunları denetleyin:

• Toplu iş dosyasında 1.000'den fazla konuşma
• Varlık özelliği olmayan bir ifade JSON nesnesi. özelliği boş bir dizi olabilir.
• Birden çok varlıkta etiketlenmiş Word
• Boşlukta başlayan veya biten varlık etiketleri.

Toplu iş hatalarını düzeltme

Toplu testte hatalar varsa bir amaca daha fazla konuşma ekleyebilir ve/veya LUIS'in amaçlar arasında ayrımcılığa neden olması için varlıkla daha fazla konuşma etiketleyebilirsiniz. Konuşma ekleyip bunları etiketlediyseniz ve toplu testlerde hala tahmin hataları alıyorsanız LUIS'in daha hızlı öğrenmesine yardımcı olmak için etki alanına özgü sözcük dağarcığına sahip bir tümcecik listesi özelliği eklemeyi göz önünde bulundurun.

LUIS portalı

LUIS portalını kullanarak toplu test yapma

Örnek bir uygulamayı içeri aktarma ve eğitma

gibi 1 pepperoni pizza on thin crustbir pizza siparişi alan bir uygulamayı içeri aktarma.

1. Uygulama JSON dosyasını indirip kaydedin.

2. LUIS portalında oturum açın ve bu yazma kaynağına atanan uygulamaları görmek için Abonelik ve Yazma kaynağınızı seçin.

3. Yeni uygulama'nın yanındaki oku seçin ve JSON'ı yeni bir uygulamaya aktarmak için JSON olarak içeri aktar'a tıklayın. Uygulamayı Pizza appolarak adlandırın.

4. Uygulamayı eğitmek için gezintinin sağ üst köşesindeki Eğit'i seçin.

Toplu testteki roller

Dikkat

Varlık rolleri toplu testlerde desteklenmez.

Toplu test dosyası

Örnek JSON, bir test dosyasının nasıl göründüğünü göstermek için etiketli bir varlığa sahip bir konuşma içerir. Kendi testlerinizde, doğru amaca ve makine öğrenmesi varlığı etiketli birçok ifadeye sahip olmanız gerekir.

1. Bir metin düzenleyicisinde oluşturun pizza-with-machine-learned-entity-test.json veya indirin .

2. JSON biçimli toplu iş dosyasında, testte tahmin etmek istediğiniz Amaca sahip bir konuşma ekleyin.

   [
       {
           "text": "I want to pick up 1 cheese pizza",
           "intent": "ModifyOrder",
           "entities": [
               {
                   "entity": "Order",
                   "startPos": 18,
                   "endPos": 31
               },
               {
                   "entity": "ToppingList",
                   "startPos": 20,
                   "endPos": 25
               }
           ]
       }
   ]
   

Toplu işlemi çalıştırma

1. Üst gezinti çubuğunda Test'i seçin.

2. Sağ taraftaki panelde Batch test paneli'ni seçin.

   

3. İçeri aktar'ı seçin. Görüntülenen iletişim kutusunda Dosya Seç'i seçin ve test etmek için 1.000'den fazla konuşma içermeyen doğru JSON biçimine sahip bir JSON dosyası bulun.

   İçeri aktarma hataları, tarayıcının üst kısmındaki kırmızı bir bildirim çubuğunda bildirilir. İçeri aktarmada hatalar olduğunda veri kümesi oluşturulmaz. Daha fazla bilgi için bkz. Yaygın hatalar.

4. Dosyanın dosya konumunu pizza-with-machine-learned-entity-test.json seçin.

5. Veri kümesini pizza test adlandırın ve Bitti'yi seçin.

6. Çalıştır düğmesini seçin.

7. Toplu test tamamlandıktan sonra aşağıdaki sütunları görebilirsiniz:

   Sütun	Açıklama
   Durum	Testin durumu. Sonuçları görme yalnızca test tamamlandıktan sonra görünür.
   Name	Teste verdiğiniz ad.
   Boyut	Bu toplu test dosyasındaki test sayısı.
   Son Çalıştırma	Bu toplu test dosyasının son çalıştırma tarihi.
   Son sonuç	Testteki başarılı tahminlerin sayısı.

8. Testin ayrıntılı sonuçlarını görüntülemek için Sonuçları göster'i seçin.

   İpucu

   • İndir'i seçtiğinizde karşıya yüklediğiniz dosya indirilir.
   • Toplu testin başarısız olduğunu görürseniz en az bir konuşma amacı tahminle eşleşmedi.

Amaçlar için toplu iş sonuçlarını gözden geçirme

Toplu test sonuçlarını gözden geçirmek için Sonuçları gör'e tıklayın. Test sonuçları, test konuşmalarının etkin sürüme göre nasıl tahmin edileceğini grafiksel olarak gösterir.

Toplu iş grafiği dört çeyrek sonuç görüntüler. Grafiğin sağındaki filtredir. Filtre amaçları ve varlıkları içerir. Grafiğin bir bölümünü veya grafiğin içindeki bir noktayı seçtiğinizde, ilişkili konuşmalar grafiğin altında görüntülenir.

Grafiğin üzerine gelindiğinde fare tekerleği grafikteki görüntüyü büyütebilir veya azaltabilir. Grafikte sıkı bir şekilde kümelenmiş birçok nokta olduğunda bu yararlı olur.

Grafik dört çeyrektedir ve bölümlerden ikisi kırmızı görüntülenir.

1. Filtre listesinde ModifyOrder amacını seçin. Konuşma Gerçek Pozitif olarak tahmin edilir, yani konuşma toplu iş dosyasında listelenen pozitif tahminle başarıyla eşleşmiştir.

   

   Filtreler listesindeki yeşil onay işaretleri, her amaç için testin başarısını da gösterir. Konuşma her amaca göre test edildiğinden, diğer tüm amaçlar 1/1 pozitif puanla listelenir ve toplu iş testinde listelenmeyen amaçlar için negatif test olarak gösterilir.

2. Onay amacını seçin. Bu amaç toplu testte listelenmediğinden, toplu testte listelenen ifadenin negatif testidir.

   

   Filtredeki yeşil metin ve kılavuzda belirtildiği gibi negatif test başarılı oldu.

Varlıklar için toplu test sonuçlarını gözden geçirme

ModifyOrder varlığı, alt varlıkları olan bir makine varlığı olarak üst düzey varlığın eşleşip eşleşmediğini ve alt varlıkların nasıl tahmin edileceğini görüntüler.

1. Filtre listesinde ModifyOrder varlığını ve ardından kılavuzdaki daireyi seçin.

2. Varlık tahmini grafiğin altında görüntülenir. Ekranda beklentiyle eşleşen tahminler için düz çizgiler ve beklentiyle eşleşmeyen tahminler için noktalı çizgiler bulunur.

   

Grafik sonuçlarını filtreleme

Grafiği belirli bir amaç veya varlığa göre filtrelemek için sağ taraftaki filtreleme panelinde amacı veya varlığı seçin. Seçiminize göre grafikteki veri noktaları ve bunların dağıtım güncelleştirmesi.

Grafik sonuç örnekleri

LUIS portalındaki grafikte aşağıdaki eylemleri gerçekleştirebilirsiniz:

Tek noktalı konuşma verilerini görüntüleme

Grafikte, tahmininin kesin puanını görmek için bir veri noktasının üzerine gelin. Sayfanın en altındaki konuşmalar listesinde ilgili ifadeyi almak için bir veri noktası seçin.

Bölüm verilerini görüntüleme

Dört bölümlü grafikte, grafiğin sağ üst köşesindeki Yanlış Pozitif gibi bölüm adını seçin. Grafiğin altında, bu bölümdeki tüm konuşmalar listedeki grafiğin altında görüntülenir.

Önceki bu görüntüde, konuşma switch on TurnAllOn amacıyla etiketlenmiştir, ancak None amacının tahmini alınmıştı. Bu, TurnAllOn amacının beklenen tahmini yapmak için daha fazla örnek ifadeye ihtiyaç duyduğunun bir göstergesidir.

Grafiğin kırmızı renkli iki bölümü, beklenen tahminle eşleşmeyen konuşmaları gösterir. Bunlar, LUIS'in daha fazla eğitime ihtiyaç duyduğu konuşmaları gösterir.

Grafiğin yeşil renkli iki bölümü beklenen tahminle eşleşiyordu.

REST API

REST API kullanarak toplu test

LUIS, LUIS portalını ve REST API'yi kullanarak toplu test yapmanızı sağlar. REST API uç noktaları aşağıda listelenmiştir. LUIS portalını kullanarak toplu test yapma hakkında bilgi için bkz . Öğretici: toplu test veri kümeleri. Yer tutucu değerlerini kendi LUIS Tahmin anahtarınız ve uç noktanızla değiştirerek aşağıdaki url'lerin tamamını kullanın.

LUIS anahtarınızı Ocp-Apim-Subscription-Key üst bilgisine eklemeyi ve olarak ayarlamayı Content-Typeapplication/jsonunutmayın.

Toplu test başlatma

Uygulama sürüm kimliği veya yayımlama yuvası kullanarak toplu test başlatın. Aşağıdaki uç nokta biçimlerinden birine POST isteği gönderin. Toplu iş dosyanızı isteğin gövdesine ekleyin.

Yayımlama yuvası

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-NAME>/evaluations

Uygulama sürüm kimliği

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations

Bu uç noktalar, durumu denetlemek ve sonuçları almak için kullanacağınız bir işlem kimliği döndürür.

Devam eden toplu testin durumunu alma

Durumunu aşağıdaki uç nokta biçimlerinden almak için başlattığınız toplu testten işlem kimliğini kullanın:

Yayımlama yuvası

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-ID>/evaluations/<YOUR-OPERATION-ID>/status

Uygulama sürüm kimliği

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations/<YOUR-OPERATION-ID>/status

Toplu testten sonuçları alma

Aşağıdaki uç nokta biçimlerinden sonuçlarını almak için başlattığınız toplu testten işlem kimliğini kullanın:

Yayımlama yuvası

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-ID>/evaluations/<YOUR-OPERATION-ID>/result

Uygulama sürüm kimliği

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations/<YOUR-OPERATION-ID>/result

Konuşmaların toplu iş dosyası

Toplu test için veri kümesi olarak bilinen konuşmalardan oluşan bir toplu iş dosyası gönderin. Veri kümesi, en fazla 1.000 etiketli konuşma içeren JSON biçimli bir dosyadır. Bir uygulamada en fazla 10 veri kümesi test edebilirsiniz. Daha fazlasını test etmeniz gerekiyorsa, bir veri kümesini silin ve yenisini ekleyin. Modeldeki tüm özel varlıklar, toplu iş dosyası verilerinde karşılık gelen varlıklar olmasa bile toplu test varlıkları filtresinde görünür.

Toplu iş dosyası konuşmalardan oluşur. Her konuşmanın, algılanmasını beklediğiniz makine öğrenmesi varlıklarıyla birlikte beklenen bir amaç tahminine sahip olması gerekir.

Varlıkları olan amaçlar için toplu söz dizimi şablonu

Toplu iş dosyanızı başlatmak için aşağıdaki şablonu kullanın:

{
    "LabeledTestSetUtterances": [
        {
            "text": "play a song",
            "intent": "play_music",
            "entities": [
                {
                    "entity": "song_parent",
                    "startPos": 0,
                    "endPos": 15,
                    "children": [
                        {
                            "entity": "pre_song",
                            "startPos": 0,
                            "endPos": 3
                        },
                        {
                            "entity": "song_info",
                            "startPos": 5,
                            "endPos": 15
                        }
                    ]
                }
            ]
        }
    ]
}

Batch dosyası, bir varlığın başlangıcını ve sonunu not etmek için startPos ve endPos özelliklerini kullanır. Değerler sıfır tabanlıdır ve boşlukta başlamamalı veya bitmemelidir. Bu, startIndex ve endIndex özelliklerini kullanan sorgu günlüklerinden farklıdır.

Varlıkları test etmek istemiyorsanız özelliğini ekleyin entities ve değeri boş bir dizi []olarak ayarlayın.

REST API toplu test sonuçları

API tarafından döndürülen birkaç nesne vardır:

• Duyarlık, yakalama ve F puanı gibi amaçlar ve varlık modelleri hakkında bilgiler.
• Her varlık için duyarlık, yakalama ve F puanı gibi varlık modelleri hakkında bilgiler
  • bayrağını verbose kullanarak varlık hakkında ve entityTypeFScoregibi entityTextFScore daha fazla bilgi edinebilirsiniz.
• Tahmin edilen ve etiketlenmiş amaç adlarıyla konuşmalar sağlandı
• Hatalı pozitif varlıkların listesi ve hatalı negatif varlıkların listesi.

Sonraki adımlar

Test, LUIS uygulamanızın doğru amaçları ve varlıkları tanımadığını gösteriyorsa, daha fazla konuşma etiketleyerek veya özellik ekleyerek LUIS uygulamanızın performansını geliştirmek için çalışabilirsiniz.

• Önerilen konuşmaları LUIS ile etiketleme
• LUIS uygulamanızın performansını geliştirmek için özellikleri kullanma