Pengujian batch dengan satu set contoh ungkapan

Penting

LUIS akan dihentikan pada 1 Oktober 2025 dan mulai 1 April 2023 Anda tidak akan dapat membuat sumber daya LUIS baru. Sebaiknya migrasikan aplikasi LUIS Anda ke pemahaman bahasa percakapan untuk mendapatkan manfaat dari dukungan produk berkelanjutan dan kemampuan multibahasa.

Pengujian batch memvalidasi versi terlatih aktif Anda untuk mengukur akurasi prediksinya. Pengujian batch membantu Anda melihat keakuratan setiap niat dan entitas dalam versi aktif Anda. Tinjau hasil pengujian batch untuk mengambil tindakan yang tepat guna meningkatkan akurasi, seperti menambahkan lebih banyak contoh ungkapan ke niat jika aplikasi Anda seringkali gagal mengidentifikasi maksud yang benar atau memberi label entitas dalam ungkapan.

Mengelompokkan data untuk pengujian batch

Penting bahwa ungkapan yang digunakan untuk pengujian batch adalah hal yang baru untuk LUIS. Jika Anda memiliki kumpulan data ungkapan, bagilah ungkapan menjadi tiga kumpulan: contoh ungkapan yang ditambahkan ke niat, ungkapan yang diterima dari titik akhir yang dipublikasikan, dan ungkapan yang digunakan untuk menguji LUIS setelah dilatih.

File JSON batch yang Anda gunakan harus menyertakan ungkapan dengan entitas pembelajaran mesin tingkat atas yang diberi label termasuk posisi awal dan akhir. Ungkapan tidak boleh menjadi bagian dari contoh yang sudah ada di aplikasi. Itu harus berupa ungkapan yang ingin Anda prediksi secara positif untuk niat dan entitas.

Anda dapat memisahkan pengujian menurut niat dan/atau entitas atau memiliki semua pengujian (hingga 1000 ungkapan) dalam file yang sama.

Kesalahan umum mengimpor batch

Jika Anda mengalami kesalahan saat mengunggah file batch ke LUIS, periksa masalah umum berikut:

• Lebih dari 1.000 ungkapan dalam file batch
• Objek JSON ungkapan yang tidak memiliki properti entitas. Properti ini bisa menjadi array kosong.
• Kata-kata berlabel dalam beberapa entitas
• Label entitas dimulai atau diakhiri pada spasi.

Memperbaiki kesalahan batch

Jika ada kesalahan dalam pengujian batch, Anda bisa menambahkan lebih banyak ungkapan ke niat, dan/atau memberi label lebih banyak ungkapan dengan entitas untuk membantu LUIS membuat diskriminasi di antara niat. Jika Anda telah menambahkan ungkapan, dan melabelinya, dan masih mendapatkan kesalahan prediksi dalam pengujian batch, pertimbangkan untuk menambahkan fitur daftar frasa dengan kosakata khusus domain untuk membantu LUIS belajar lebih cepat.

Portal LUIS

Pengujian batch menggunakan portal LUIS

Mengimpor dan melatih aplikasi contoh

Mengimpor aplikasi yang pengambil pesanan pizza seperti 1 pepperoni pizza on thin crust.

1. Unduh dan simpan file JSON aplikasi.

2. Masuk ke Portal LUIS, dan pilih Langganan dan Sumber daya penulisan untuk melihat aplikasi yang ditetapkan ke sumber daya penulisan tersebut.

3. Pilih panah di samping Aplikasi baru dan klik Impor sebagai JSON untuk mengimpor JSON ke aplikasi baru. Beri nama aplikasi Pizza app.

4. Pilih Latih di pojok kanan atas navigasi untuk melatih aplikasi.

Peran dalam pengujian batch

Perhatian

Peran entitas tidak didukung dalam pengujian batch.

File uji batch

Contoh JSON menyertakan satu ungkapan dengan entitas berlabel untuk mengilustrasikan seperti apa file pengujian. Dalam pengujian Anda sendiri, Anda harus memiliki banyak ungkapan dengan niat yang benar dan entitas pembelajaran mesin yang diberi label.

1. Buat pizza-with-machine-learned-entity-test.json dalam editor teks atau unduh.

2. Dalam file batch berformat JSON, tambahkan ungkapan dengan Niat yang ingin Anda prediksi dalam pengujian.

   [
       {
           "text": "I want to pick up 1 cheese pizza",
           "intent": "ModifyOrder",
           "entities": [
               {
                   "entity": "Order",
                   "startPos": 18,
                   "endPos": 31
               },
               {
                   "entity": "ToppingList",
                   "startPos": 20,
                   "endPos": 25
               }
           ]
       }
   ]
   

Jalankan batch

1. Pilih Uji di bar navigasi atas.

2. Pilih Panel pengujian batch di panel sisi kanan.

   

3. Pilih Impor. Pada kotak dialog yang muncul, pilih Pilih File dan cari file JSON dengan format JSON yang benar yang berisi tidak lebih dari 1.000 ungkapan untuk diuji.

   Kesalahan impor dilaporkan dalam bilah pemberitahuan merah di bagian atas browser. Saat impor memiliki kesalahan, himpunan data tidak akan dibuat. Untuk informasi selengkapnya, lihat Kesalahan umum.

4. Pilih lokasi file dari file pizza-with-machine-learned-entity-test.json.

5. Beri nama himpunan data pizza test dan pilih Selesai.

6. Pilih tombol Jalankan.

7. Setelah uji batch selesai, Anda dapat melihat kolom berikut:

   Kolom	Deskripsi
   Provinsi	Status pengujian. Melihat hasil hanya terlihat setelah pengujian selesai.
   Nama	Nama yang Anda berikan untuk pengujian.
   Ukuran	Jumlah pengujian dalam file uji ini.
   Terakhir Dijalankan	Tanggal terakhir menjalankan file uji batch ini.
   Hasil terakhir	Jumlah prediksi yang berhasil dalam pengujian.

8. Untuk melihat hasil pengujian yang terperinci, pilih Lihat hasil.

   Tip

   • Memilih Unduh akan mengunduh file yang sama dengan yang Anda unggah.
   • Jika Anda melihat uji batch gagal, setidaknya satu niat ungkapan tidak cocok dengan prediksi.

Tinjau hasil batch untuk niat

Untuk meninjau hasil uji batch, pilih Lihat hasil. Hasil tes menunjukkan secara grafis bagaimana ungkapan tes diprediksi terhadap versi aktif.

Bagan batch menampilkan empat kuadran hasil. Di sebelah kanan bagan ada filter. Filter berisi niat dan entitas. Saat Anda memilih bagian bagan atau titik di dalam bagan, ungkapan terkait ditampilkan di bawah bagan.

Saat mengarahkan kursor ke bagan, roda mouse dapat memperbesar atau memperkecil tampilan di bagan. Ini berguna ketika ada banyak titik pada bagan yang dikelompokkan bersama.

Bagan berada di empat kuadran, dengan dua bagian ditampilkan dengan warna merah.

1. Pilih niat ModifyOrder dalam daftar filter. Ungkapan tersebut diprediksi sebagai True Positive yang berarti ungkapan tersebut berhasil sesuai dengan prediksi positifnya yang tercantum dalam file batch.

   

   Tanda centang hijau di daftar filter juga menunjukkan keberhasilan pengujian untuk setiap niat. Semua niat lainnya dicantumkan dengan skor positif 1/1 karena ungkapan diuji terhadap setiap maksud, sebagai uji negatif untuk maksud apa pun yang tidak tercantum dalam uji batch.

2. Pilih niat Konfirmasi. Niat ini tidak tercantum dalam uji batch sehingga ini adalah uji negatif dari ungkapan yang tercantum dalam uji batch.

   

   Uji negatif berhasil, seperti yang dicatat dengan teks hijau di filter, dan kisi-kisi.

Tinjau hasil uji batch untuk entitas

Entitas ModifyOrder, sebagai entitas mesin dengan subentitas, ditampilkan jika entitas tingkat atas cocok dan bagaimana subentitas diprediksi.

1. Pilih entitas ModifyOrder di daftar filter, lalu pilih lingkaran di kisi.

2. Prediksi entitas ditampilkan di bawah diagram. Layar mencakup garis solid untuk prediksi yang sesuai dengan ekspektasi dan garis putus-putus untuk prediksi yang tidak sesuai dengan ekspektasi.

   

Memfilter hasil bagan

Untuk memfilter bagan menurut niat atau entitas tertentu, pilih niat atau entitas di panel pemfilteran sisi kanan. Titik data dan pembaruan distribusinya dalam grafik sesuai dengan pilihan Anda.

Contoh hasil bagan

Bagan di portal LUIS, Anda dapat melakukan tindakan berikut:

Menampilkan data ungkapan titik tunggal

Pada diagram, arahkan kursor ke titik data untuk melihat skor kepastian prediksinya. Pilih titik data untuk mengambil ungkapan yang sesuai dalam daftar ungkapan di bagian bawah halaman.

Menampilkan data bagian

Pada bagan empat bagian, pilih nama bagian, seperti Positif Palsu di kanan atas bagan. Di bawah bagan, semua ungkapan di bagian itu ditampilkan di bawah bagan dalam daftar.

Pada gambar sebelumnya, ungkapan switch on diberi label dengan maksud TurnAllOn, tetapi menerima prediksi dari niat Tidak Ada. Ini merupakan indikasi bahwa niat TurnAllOn membutuhkan lebih banyak contoh ungkapan untuk membuat prediksi yang diharapkan.

Dua bagian grafik berwarna merah menunjukkan ungkapan yang tidak sesuai dengan prediksi yang diharapkan. Ini menunjukkan ungkapan yang LUIS membutuhkan lebih banyak pelatihan.

Dua bagian grafik berwarna hijau memang cocok dengan prediksi yang diharapkan.

REST API

Pengujian batch menggunakan REST API

LUIS memungkinkan Anda menguji batch menggunakan portal LUIS dan REST API. Titik akhir untuk REST API tercantum di bawah ini. Untuk informasi tentang pengujian batch menggunakan portal LUIS, lihat Tutorial: kumpulan data pengujian batch. Gunakan URL lengkap di bawah ini, ganti nilai tempat penampung dengan kunci dan titik akhir Prediksi LUIS Anda sendiri.

Ingatlah untuk menambahkan kunci LUIS Anda ke Ocp-Apim-Subscription-Key di header, dan atur Content-Type ke application/json.

Memulai uji batch

Mulai uji batch menggunakan ID versi aplikasi atau slot penerbitan. Kirim permintaan POST ke salah satu format titik akhir berikut. Sertakan file batch Anda di isi permintaan.

Slot penerbitan

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-NAME>/evaluations

ID versi aplikasi

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations

Titik akhir ini akan mengembalikan ID operasi yang akan Anda gunakan untuk memeriksa status, dan mendapatkan hasil.

Dapatkan status uji batch yang sedang berlangsung

Gunakan ID operasi dari uji batch yang Anda mulai dapatkan statusnya dari format titik akhir berikut:

Slot penerbitan

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-ID>/evaluations/<YOUR-OPERATION-ID>/status

ID versi aplikasi

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations/<YOUR-OPERATION-ID>/status

Dapatkan hasil dari uji batch

Gunakan ID operasi dari uji batch yang Anda mulai dapatkan hasilnya dari format titik akhir berikut:

Slot penerbitan

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/slots/<YOUR-SLOT-ID>/evaluations/<YOUR-OPERATION-ID>/result

ID versi aplikasi

• <YOUR-PREDICTION-ENDPOINT>/luis/v3.0-preview/apps/<YOUR-APP-ID>/versions/<YOUR-APP-VERSION-ID>/evaluations/<YOUR-OPERATION-ID>/result

File batch ungkapan

Kirimkan file kumpulan ungkapan, yang dikenal sebagai himpunan data, untuk pengujian kumpulan. Himpunan data adalah file berformat JSON yang berisi maksimum 1.000 ungkapan berlabel. Anda dapat menguji hingga 10 himpunan data dalam sebuah aplikasi. Jika Anda perlu menguji lebih banyak, hapus himpunan data, lalu tambahkan yang baru. Semua entitas kustom dalam model muncul di filter entitas pengujian batch meskipun tidak ada entitas yang sesuai dalam data file batch.

File batch terdiri dari ungkapan. Setiap ungkapan harus memiliki prediksi niat yang diharapkan bersama dengan entitas pembelajaran mesin yang Anda harapkan untuk dideteksi.

Templat sintaksis batch untuk niat dengan entitas

Gunakan templat berikut untuk memulai file batch Anda:

{
    "LabeledTestSetUtterances": [
        {
            "text": "play a song",
            "intent": "play_music",
            "entities": [
                {
                    "entity": "song_parent",
                    "startPos": 0,
                    "endPos": 15,
                    "children": [
                        {
                            "entity": "pre_song",
                            "startPos": 0,
                            "endPos": 3
                        },
                        {
                            "entity": "song_info",
                            "startPos": 5,
                            "endPos": 15
                        }
                    ]
                }
            ]
        }
    ]
}

File batch menggunakan properti startPos dan endPos untuk mencatat awal dan akhir entitas. Nilainya berbasis nol dan tidak boleh diawali atau diakhiri dengan spasi. Ini berbeda dengan log kueri, yang menggunakan properti startIndex dan endIndex.

Jika Anda tidak ingin menguji entitas, sertakan properti entities dan tetapkan nilainya sebagai array kosong, [].

Hasil uji batch REST API

Ada beberapa objek yang dikembalikan oleh API:

• Informasi tentang niat dan model entitas, seperti presisi, pengenalan, dan skor-F.
• Informasi tentang model entitas, seperti presisi, pengenalan dan skor-F) untuk setiap entitas
  • Dengan menggunakan bendera verbose, Anda dapat memperoleh informasi lebih lanjut tentang entitas, seperti entityTextFScore dan entityTypeFScore.
• Ungkapan yang disediakan dengan nama niat yang diprediksi dan diberi label
• Daftar entitas positif palsu, dan daftar entitas negatif palsu.

Langkah berikutnya

Jika pengujian menunjukkan bahwa aplikasi LUIS Anda tidak mengenali niat dan entitas yang benar, Anda dapat bekerja untuk meningkatkan performa aplikasi LUIS Anda dengan melabeli lebih banyak ungkapan atau menambahkan fitur.

• Beri label ungkapan yang disarankan dengan LUIS
• Menggunakan fitur untuk meningkatkan performa aplikasi LUIS Anda