Uji kualitas pengenalan model Ucapan Kustom

  • Artikel
  • 8 menit untuk membaca

Anda dapat memeriksa kualitas pengenalan model Ucapan Kustom di Speech Studio. Anda dapat memutar kembali audio yang diunggah dan menentukan apakah hasil penghargaan yang diberikan sudah benar. Setelah pengujian berhasil dibuat, Anda dapat melihat bagaimana model mentranskripsi himpunan data audio, atau membandingkan hasil dari dua model secara berdampingan.

Pengujian model berdampingan berguna untuk memvalidasi model pengenalan ucapan mana yang terbaik untuk aplikasi. Untuk ukuran akurasi objektif, yang memerlukan input himpunan data transkripsi, lihat Menguji model secara kuantitatif.

Penting

Saat pengujian, sistem akan melakukan transkripsi. Hal ini penting untuk diingat, karena harga bervariasi per penawaran layanan dan tingkat langganan. Selalu lihat harga resmi Azure Cognitive Services untuk detail terbaru.

Membuat pengujian

Ikuti petunjuk berikut untuk membuat pengujian:

  1. Masuk ke Speech Studio.

  2. Navigasikan ke Speech Studio>Ucapan Kustom dan pilih nama proyek Anda dari daftar.

  3. Pilih Model pengujian>Buat pengujian baru.

  4. Pilih Periksa kualitas (Data audio saja)>Berikutnya.

  5. Pilih kumpulan data audio yang ingin Anda gunakan untuk pengujian, lalu pilih Berikutnya. Jika tidak ada himpunan data yang tersedia, batalkan penyiapan, lalu buka menu Himpunan data ucapan untuk mengunggah himpunan data.

    Screenshot of choosing a dataset dialog

  6. Pilih satu atau dua model untuk mengevaluasi dan membandingkan akurasi.

  7. Masukkan nama dan deskripsi pengujian, lalu pilih Berikutnya.

  8. Tinjau pengaturan Anda, lalu pilih Simpan dan tutup.

Untuk membuat pengujian, gunakan perintah spx csr evaluation create. Buat parameter permintaan sesuai dengan instruksi berikut:

  • Atur parameter project ke ID proyek yang ada. Tindakan ini disarankan agar Anda juga dapat melihat pengujian di Speech Studio. Anda dapat menjalankan perintah spx csr project list untuk mendapatkan proyek yang tersedia.
  • Atur parameter model1 yang diperlukan ke ID model yang ingin Anda uji.
  • Atur parameter model2 yang diperlukan ke ID model lain yang ingin Anda uji. Jika Anda tidak ingin membandingkan dua model, gunakan model yang sama untuk model1 dan model2.
  • Atur parameter dataset yang diperlukan ke ID himpunan data yang ingin Anda gunakan untuk pengujian.
  • Atur parameter language, jika tidak, Speech CLI akan mengatur "en-US" secara default. Ini akan menjadi lokal konten himpunan data. Lokal tidak dapat diubah nanti. Parameter language Speech CLI sesuai dengan properti locale dalam permintaan dan respons JSON.
  • Atur parameter name yang diperlukan. Ini adalah nama yang akan ditampilkan di Speech Studio. Parameter name Speech CLI sesuai dengan properti displayName dalam permintaan dan respons JSON.

Berikut adalah contoh perintah Speech CLI yang membuat pengujian:

spx csr evaluation create --project 9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226 --dataset be378d9d-a9d7-4d4a-820a-e0432e8678c7 --model1 ff43e922-e3e6-4bf0-8473-55c08fd68048 --model2 1aae1070-7972-47e9-a977-87e3b05c457d --name "My Inspection" --description "My Inspection Description"

Anda akan menerima isi respons dalam format berikut:

{
  "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "transcription2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
  },
  "transcription1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "links": {
    "files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
  },
  "properties": {
    "wordErrorRate2": -1.0,
    "wordErrorRate1": -1.0,
    "sentenceErrorRate2": -1.0,
    "sentenceCount2": -1,
    "wordCount2": -1,
    "correctWordCount2": -1,
    "wordSubstitutionCount2": -1,
    "wordDeletionCount2": -1,
    "wordInsertionCount2": -1,
    "sentenceErrorRate1": -1.0,
    "sentenceCount1": -1,
    "wordCount1": -1,
    "correctWordCount1": -1,
    "wordSubstitutionCount1": -1,
    "wordDeletionCount1": -1,
    "wordInsertionCount1": -1
  },
  "lastActionDateTime": "2022-05-20T16:42:43Z",
  "status": "NotStarted",
  "createdDateTime": "2022-05-20T16:42:43Z",
  "locale": "en-US",
  "displayName": "My Inspection",
  "description": "My Inspection Description"
}

Properti self tingkat atas dalam isi respons adalah URI evaluasi. Gunakan URI ini untuk mendapatkan detail tentang proyek dan hasil pengujian. Anda juga menggunakan URI ini untuk memperbarui atau menghapus evaluasi.

Untuk bantuan Speech CLI dengan evaluasi, jalankan perintah berikut:

spx help csr evaluation

Untuk membuat pengujian, gunakan operasi CreateEvaluation dari REST API v3.0 ucapan ke teks. Buat isi permintaan sesuai dengan instruksi berikut:

  • Atur properti project ke URI proyek yang ada. Tindakan ini disarankan agar Anda juga dapat melihat pengujian di Speech Studio. Anda dapat membuat permintaan GetProjects untuk mendapatkan proyek yang tersedia.
  • Atur properti model1 yang diperlukan ke URI model yang ingin Anda uji.
  • Atur properti model2 yang diperlukan ke URI model lain yang ingin Anda uji. Jika Anda tidak ingin membandingkan dua model, gunakan model yang sama untuk model1 dan model2.
  • Atur properti dataset yang diperlukan ke URI himpunan data yang ingin Anda gunakan untuk pengujian.
  • Atur properti locale yang diperlukan. Ini akan menjadi lokal konten himpunan data. Lokal tidak dapat diubah nanti.
  • Atur properti displayName yang diperlukan. Ini adalah nama yang akan ditampilkan di Speech Studio.

Buat permintaan HTTP POST menggunakan URI seperti yang ditunjukkan dalam contoh berikut. Ganti YourSubscriptionKey dengan kunci sumber daya Ucapan Anda, ganti YourServiceRegion dengan wilayah sumber daya Ucapan Anda, dan atur properti isi permintaan seperti yang dijelaskan sebelumnya.

curl -v -X POST -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey" -H "Content-Type: application/json" -d '{
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "displayName": "My Inspection",
  "description": "My Inspection Description",
  "locale": "en-US"
}'  "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.0/evaluations"

Anda akan menerima isi respons dalam format berikut:

{
  "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "transcription2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
  },
  "transcription1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "links": {
    "files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
  },
  "properties": {
    "wordErrorRate2": -1.0,
    "wordErrorRate1": -1.0,
    "sentenceErrorRate2": -1.0,
    "sentenceCount2": -1,
    "wordCount2": -1,
    "correctWordCount2": -1,
    "wordSubstitutionCount2": -1,
    "wordDeletionCount2": -1,
    "wordInsertionCount2": -1,
    "sentenceErrorRate1": -1.0,
    "sentenceCount1": -1,
    "wordCount1": -1,
    "correctWordCount1": -1,
    "wordSubstitutionCount1": -1,
    "wordDeletionCount1": -1,
    "wordInsertionCount1": -1
  },
  "lastActionDateTime": "2022-05-20T16:42:43Z",
  "status": "NotStarted",
  "createdDateTime": "2022-05-20T16:42:43Z",
  "locale": "en-US",
  "displayName": "My Inspection",
  "description": "My Inspection Description"
}

Properti self tingkat atas dalam isi respons adalah URI evaluasi. Gunakan URI ini untuk mendapatkan detail tentang proyek evaluasi dan hasil pengujian. Anda juga menggunakan URI ini untuk memperbarui atau menghapus evaluasi.

Mendapatkan hasil pengujian

Anda harus mendapatkan hasil pengujian dan memeriksa himpunan data audio dibandingkan dengan hasil transkripsi untuk setiap model.

Ikuti langkah-langkah berikut untuk mendapatkan hasil pengujian:

  1. Masuk ke Speech Studio.
  2. Pilih Ucapan Kustom> Nama proyek Anda >Model pengujian.
  3. Pilih link berdasarkan nama pengujian.
  4. Setelah pengujian selesai, seperti yang ditunjukkan oleh status yang diatur ke Berhasil, Anda akan melihat hasil yang menyertakan nomor WER untuk setiap model yang diuji.

Halaman ini mencantumkan semua ungkapan dalam himpunan data Anda dan hasil pengenalan, serta transkripsi dari himpunan data yang dikirim. Anda dapat beralih ke berbagai jenis kesalahan, termasuk penyisipan, penghapusan, dan penggantian. Dengan mendengarkan audio dan membandingkan hasil pengenalan di setiap kolom, Anda dapat memutuskan model mana yang memenuhi kebutuhan Anda dan menentukan mana yang memerlukan pelatihan dan peningkatan tambahan.

Untuk mendapatkan hasil pengujian, gunakan perintah spx csr evaluation status. Buat parameter permintaan sesuai dengan instruksi berikut:

  • Atur parameter evaluation yang diperlukan ke ID evaluasi yang ingin Anda dapatkan hasil pengujiannya.

Berikut adalah contoh perintah Speech CLI yang mendapatkan hasil pengujian:

spx csr evaluation status --evaluation 8bfe6b05-f093-4ab4-be7d-180374b751ca

Model, himpunan data audio, transkripsi, dan detail selengkapnya dikembalikan dalam isi respons.

Anda akan menerima isi respons dalam format berikut:

{
	"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
	"model1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
	},
	"model2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
	},
	"dataset": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
	},
	"transcription2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
	},
	"transcription1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
	},
	"project": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
	},
	"links": {
		"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
	},
	"properties": {
		"wordErrorRate2": 4.62,
		"wordErrorRate1": 4.6,
		"sentenceErrorRate2": 66.7,
		"sentenceCount2": 3,
		"wordCount2": 173,
		"correctWordCount2": 166,
		"wordSubstitutionCount2": 7,
		"wordDeletionCount2": 0,
		"wordInsertionCount2": 1,
		"sentenceErrorRate1": 66.7,
		"sentenceCount1": 3,
		"wordCount1": 174,
		"correctWordCount1": 166,
		"wordSubstitutionCount1": 7,
		"wordDeletionCount1": 1,
		"wordInsertionCount1": 0
	},
	"lastActionDateTime": "2022-05-20T16:42:56Z",
	"status": "Succeeded",
	"createdDateTime": "2022-05-20T16:42:43Z",
	"locale": "en-US",
	"displayName": "My Inspection",
	"description": "My Inspection Description"
}

Untuk bantuan Speech CLI dengan evaluasi, jalankan perintah berikut:

spx help csr evaluation

Untuk mendapatkan hasil pengujian, mulailah dengan menggunakan operasi GetEvaluation dari REST API v3.0 ucapan ke teks.

Buat permintaan HTTP GET menggunakan URI seperti yang ditunjukkan dalam contoh berikut. Ganti YourEvaluationId dengan ID evaluasi Anda, ganti YourSubscriptionKey dengan kunci sumber Ucapan Anda, dan ganti YourServiceRegion dengan wilayah sumber Ucapan Anda.

curl -v -X GET "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.0/evaluations/YourEvaluationId" -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey"

Model, himpunan data audio, transkripsi, dan detail selengkapnya dikembalikan dalam isi respons.

Anda akan menerima isi respons dalam format berikut:

{
	"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
	"model1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
	},
	"model2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
	},
	"dataset": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
	},
	"transcription2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
	},
	"transcription1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
	},
	"project": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
	},
	"links": {
		"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.0/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
	},
	"properties": {
		"wordErrorRate2": 4.62,
		"wordErrorRate1": 4.6,
		"sentenceErrorRate2": 66.7,
		"sentenceCount2": 3,
		"wordCount2": 173,
		"correctWordCount2": 166,
		"wordSubstitutionCount2": 7,
		"wordDeletionCount2": 0,
		"wordInsertionCount2": 1,
		"sentenceErrorRate1": 66.7,
		"sentenceCount1": 3,
		"wordCount1": 174,
		"correctWordCount1": 166,
		"wordSubstitutionCount1": 7,
		"wordDeletionCount1": 1,
		"wordInsertionCount1": 0
	},
	"lastActionDateTime": "2022-05-20T16:42:56Z",
	"status": "Succeeded",
	"createdDateTime": "2022-05-20T16:42:43Z",
	"locale": "en-US",
	"displayName": "My Inspection",
	"description": "My Inspection Description"
}

Membandingkan transkripsi dengan audio

Anda dapat memeriksa output transkripsi oleh setiap model yang diuji, terhadap himpunan data input audio. Jika Anda menyertakan dua model dalam pengujian, Anda dapat membandingkan kualitas transkripsinya secara berdampingan.

Untuk meninjau kualitas transkripsi:

  1. Masuk ke Speech Studio.
  2. Pilih Ucapan Kustom> Nama proyek Anda >Model pengujian.
  3. Pilih link berdasarkan nama pengujian.
  4. Putar file audio saat membaca transkripsi yang sesuai oleh model.

Jika himpunan data pengujian menyertakan beberapa file audio, Anda akan melihat beberapa baris dalam tabel. Jika Anda menyertakan dua model dalam pengujian, transkripsi ditampilkan dalam kolom berdampingan. Perbedaan transkripsi antar model ditampilkan dalam font teks biru.

Screenshot of comparing transcriptions by two models

Himpunan data pengujian audio, transkripsi, dan model yang diuji dikembalikan dalam hasil pengujian. Jika hanya satu model yang diuji, nilai model1 akan cocok dengan model2, dan nilai transcription1 akan cocok dengan transcription2.

Untuk meninjau kualitas transkripsi:

  1. Unduh himpunan data pengujian audio, kecuali Anda sudah memiliki salinannya.
  2. Unduh transkripsi output.
  3. Putar file audio saat membaca transkripsi yang sesuai oleh model.

Jika Anda membandingkan kualitas antara dua model, perhatikan perbedaan antara transkripsi setiap model.

Himpunan data pengujian audio, transkripsi, dan model yang diuji dikembalikan dalam hasil pengujian. Jika hanya satu model yang diuji, nilai model1 akan cocok dengan model2, dan nilai transcription1 akan cocok dengan transcription2.

Untuk meninjau kualitas transkripsi:

  1. Unduh himpunan data pengujian audio, kecuali Anda sudah memiliki salinannya.
  2. Unduh transkripsi output.
  3. Putar file audio saat membaca transkripsi yang sesuai oleh model.

Jika Anda membandingkan kualitas antara dua model, perhatikan perbedaan antara transkripsi setiap model.

Langkah berikutnya