Mode pelatihan untuk pemahaman bahasa percakapan

Setelah menyelesaikan pelabelan ucapan, Anda dapat mulai melatih model. Pelatihan adalah proses di mana model belajar dari ucapan berlabel Anda.

Untuk melatih model, mulai pekerjaan pelatihan. Hanya pekerjaan yang berhasil diselesaikan yang membuat model. Pekerjaan pelatihan yang telah kedaluwarsa setelah tujuh hari, yang berarti Anda tidak akan dapat mengambil detail pekerjaan setelah waktu ini. Jika pekerjaan pelatihan Anda berhasil diselesaikan dan model dibuat, maka tidak akan dipengaruhi oleh kedaluwarsa pekerjaan. Anda hanya dapat memiliki satu pekerjaan pelatihan yang berjalan pada satu waktu, dan Anda tidak dapat memulai pekerjaan lain dalam proyek yang sama.

Waktu pelatihan dapat berlangsung mulai dari beberapa detik ketika menangani proyek sederhana, hingga beberapa jam ketika Anda mencapai batas maksimum ucapan.

Evaluasi model dipicu secara otomatis setelah pelatihan berhasil diselesaikan. Proses evaluasi dimulai dengan menggunakan model terlatih untuk menjalankan prediksi pada ucapan dalam set pengujian, dan membandingkan hasil yang diprediksi dengan label yang disediakan (yang menetapkan garis besar kebenaran).

Prasyarat

• Proyek yang berhasil dibuat dengan akun penyimpanan blob Azure yang dikonfigurasi
• Ungkapan berlabel

Menyeimbangkan data pelatihan

Anda harus mencoba menjaga skema Anda tetap seimbang dalam hal data pelatihan. Termasuk niat satu niat dalam jumlah besar, dan sangat sedikit niat lain akan menghasilkan model yang sangat bias terhadap niat tertentu.

Untuk mengatasinya, Anda mungkin perlu melakukan downsample set pelatihan, atau menambahkannya. Downsampling dapat dilakukan dengan:

• Menyingkirkan persentase tertentu dari data pelatihan secara acak.
• Dengan cara yang lebih sistematis dengan menganalisis himpunan data, dan menghapus entri duplikat yang terlalu terwakili.

Anda juga dapat menambahkan ke set pelatihan dengan memilih Sarankan Ucapan di tab Pelabelan data di Studio bahasa. Pemahaman Bahasa Percakapan akan mengirim panggilan ke Azure OpenAI untuk menghasilkan ucapan serupa.

Anda juga harus mencari "pola" yang tidak diinginkan dalam set pelatihan. Misalnya, jika set pelatihan untuk niat tertentu semuanya huruf kecil, atau dimulai dengan frasa tertentu. Dalam kasus seperti itu, model yang Anda latih mungkin mempelajari bias yang tidak diinginkan ini dalam set pelatihan alih-alih dapat menggeneralisasi.

Sebaiknya perkenalkan keragaman casing dan tanda baca dalam set pelatihan. Jika model Anda diharapkan untuk menangani variasi, pastikan untuk memiliki set pelatihan yang juga mencerminkan keragaman tersebut. Misalnya, sertakan beberapa ucapan dalam casing yang tepat, dan beberapa di semua huruf kecil.

Pemisahan data

Sebelum Anda memulai proses pelatihan, ucapan berlabel dalam proyek Anda dibagi menjadi set pelatihan dan set pengujian. Masing-masing dari mereka melayani fungsi yang berbeda. Set pelatihan digunakan dalam melatih model, ini adalah set tempat model mempelajari ucapan berlabel. Set pengujian adalah perangkat buta yang tidak diperkenalkan ke model selama pelatihan tetapi hanya selama evaluasi.

Setelah model berhasil dilatih, model dapat digunakan untuk membuat prediksi dari ucapan dalam set pengujian. Prediksi ini digunakan untuk menghitung metrik evaluasi. Disarankan untuk memastikan bahwa semua niat Anda diwakili secara memadai dalam set pelatihan dan pengujian.

Pemahaman bahasa percakapan mendukung dua metode untuk pemisahan data:

• Secara otomatis memisahkan set pengujian dari data pelatihan:Sistem akan membagi data yang diberi tag antara set pelatihan dan pengujian, sesuai dengan persentase yang Anda pilih. Pembagian persentase yang disarankan adalah 80% untuk pelatihan dan 20% untuk pengujian.

Catatan

Jika Anda memilih opsi Memisahkan set pengujian dari data pelatihan secara otomatis, hanya data yang ditetapkan ke set pelatihan yang akan dibagi menurut persentase yang diberikan.

• Gunakan pemisahan manual data pelatihan dan pengujian: Metode ini memungkinkan pengguna untuk menentukan dokumen berlabel mana yang harus termasuk dalam set mana. Langkah ini hanya diaktifkan jika Anda telah menambahkan dokumen ke set pengujian Selama pelabelan data.

Mode pelatihan

CLU mendukung dua mode untuk melatih model Anda

• Pelatihan standar menggunakan algoritma pembelajaran mesin cepat untuk melatih model Anda dengan relatif cepat. Pelatihan ini saat ini hanya tersedia untuk bahasa Inggris dan dinonaktifkan untuk proyek apa pun yang tidak menggunakan bahasa Inggris (AS), atau Inggris (Inggris) sebagai bahasa utamanya. Opsi pelatihan ini gratis. Pelatihan standar memungkinkan Anda menambahkan ucapan dan mengujinya dengan cepat tanpa biaya. Skor evaluasi yang ditampilkan akan memandu Anda di mana membuat perubahan dalam proyek Anda dan menambahkan lebih banyak ucapan. Setelah melakukan iterasi beberapa kali dan melakukan peningkatan inkremental, Anda dapat mempertimbangkan untuk menggunakan pelatihan tingkat lanjut untuk melatih versi lain dari model Anda.

• Pelatihan tingkat lanjut menggunakan teknologi pembelajaran mesin terbaru untuk menyesuaikan model dengan data Anda. Ini diharapkan untuk menunjukkan skor performa yang lebih baik untuk model Anda dan akan memungkinkan Anda untuk menggunakan kemampuan multibahasa CLU juga. Pelatihan tingkat lanjut dihargai secara berbeda. Lihat informasi harga untuk detailnya.

Gunakan skor evaluasi untuk memandu keputusan Anda. Mungkin ada kalanya contoh tertentu diprediksi salah dalam pelatihan lanjutan dibandingkan dengan saat Anda menggunakan mode pelatihan standar. Namun, jika hasil evaluasi keseluruhan lebih baik menggunakan tingkat lanjut, maka disarankan untuk menggunakan model akhir Anda. Jika itu tidak terjadi dan Anda tidak ingin menggunakan kemampuan multibahasa apa pun, Anda dapat terus menggunakan model yang dilatih dengan mode standar.

Catatan

Anda akan mengharapkan untuk melihat perbedaan perilaku dalam skor keyakinan niat antara mode pelatihan karena setiap algoritma mengalibrasi skornya secara berbeda.

Model latihan

Studio Bahasa

Untuk mulai melatih model Anda dari dalam Language Studio:

1. Pilih Model kereta api dari menu sebelah kiri.

2. Pilih Mulai pekerjaan pelatihan dari menu atas.

3. Pilih Latih model baru dan masukkan nama model baru di kotak teks. Jika tidak, untuk mengganti model yang sudah ada dengan model yang dilatih pada data baru, pilih Timpa model yang sudah ada lalu pilih model yang sudah ada. Menimpa model terlatih tidak dapat diubah, tetapi tidak akan memengaruhi model yang Anda sebarkan hingga Anda menyebarkan model baru.

4. Pilih mode pelatihan. Anda dapat memilih pelatihan Standar untuk pelatihan yang lebih cepat, tetapi hanya tersedia untuk bahasa Inggris. Atau Anda dapat memilih Pelatihan tingkat lanjut yang didukung untuk bahasa lain dan proyek multibahasa, tetapi melibatkan waktu pelatihan yang lebih lama. Pelajari selengkapnya tentang mode pelatihan.

5. Pilih metode pemisahan data. Anda dapat memilih Memisahkan set pengujian secara otomatis dari data pelatihan di mana sistem akan membagi ucapan Anda antara set pelatihan dan pengujian, sesuai dengan persentase yang ditentukan. Atau Anda dapat Menggunakan pemisahan manual data pelatihan dan pengujian, opsi ini hanya diaktifkan jika Anda telah menambahkan ucapan ke perangkat pengujian saat memberi label ucapan Anda.

6. Pilih tombol Latih.

   

7. Pilih ID pekerjaan pelatihan dari daftar. Panel akan muncul di mana Anda dapat memeriksa kemajuan pelatihan, status pekerjaan, dan detail lainnya untuk pekerjaan ini.

   Catatan

   • Hanya pekerjaan pelatihan yang diselesaikan, yang akan menghasilkan model.
   • Pelatihan dapat memakan waktu antara beberapa menit dan beberapa jam berdasarkan jumlah ucapan.
   • Anda hanya dapat memiliki satu pekerjaan pelatihan yang berjalan pada satu waktu. Anda tidak dapat memulai pekerjaan pelatihan lain dalam proyek yang sama sampai pekerjaan yang sedang berjalan selesai.
   • Pembelajaran mesin yang digunakan untuk melatih model diperbarui secara berkala. Untuk melatih versi konfigurasi sebelumnya, pilih Pilih di sini untuk mengubah dari halaman Mulai pekerjaan pelatihan dan pilih versi sebelumnya.

REST API

Mulai pekerjaan pelatihan

Kirim permintaan POST menggunakan URL, header, dan isi JSON berikut untuk mengirimkan tugas pelatihan.

URL Permintaan

Gunakan URL berikut saat membuat permintaan API Anda. Ganti nilai tempat penampung dengan nilai Anda sendiri.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/:train?api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	EmailApp
{API-VERSION}	Versi API yang Anda panggil.	2023-04-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Isi permintaan

Gunakan objek berikut dalam permintaan Anda. Model akan diberi nama sesuai dengan nilai yang Anda gunakan untuk modelLabel parameter setelah pelatihan selesai.

{
  "modelLabel": "{MODEL-NAME}",
  "trainingMode": "{TRAINING-MODE}",
  "trainingConfigVersion": "{CONFIG-VERSION}",
  "evaluationOptions": {
    "kind": "percentage",
    "testingSplitPercentage": 20,
    "trainingSplitPercentage": 80
  }
}

Kunci	Tempat penampung	Nilai	Contoh
modelLabel	{MODEL-NAME}	Nama model anda.	Model1
trainingConfigVersion	{CONFIG-VERSION}	Versi model konfigurasi pelatihan. Secara default, versi model terbaru digunakan.	2022-05-01
trainingMode	{TRAINING-MODE}	Mode pelatihan yang akan digunakan untuk pelatihan. Mode yang didukung adalah Pelatihan standar, pelatihan yang lebih cepat, tetapi hanya tersedia untuk Bahasa Inggris dan Pelatihan tingkat lanjut yang didukung untuk bahasa lain dan proyek multibahasa, tetapi memerlukan waktu pelatihan yang lebih lama. Pelajari selengkapnya tentang mode pelatihan.	standard
kind	percentage	Memisahkan metode. Kemungkinan Nilainya adalah percentage atau manual. Lihat cara melatih model untuk informasi lebih lanjut.	percentage
trainingSplitPercentage	80	Persentase data anda yang ditandai untuk disertakan dalam set pelatihan. Nilai yang disarankan adalah 80.	80
testingSplitPercentage	20	Persentase data anda yang ditandai untuk disertakan dalam set pengujian. Nilai yang disarankan adalah 20.	20

Catatan

trainingSplitPercentage dan testingSplitPercentage hanya diperlukan jika Kind disetel ke percentage dan jumlah kedua persentase harus sama dengan 100.

Setelah mengirim permintaan API, Anda akan menerima respons 202 yang menunjukkan keberhasilan. Di header respons, ekstrak nilai operation-location. Nilai ini akan diformat seperti ini:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

Anda dapat menggunakan URL ini untuk mendapatkan status pelatihan.

Dapatkan status pekerjaan pelatihan

Pelatihan dapat memakan waktu tergantung pada ukuran data pelatihan dan kompleksitas skema Anda. Anda dapat menggunakan permintaan berikut untuk terus melakukan polling status pekerjaan pelatihan hingga berhasil diselesaikan.

Saat Anda mengirim permintaan pelatihan yang berhasil, URL permintaan lengkap untuk memeriksa status pekerjaan (termasuk titik akhir, nama proyek, dan ID pekerjaan Anda) terkandung dalam header respons operation-location .

Gunakan permintaan GET berikut untuk mendapatkan status progres pelatihan model Anda. Ganti nilai tempat penampung di bawah ini dengan nilai Anda sendiri.

URL Permintaan

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{YOUR-ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	EmailApp
{JOB-ID}	ID untuk menemukan status pelatihan model Anda.	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx
{API-VERSION}	Versi API yang Anda panggil.	2023-04-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Isi Respons

Setelah mengirim permintaan, Anda akan mendapatkan respons berikut. Pertahankan polling titik akhir ini sampai parameter status berubah menjadi "berhasil".

{
  "result": {
    "modelLabel": "{MODEL-LABEL}",
    "trainingConfigVersion": "{TRAINING-CONFIG-VERSION}",
    "trainingMode": "{TRAINING-MODE}",
    "estimatedEndDateTime": "2022-04-18T15:47:58.8190649Z",
    "trainingStatus": {
      "percentComplete": 3,
      "startDateTime": "2022-04-18T15:45:06.8190649Z",
      "status": "running"
    },
    "evaluationStatus": {
      "percentComplete": 0,
      "status": "notStarted"
    }
  },
  "jobId": "xxxxx-xxxxx-xxxx-xxxxx-xxxx",
  "createdDateTime": "2022-04-18T15:44:44Z",
  "lastUpdatedDateTime": "2022-04-18T15:45:48Z",
  "expirationDateTime": "2022-04-25T15:44:44Z",
  "status": "running"
}

Kunci	Nilai	Contoh
modelLabel	Nama model	Model1
trainingConfigVersion	Versi konfigurasi pelatihan. Secara default, versi terbaru digunakan.	2022-05-01
trainingMode	Mode pelatihan yang Anda pilih.	standard
startDateTime	Waktu pelatihan dimulai	2022-04-14T10:23:04.2598544Z
status	Status tugas pelatihan	running
estimatedEndDateTime	Perkiraan waktu untuk menyelesaikan tugas pelatihan	2022-04-14T10:29:38.2598544Z
jobId	ID tugas pelatihan	xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx
createdDateTime	Tanggal dan waktu pembuatan tugas pelatihan	2022-04-14T10:22:42Z
lastUpdatedDateTime	Tanggal dan waktu tugas pelatihan terakhir diperbarui	2022-04-14T10:23:45Z
expirationDateTime	Tanggal dan waktu kedaluwarsa tugas pelatihan	2022-04-14T10:22:42Z

Membatalkan pekerjaan pelatihan

Studio Bahasa

Untuk membatalkan pekerjaan pelatihan dari dalam Language Studio

1. Di halaman Latih model , pilih pekerjaan pelatihan yang ingin Anda batalkan dan pilih Batalkan dari menu atas.

REST API

Buat permintaan POST menggunakan URL, header, dan isi JSON berikut untuk membatalkan tugas pelatihan.

URL Permintaan

Gunakan URL berikut saat membuat permintaan API Anda. Ganti nilai tempat penampung di bawah ini dengan nilai Anda sendiri.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}/:cancel?api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	EmailApp
{JOB-ID}	Nilai ini adalah ID pekerjaan pelatihan.	XXXXX-XXXXX-XXXX-XX
{API-VERSION}	Versi API yang Anda panggil.	2023-04-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Setelah mengirim permintaan API, Anda akan menerima respons 202 yang menunjukkan keberhasilan, yang berarti pekerjaan pelatihan Anda sudah dibatalkan. Hasil call yang sukses dengan header Operation-Location yang digunakan untuk memeriksa status pekerjaan.

Langkah berikutnya

• Metrik evaluasi model