Uji model Anda

  • Artikel

Setelah model berhasil dilatih, Anda dapat menggunakan terjemahan untuk mengevaluasi kualitas model Anda. Untuk membuat keputusan yang tepat tentang apakah akan menggunakan model standar kami atau model kustom Anda, Anda harus mengevaluasi delta antara skor BLEU model kustom Anda dan Baseline BLEU model standar kami. Jika model Anda telah dilatih pada domain yang sempit, dan data pelatihan Anda konsisten dengan data pengujian, Anda dapat mengharapkan skor BLEU yang tinggi.

Skor BLEU

BLEU (Bilingual Evaluation Understudy) adalah algoritma untuk mengevaluasi presisi atau akurasi teks yang telah diterjemahkan oleh mesin dari satu bahasa ke bahasa lain. Penerjemah Kustom menggunakan metrik BLEU sebagai salah satu cara untuk menyampaikan akurasi terjemahan.

Skor BLEU adalah angka antara nol dan 100. Skor nol menunjukkan terjemahan berkualitas rendah yaitu tidak ada yang cocok dalam terjemahan dengan referensi. Skor 100 menunjukkan terjemahan sempurna yang identik dengan referensi. Tidak perlu mencapai skor 100 — skor BLEU antara 40 dan 60 menunjukkan terjemahan berkualitas tinggi.

Baca selengkapnya

Detail model

  1. Pilih bilah Detail model.

  2. Pilih nama model. Tinjau tanggal/waktu pelatihan, total waktu pelatihan, jumlah kalimat yang digunakan untuk pelatihan, penyetelan, pengujian, dan kamus. Periksa apakah sistem menghasilkan set pengujian dan penyetelan. Anda akan menggunakan Category ID untuk membuat permintaan terjemahan.

  3. Evaluasi skor BLEU model. Tinjau set pengujian: skor BLEU adalah skor model kustom dan Baseline BLEU adalah model garis besar yang telah dilatih sebelumnya yang digunakan untuk penyesuaian. Skor BLEU yang lebih tinggi berarti ada kualitas terjemahan tinggi menggunakan model kustom.

    Cuplikan layar yang mengilustrasikan detail model.

Menguji kualitas terjemahan model Anda

  1. Pilih bilah Model pengujian.

  2. Pilih Nama model.

  3. Manusia mengevaluasi terjemahan dari Model kustom Anda dan Model garis besar (garis besar kami yang telah dilatih sebelumnya yang digunakan untuk kustomisasi) terhadap Referensi (terjemahan target dari set pengujian).

  4. Jika Anda puas dengan hasil pelatihan, tempatkan permintaan penyebaran untuk model terlatih.

Langkah berikutnya