BLEU puanı nedir?
BLEU (İki Dilli Değerlendirme Alt Adı), otomatik çeviri ile aynı kaynak cümlenin insan tarafından oluşturulan başvuru çevirileri arasındaki farkın ölçümüdür.
Puanlama işlemi
BLEU algoritması, otomatik çevirinin ardışık tümceciklerini başvuru çevirisinde bulduğu ardışık tümceciklerle karşılaştırır ve eşleşme sayısını ağırlıklı olarak sayar. Bu eşleşmeler konumdan bağımsızdır. Yüksek eşleşme derecesi, başvuru çevirisiyle daha yüksek benzerlik derecesini ve daha yüksek puanı gösterir. Anlaşılırlık ve dil bilgisi doğruluğu dikkate alınmaz.
BLEU nasıl çalışır?
BLEU puanının gücü, insan yargısıyla iyi bağıntılı olmasıdır. BLEU, her cümle için tam insan yargısını saptırmaya çalışmak yerine, bir test grubu üzerinde tek tek cümle karar hatalarını ortalama olarak çıkarır.
BLEU puanlarının daha kapsamlı bir tartışması burada.
BLEU sonuçları kesinlikle etki alanınızın genişliğine bağlıdır; test, eğitim ve ayarlama verilerinin tutarlılığı; ve eğitim için kullanabileceğiniz veri miktarı. Modelleriniz dar bir etki alanında eğitildiyse ve eğitim verileriniz test verilerinizle tutarlıysa yüksek bir BLEU puanı bekleyebilirsiniz.
Not
BLEU puanları arasındaki karşılaştırma, yalnızca BLEU sonuçları aynı Test kümesi, aynı dil çifti ve aynı MT altyapısı ile karşılaştırıldığında haklıdır. Farklı bir test kümesindeki BLEU puanının farklı olması gerekir.