Тестирование модели
После успешного обучения модели можно использовать переводы для оценки ее качества. Чтобы принять обоснованное решение о том, следует ли использовать нашу стандартную модель или пользовательскую модель, следует оценить разницу между оценкой BLEU пользовательской модели и базовым показателем BLEU нашей стандартной модели. Если модели были обучены в узкой предметной области, а ваши данные для обучения согласованы с тестовыми данными, вы можете ожидать высокую оценку BLEU.
Оценка BLEU
BLEU (Bilingual Evaluation Understudy) — это алгоритм оценки точности машинного перевода с одного языка на другой. Пользовательский переводчик использует метрику BLEU как один из способов оценки точности перевода.
Оценка BLEU — это число от 0 до 100. Нулевой показатель указывает на некачественный перевод, который совершенно не соответствует справочному. Оценка 100 означает идеальный перевод, идентичный справочному. Необязательно стремиться к результату 100 — оценка BLEU между 40 и 60 указывает на высокое качество перевода.
Сведения о модели
Выберите колонку Сведения о модели.
Выберите имя модели. Просмотрите дату и время обучения, общее время обучения, количество предложений, используемых для обучения, настройки, тестирования и словаря. Проверьте, создали ли система наборы тестирования и настройки. Для выполнения запросов на перевод вы будете использовать
Category ID.Проанализируйте оценку BLEU. Просмотрите тестовый набор: оценка BLEU — это оценка пользовательской модели, а базовая bleu — предварительно обученная базовая модель, используемая для настройки. Более высокая оценка BLEU означает высокое качество перевода с помощью пользовательской модели.
Проверка качества перевода модели
Выберите колонку Тест модели.
Выберите имя модели.
Человек оценит перевод вашей пользовательской модели и базовой модели (предварительно обученной для настройки) относительно справочного варианта (перевода для тестового набора).
Если вы удовлетворены результатами обучения, разместите запрос на развертывание обученной модели.