Testar o modelo

  • Artigo

Depois que o modelo for treinado com êxito, você poderá usar traduções para avaliar a qualidade do modelo. Para tomar uma decisão informada sobre se você deve usar nosso modelo padrão ou seu modelo personalizado, avalie o delta entre a pontuação do BLEU do modelo personalizado e o BLEU de linha de base do modelo padrão. Se os modelos foram treinados em um domínio restrito e os dados de treinamento são consistentes com os dados de teste, você pode esperar uma alta pontuação BLEU.

Pontuação BLEU

O BLEU (Bilingual Evaluation Understudy) é um algoritmo usado para avaliar a precisão do texto que foi traduzido automaticamente de um idioma para outro. O Tradutor Personalizado usa a métrica do BLEU como uma forma de transmitir a precisão da tradução.

Uma pontuação do BLEU é um número entre zero e 100. Uma pontuação igual a zero indica uma tradução de baixa qualidade em que nada na tradução correspondeu à referência. Uma pontuação igual a 100 indica uma tradução perfeita idêntica à referência. Não é necessário obter uma pontuação igual a 100: uma pontuação BLEU entre 40 e 60 indica uma tradução de alta qualidade.

Leia mais

Detalhes do modelo

  1. Selecione a folha Detalhes do modelo.

  2. Selecione o nome do modelo. Examine a data/hora do treinamento, o tempo total de treinamento, o número de frases usadas para treinamento, ajuste, teste e dicionário. Verifique se o sistema gerou os conjuntos de teste e ajuste. Você usará Category ID para fazer solicitações de tradução.

  3. Avalie a pontuação BLEU do modelo. Revise o conjunto de testes: a pontuação do BLEU é a pontuação de modelo personalizada e o BLEU de Linha de Base é o modelo de linha de base pré-treinado usado para personalização. Uma pontuação BLEU mais alta significa que há uma alta qualidade de tradução usando o modelo personalizado.

    Captura de tela ilustrando detalhes do modelo.

Testar a qualidade da tradução do modelo

  1. Selecione a folha Testar modelo.

  2. Escolha Nome do modelo.

  3. A tradução de avaliação humana do modelo personalizado e do modelo de linha de base (nossa linha de base pré-treinada usada para personalização) em relação à Referência (tradução de destino do conjunto de teste).

  4. Se você estiver satisfeito com os resultados do treinamento, faça uma solicitação de implantação para o modelo treinado.

Próximas etapas