Sobre testes de pipeline

  • Artigo

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

Este artigo descreve os termos comumente usados no relatório de teste e análise de teste de pipeline.

Termo Definição
Duration Tempo decorrido na execução de um teste, execução de teste ou execução de teste inteira em um pipeline de build ou lançamento.
Proprietário Proprietário de um teste ou execução de teste. O proprietário do teste normalmente é especificado como um atributo no código de teste. Confira a tarefa Publicar Resultados do Teste para exibir o mapeamento do atributo Proprietário para obter formatos de resultado de teste com suporte.
Compilação com falha Referência ao build que tem a primeira ocorrência de falhas consecutivas de um caso de teste.
Falha na versão Referência à versão que tem a primeira ocorrência de falhas consecutivas de um caso de teste.
Resultado Há 15 resultados possíveis para um resultado de teste: Anulado, Bloqueado, Erro, Falha, Inconclusivo, Em andamento, Nenhum, Não aplicável, Não executado, Não afetado, Aprovado, Pausado, Tempo Limite, Não Especificado e Aviso.
Alguns dos resultados mais usados são:
- Anulada: a execução do teste foi encerrada abruptamente devido a fatores internos ou externos, por exemplo, código inválido, problemas de ambiente.
- Falha: o teste não tem o resultado desejado.
- Inconclusivo: teste sem um resultado definitivo.
- Não executado: teste marcado como ignorado para execução.
- Não afetado: teste não afetado pela alteração de código que disparou o pipeline.
- Aprovado: teste executado com êxito.
- Tempo limite: duração da execução do teste excedendo o limite especificado.
Teste Flaky Um teste com comportamento não determinístico. Por exemplo, o teste pode gerar resultados diferentes para a mesma configuração, código ou entradas.
Filter Mecanismo para pesquisar os resultados do teste dentro do conjunto de resultados usando os atributos disponíveis. Saiba mais.
Agrupamento Um auxílio para organizar a exibição de resultados de teste com base em atributos disponíveis, como Requisito, Arquivos de teste, Prioridade e muito mais. O relatório de teste e a análise de teste dão suporte para agrupar os resultados do teste.
Percentual de aprovação Medida do sucesso do resultado do teste para uma só instância de execução ou durante um período.
Prioridade Especifica o grau de importância ou criticalidade de um teste. A prioridade normalmente é especificada como um atributo no código de teste. Confira a tarefa Publicar Resultados do Teste para exibir o mapeamento do atributo Prioridade para formatos de resultado de teste com suporte.
Análise de teste Uma exibição dos dados de teste históricos para fornecer insights significativos.
Caso de teste Identifica exclusivamente um só teste dentro do branch especificado.
Arquivos de teste Agrupar testes com base na maneira como eles são empacotados; como arquivos, DLLs ou outros formatos.
Relatório de teste Uma exibição de uma só instância de execução de teste no pipeline que contém detalhes de status e ajuda para solução de problemas, rastreabilidade e muito mais.
Resultado do teste Instância única de execução de um caso de teste com um resultado e detalhes específicos.
Execução de teste Agrupamento lógico de resultados de teste com base em:
- Teste executado usando tarefas internas: todos os testes executados usando uma única tarefa, como Visual Studio Test, Ant, Maven, Gulp, Grunt ou Xcode , serão relatados em uma única execução de teste
- Resultados publicados usando a tarefa Publicar Resultados do Teste: fornece uma opção para agrupar todos os resultados de teste de um ou mais arquivos de resultados de teste em uma única execução ou execuções individuais por arquivo
- Resultados de testes publicados usando API(s): as API(s) fornecem a flexibilidade para criar execuções de teste e organizar os resultados de teste para cada execução conforme necessário.
Rastreabilidade Capacidade de rastrear para frente ou para trás até um requisito, bug ou código-fonte de um resultado de teste.

Ajuda e suporte