Sobre testes de pipeline

  • Artigo

Serviços de DevOps do Azure | Azure DevOps Server 2022 - Azure DevOps Server 2019

Este artigo descreve os termos mais usados no relatório de teste de pipeline e na análise de teste.

Termo Definição
Duração Tempo decorrido na execução de um teste, execução de teste ou execução de teste inteira em um pipeline de compilação ou liberação.
Proprietário Proprietário de um teste ou execução de teste. O proprietário do teste é normalmente especificado como um atributo no código de teste. Consulte Tarefa Publicar resultados de teste para exibir o mapeamento do atributo Owner para formatos de resultados de teste suportados.
Falha na compilação Referência à compilação com a primeira ocorrência de falhas consecutivas de um caso de teste.
Falha na liberação Referência à libertação com a primeira ocorrência de falhas consecutivas de um caso de ensaio.
Resultado Há 15 resultados possíveis para um resultado de teste: Abortado, Bloqueado, Erro, Reprovado, Inconclusivo, Em andamento, Nenhum, Não aplicável, Não executado, Não afetado, Aprovado, Pausado, Tempo limite, Não especificado e Aviso.
Alguns dos resultados mais utilizados são:
- Abortado: A execução do teste foi encerrada abruptamente devido a fatores internos ou externos, por exemplo, código incorreto, problemas de ambiente.
- Reprovado: Teste que não atingiu o resultado desejado.
- Inconclusivo: Teste sem resultado definitivo.
- Não executado: Teste marcado como ignorado para execução.
- Não afetado: teste não afetado pela alteração de código que disparou o pipeline.
- Aprovado: Teste executado com êxito.
- Tempo limite: duração da execução do teste excedendo o limite especificado.
Teste de Flaky Um teste com comportamento não determinístico. Por exemplo, o teste pode resultar em resultados diferentes para a mesma configuração, código ou entradas.
Filtro Mecanismo para procurar os resultados do teste dentro do conjunto de resultados, usando os atributos disponíveis. Mais informações.
Agrupamento Uma ajuda para organizar a exibição dos resultados do teste com base nos atributos disponíveis, como Requisito, Arquivos de teste, Prioridade e muito mais. Tanto o relatório de teste quanto a análise de teste fornecem suporte para agrupar resultados de teste.
Percentagem de aprovação Medir o sucesso do resultado do teste para uma única instância de execução ou ao longo de um período de tempo.
Prioridade Especifica o grau de importância ou criticidade de um teste. A prioridade é normalmente especificada como um atributo no código de teste. Consulte Tarefa Publicar resultados de teste para exibir o mapeamento do atributo Prioridade para formatos de resultados de teste suportados.
Análise de teste Uma visão dos dados históricos do teste para fornecer informações significativas.
Caso de teste Identifica exclusivamente um único teste dentro da ramificação especificada.
Ficheiros de teste Testes de grupo com base na forma como são embalados; como arquivos, DLLs ou outros formatos.
Relatório de ensaio Uma exibição de instância única de execução de teste no pipeline que contém detalhes de status e ajuda para solução de problemas, rastreabilidade e muito mais.
Resultado do teste Instância única de execução de um caso de teste com um resultado e detalhes específicos.
Execução do teste Agrupamento lógico dos resultados dos ensaios com base em:
- Teste executado usando tarefas internas: Todos os testes executados usando uma única tarefa, como Visual Studio Test, Ant, Maven, Gulp, Grunt ou Xcode, serão relatados em uma única execução de teste
- Resultados publicados usando a tarefa Publicar resultados de teste: fornece uma opção para agrupar todos os resultados de teste de um ou mais arquivos de resultados de teste em uma única execução ou execuções individuais por arquivo
- Resultados de testes publicados usando API(s): API(s) fornecem a flexibilidade para criar execuções de teste e organizar resultados de teste para cada execução, conforme necessário.
Rastreabilidade Capacidade de rastrear para frente ou para trás um requisito, bug ou código-fonte a partir de um resultado de teste.

Ajuda e suporte