Examinar resultados de teste

  • Artigo

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

Os testes automatizados podem ser configurados para serem executados como parte de um build ou lançamento para várias linguagens de programação. Os relatórios de teste fornecem uma maneira eficaz e consistente de exibir os resultados dos testes executados usando estruturas de teste diferentes, a fim de medir a qualidade do pipeline, examinar a rastreabilidade, solucionar falhas e impulsionar a responsabilidade por falhas. Além disso, ele fornece muitos recursos de relatórios avançados explorados nas seções a seguir.

Você também pode executar uma análise mais profunda dos resultados do teste usando o Serviço de Análise. Para obter um exemplo de como usar isso com seus pipelines de build e implantação, confira Analisar resultados de teste.

Leia o glossário para entender a terminologia do relatório de teste.

Os resultados do teste publicado podem ser exibidos na guia Testes, em um resumo de build ou lançamento.

Resultados do teste do Surface na guia Testes

Os resultados do teste podem ser exibidos na guia Testes, usando uma das seguintes opções:

  • Resultados de teste inferidos automaticamente. Por padrão, o pipeline pode inferir automaticamente a saída do teste para alguns executores de teste populares. Isso é feito analisando os logs de erro gerados durante a operação de build e verificando se há assinaturas de falhas de teste. Atualmente, o Azure DevOps dá suporte às seguintes linguagens de programação e executores de teste para inferir automaticamente os resultados do teste:

  • Tarefas de execução de teste. Tarefas de execução de teste internas como o Visual Studio Test, que publicam automaticamente os resultados do teste no pipeline, ou outras, como Ant, Maven, Gulp, Grunt e Xcode, que fornecem essa funcionalidade como uma opção dentro da tarefa.

  • Tarefa Publicar Resultados de Teste Tarefa que publica os resultados do teste no Azure Pipelines ou no TFS quando os testes são executados usando sua escolha de executor, e os resultados estão disponíveis em qualquer um dos formatos de resultado de teste compatíveis.

  • API(s). Resultados do teste publicados diretamente usando as APIs de Gerenciamento de Teste.

Informações de teste de superfície, além da guia Testes

A guia Testes fornece um resumo detalhado da execução do teste. Isso é útil para acompanhar a qualidade do pipeline, bem como para solucionar falhas. O Azure DevOps também fornece outras maneiras de exibir as informações de teste:

Exibir os resultados de teste no build

O resumo do build fornece uma exibição linha do tempo das principais etapas executadas no build. Se os testes foram executados e relatados como parte do build, um marco de teste será exibido na exibição linha do tempo. O marco de teste fornece um resumo dos resultados do teste como uma medida de porcentagem de aprovação, juntamente com indicadores de falhas e anulações, se existirem.

Exibir o teste na exibição da linha do tempo de build

Exibir os resultados do teste no lançamento

Na exibição do pipeline, você pode ver todas as fases e testes associados. A exibição fornece um resumo dos resultados do teste como uma medida do percentual de aprovação, juntamente com indicadores de falhas e anulações, caso existam. Esses indicadores são iguais aos da exibição de build linha do tempo, proporcionando uma experiência consistente entre build e lançamento.

Exibir o teste na exibição da tela de lançamento

Guia Testes

Os resumos de build e lançamento fornecem detalhes da execução do teste. Escolha Resumo do teste para exibir os detalhes na guia Testes. Essa página tem as seções a seguir

  • Resumo: fornece as principais métricas quantitativas para a execução do teste, como a contagem total de testes, testes com falha, porcentagem de aprovação e muito mais. Ele também fornece indicadores diferenciais de alteração em comparação com a execução anterior.

  • Resultados: lista todos os testes executados e relatados como parte do build ou lançamento atual. A exibição padrão mostra apenas os testes com falha e anulados, para se concentrar em testes que exigem atenção. No entanto, você pode escolher outros resultados usando os filtros fornecidos.

  • Detalhes: uma lista de testes que você pode classificar, agrupar, pesquisar e filtrar para encontrar os resultados do teste necessários.

Guia Exibir testes

Selecione qualquer execução de teste ou resultado para exibir o painel de detalhes que mostra informações adicionais necessárias para solução de problemas, como a mensagem de erro, rastreamento de pilha, anexos, itens de trabalho, tendência histórica e muito mais.

Guia Exibir detalhes

Dica

Se você usar a tarefa teste do Visual Studio para executar testes, a saída de diagnóstico registrada em testes (usando qualquer um dos métodos Console.WriteLine, Trace.WriteLine ou TestContext.WriteLine) aparecerá como um anexo para um teste com falha.

As funcionalidades a seguir da guia Testes ajudam a aprimorar a produtividade e a experiência de solução de problemas.

Filtrar resultados de teste grandes

Com o tempo, os ativos de teste acumulam e os aplicativos grandes podem facilmente chegar a dezenas de milhares de testes. Para esses aplicativos com muitos testes, pode ser difícil navegar pelos resultados para identificar falhas de teste, associar causas raiz ou obter a propriedade de problemas. Os filtros facilitam a navegação rápida para os resultados do teste de seu interesse. Você pode filtrar em Nome do Teste, Resultado (com falha, aprovado e muito mais), Arquivos de Teste (arquivos que contêm testes) e Proprietário (para arquivos de teste). Todos os critérios de filtro são cumulativos por natureza.

Filtrar conjunto grande de resultados de teste

Além disso, com várias opções de Agrupamento, como Execução de teste, Arquivo de teste, Prioridade, Requisito e muito mais, você pode organizar a exibição Resultados exatamente do jeito que precisa.

Gerenciamento de déficit de teste com bugs

Para gerenciar seu déficit de teste quanto a falhas ou testes de execução prolongada, você pode criar um bug ou adicionar dados a um bug existente e exibir todos os itens de trabalho associados na guia item de trabalho.

Experiência de solução de problemas imersiva

Mensagens de erro e rastreamentos de pilha são longos por natureza e precisam de ativos suficientes para exibir os detalhes durante a solução de problemas. Para fornecer uma experiência de solução de problemas imersiva, a exibição Detalhes pode ser expandida para a exibição de página inteira enquanto ainda é capaz de executar as operações necessárias no contexto, como criação de bugs ou associação de requisitos para o resultado do teste selecionado.

Exibição do painel de página inteira

Solução de problemas de dados para falha de teste

Para as falhas de teste, as mensagens de erro e os rastreamentos de pilha estão disponíveis para solução de problemas. Você também pode exibir todos os anexos associados à falha de teste na guia Anexos.

Gerenciamento de déficit de teste

Você pode criar ou adicionar a um bug existente para gerenciar o déficit de teste para falhas ou testes de execução prolongada. A guia Itens de Trabalho detalha todos os bugs e requisitos associados a um Teste para ajudar você a analisar o impacto do requisito, bem como conhecer status e quem está trabalhando no bug.

O histórico de execução de teste pode fornecer insights significativos sobre confiabilidade ou desempenho de testes. Ao solucionar uma falha, é importante saber como um teste foi executado no passado. A guia Testes fornece o histórico de testes em contexto, junto com os resultados do teste. As informações do histórico de teste são expostas de maneira progressiva, começando com o pipeline de build atual para outros branches ou a fase atual para outras fases, para build e lançamento, respectivamente.

Exibir tendências históricas

Exibir a execução de testes em andamento

Testes, como integração e testes funcionais, podem ser executados por muito tempo. Portanto, é importante ver o status atual ou quase em tempo real da execução do teste a qualquer momento. Mesmo para casos em que os testes são executados rapidamente, é útil saber o status dos resultados relevantes do teste o mais cedo possível, especialmente quando ocorrem falhas. A exibição em andamento elimina a necessidade de aguardar a conclusão da execução do teste. Os resultados estão disponíveis quase em tempo real à medida que a execução progride, ajudando você a executar ações mais rapidamente. Você pode depurar uma falha, arquivar um bug ou anular o pipeline.

Exibição de lançamento em andamento

Observação

No momento, o recurso está disponível para build e lançamento, usando a tarefa Teste do Visual Studio em um trabalho de Vários Agentes. Ele estará disponível para trabalhos do Agente Único em uma versão futura.

A exibição abaixo mostra o resumo do teste em andamento em um lançamento, relatando a contagem total de testes e o número de falhas de teste em um determinado ponto no tempo. As falhas de teste estão disponíveis para solução de problemas, criação de bugs ou para executar qualquer outra ação apropriada.

Exibição resumida Em andamento

Exibir resultados de teste resumidos

Durante a execução do teste, um teste pode gerar várias instâncias ou testes que contribuem para o resultado geral. Alguns exemplos são testes que são executados novamente, testes compostos por uma combinação ordenada de outros testes (testes ordenados) ou testes com instâncias diferentes com base em um parâmetro de entrada (testes controlados por dados).

Como esses testes estão relacionados, eles precisam ser relatados junto com o resultado geral derivado das instâncias ou testes individuais. Esses resultados de teste são relatados como um resultado de teste resumido na guia Testes:

  • Executar novamente testes com falha: a capacidade de executar novamente testes com falha está disponível na versão mais recente da tarefa Teste do Visual Studio. Durante uma nova execução, várias tentativas podem ser feitas para um teste com falha e cada falha pode ter uma causa raiz diferente devido ao comportamento não determinístico do teste. Os relatórios de teste fornecem uma exibição combinada para todas as tentativas de uma nova execução, juntamente com o resultado geral do teste como uma unidade resumida. Além disso, as APIs de Gerenciamento de Testes agora dão suporte à capacidade de publicar e consultar resultados de teste resumidos.

    Executar novamente os testes com falha

  • Testes controlados por dados: semelhante à nova execução de testes com falha, todas as iterações de testes controlados por dados são relatadas sob esse teste em uma exibição resumida. A exibição resumida também está disponível para testes ordenados (.orderedtest no Visual Studio).

    Testes direcionados a dados

Observação

As métricas na seção de resumo do teste, como o número total de testes, aprovados, com falha ou outros, são computadas usando o nível raiz do resultado do teste resumido.

Exibir testes anulados

A execução do teste pode ser anulada devido a vários motivos, como código de teste incorreto, erros na origem em teste ou problemas ambientais. Independentemente do motivo da anulação, é importante ser capaz de diagnosticar o comportamento e identificar a causa raiz. Os testes anulados e as execuções de teste podem ser exibidos junto com as execuções concluídas na guia Testes.

Exibir testes interrompidos.

Observação

No momento, o recurso está disponível para build e lançamento, usando a tarefa Teste do Visual Studio em um trabalho multiagente ou publicando resultados de teste usando as APIs de Gerenciamento de Teste. Ele estará disponível para trabalhos do Agente Único em uma versão futura.

Resultados de teste inferidos automaticamente

O Azure DevOps pode inferir automaticamente a saída de testes em execução em seus pipelines para algumas estruturas de teste compatíveis. Esses relatórios de teste inferidos automaticamente não exigem nenhuma configuração específica de seus pipelines e são uma maneira de começar a usar o Relatório de Teste sem esforço nenhum.

Exemplo de um relatório de teste inferido automaticamente

Consulte a lista de executores para os quais os resultados do teste são inferidos automaticamente.

Como apenas metadados de teste limitados estão presentes nesses relatórios inferidos, eles são limitados em recursos e funcionalidades. Os seguintes recursos não estão disponíveis para relatórios de teste inferidos:

  • Agrupar os resultados do teste por arquivo de teste, proprietário, prioridade e outros campos
  • Pesquisar e filtrar os resultados do teste
  • Verificar detalhes de testes aprovados
  • Visualizar todos os anexos gerados durante os testes na interface do usuário da Web propriamente dita
  • Associar uma falha de teste a um novo bug ou ver a lista de itens de trabalho associados para essa falha
  • Confira a análise para teste em pipelines de build a build

Observação

Alguns executores, como o Mocha, têm vários relatores de console internos, como dot-matrix e progress-bar. Se você tiver configurado uma saída de console não padrão para o executor de teste ou estiver usando um relator personalizado, o Azure DevOps não poderá inferir os resultados do teste. Ele só pode inferir os resultados do relator padrão.

Ajuda e suporte