Rever os resultados dos testes

  • Artigo

Serviços de DevOps do Azure | Azure DevOps Server 2022 - Azure DevOps Server 2019

Os testes automatizados podem ser configurados para serem executados como parte de uma compilação ou versão para vários idiomas. Os relatórios de teste fornecem uma maneira eficaz e consistente de visualizar os resultados dos testes executados usando diferentes estruturas de teste, a fim de medir a qualidade do pipeline, revisar a rastreabilidade, solucionar problemas de falhas e impulsionar a propriedade de falhas. Além disso, ele fornece muitos recursos avançados de relatórios explorados nas seções a seguir.

Você também pode realizar uma análise mais profunda dos resultados do teste usando o Serviço de Análise. Para obter um exemplo de como usar isso com seus pipelines de compilação e implantação, consulte Analisar resultados de teste.

Leia o glossário para compreender a terminologia do relatório de teste.

Os resultados de teste publicados podem ser visualizados na guia Testes em um resumo de compilação ou versão.

Resultados do teste de superfície na guia Testes

Os resultados do teste podem ser apresentados na guia Testes usando uma das seguintes opções:

  • Resultados de teste inferidos automaticamente. Por padrão, seu pipeline pode inferir automaticamente a saída de teste para alguns executores de teste populares. Isso é feito analisando os logs de erro gerados durante a operação de compilação e, em seguida, verificando assinaturas de falhas de teste. Atualmente, o Azure DevOps dá suporte aos seguintes idiomas e executores de teste para inferir automaticamente os resultados do teste:

  • Tarefas de execução de testes. Tarefas internas de execução de teste, como Visual Studio Test que publicam automaticamente os resultados do teste no pipeline, ou outras como Ant, Maven, Gulp, Grunt e Xcode que fornecem esse recurso como uma opção dentro da tarefa.

  • Tarefa Publicar resultados de teste. Tarefa que publica resultados de teste no Azure Pipelines ou TFS quando os testes são executados usando sua escolha de runner e os resultados estão disponíveis em qualquer um dos formatos de resultado de teste suportados.

  • API(s). Resultados de teste publicados diretamente usando a (s) API(s) de Gerenciamento de Teste.

Informações de teste de superfície além da guia Testes

A guia Testes fornece um resumo detalhado da execução do teste. Isso é útil para controlar a qualidade do pipeline, bem como para solucionar falhas. O Azure DevOps também fornece outras maneiras de exibir as informações de teste:

  • O Painel fornece visibilidade do progresso da sua equipe. Adicione um ou mais widgets que apresentem informações relacionadas ao teste:

  • A análise de teste fornece informações detalhadas sobre os resultados dos testes medidos ao longo de um período de tempo. Ele pode ajudar a identificar áreas problemáticas em seu teste, fornecendo dados como os principais testes com reprovação e muito mais.

Ver resultados de teste na compilação

O resumo da compilação fornece uma visualização da linha do tempo das principais etapas executadas na compilação. Se os testes foram executados e relatados como parte da compilação, uma etapa de teste aparece na exibição da linha do tempo. A etapa de teste fornece um resumo dos resultados do teste como uma medida da porcentagem de aprovação, juntamente com indicadores de falhas e abortamentos, se existirem.

Ver teste na vista de linha cronológica de compilação

Ver resultados do teste na versão

Na visualização de pipeline, você pode ver todos os estágios e testes associados. A exibição fornece um resumo dos resultados do teste como uma medida da porcentagem de aprovação, juntamente com indicadores de falhas e abortamentos, se existirem. Esses indicadores são os mesmos da visualização da linha do tempo de compilação, proporcionando uma experiência consistente em toda a compilação e versão.

Exibir teste na visualização de tela de liberação

Guia Testes

Os resumos de compilação e versão fornecem detalhes da execução do teste. Escolha Resumo do teste para exibir os detalhes na guia Testes . Esta página tem as seguintes seções

  • Resumo: fornece métricas quantitativas importantes para a execução do teste, como a contagem total de testes, testes reprovados, porcentagem de aprovação e muito mais. Também fornece indicadores diferenciais de mudança em relação à execução anterior.

  • Resultados: lista todos os testes executados e relatados como parte da compilação ou versão atual. A visualização padrão mostra apenas os testes reprovados e abortados para se concentrar em testes que exigem atenção. No entanto, você pode escolher outros resultados usando os filtros fornecidos.

  • Detalhes: Uma lista de testes que você pode classificar, agrupar, pesquisar e filtrar para encontrar os resultados de teste necessários.

Ver separador testes

Selecione qualquer execução de teste ou resultado para exibir o painel de detalhes que exibe informações adicionais necessárias para solução de problemas, como mensagem de erro, rastreamento de pilha, anexos, itens de trabalho, tendência histórica e muito mais.

Ver separador de detalhes

Gorjeta

Se você usar a tarefa Teste do Visual Studio para executar testes, a saída de diagnóstico registrada dos testes (usando qualquer um dos métodos Console.WriteLine, Trace.WriteLine ou TestContext.WriteLine) aparecerá como um anexo para um teste com falha.

Os recursos a seguir da guia Testes ajudam a melhorar a produtividade e a experiência de solução de problemas.

Filtrar grandes resultados de testes

Com o tempo, os testes se acumulam e, para grandes aplicações, podem facilmente crescer para dezenas de milhares de testes. Para esses aplicativos com muitos testes, pode ser difícil navegar pelos resultados para identificar falhas de teste, associar causas raiz ou obter a propriedade dos problemas. Os filtros facilitam a navegação rápida até os resultados dos testes de seu interesse. Você pode filtrar em Nome do teste, Resultado (reprovado, aprovado e muito mais), Arquivos de teste (arquivos que contêm testes) e Proprietário (para arquivos de teste). Todos os critérios de filtro são de natureza cumulativa.

Filtrar grande conjunto de resultados de teste

Além disso, com várias opções de Agrupamento, como Execução de teste, Arquivo de teste, Prioridade, Requisito e muito mais, você pode organizar a visualização Resultados exatamente como você precisa.

Teste a gestão de dívidas com bugs

Para gerenciar sua dívida de teste por testes com falha ou de longa duração, você pode criar um bug ou adicionar dados ao bug existente e todos visualizam todos os itens de trabalho associados na guia Item de trabalho.

Experiência imersiva de solução de problemas

As mensagens de erro e os rastreamentos de pilha são longos por natureza e precisam de imóveis suficientes para visualizar os detalhes durante a solução de problemas. Para fornecer uma experiência imersiva de solução de problemas, a visualização Detalhes pode ser expandida para a visualização de página inteira e, ao mesmo tempo, ser capaz de executar as operações necessárias no contexto, como a criação de bugs ou a associação de requisitos para o resultado do teste selecionado.

Visualização do painel de página inteira

Solução de problemas de dados para falha de teste

Para as falhas de teste, as mensagens de erro e rastreamentos de pilha estão disponíveis para solução de problemas. Você também pode exibir todos os anexos associados à falha de teste na guia Anexos .

Testar a gestão da dívida

Você pode criar ou adicionar a um bug existente para gerenciar a dívida de teste para falhas ou testes de longa execução. A guia Itens de Trabalho detalha todos os bugs e requisitos associados a um Teste para ajudá-lo a analisar o impacto do requisito, bem como saber o status e quem está trabalhando no bug.

O histórico de execução de testes pode fornecer informações significativas sobre a confiabilidade ou o desempenho dos testes. Ao solucionar uma falha, é valioso saber como um teste foi executado no passado. A guia Testes fornece o histórico do teste no contexto com os resultados do teste. As informações do histórico de teste são expostas de forma progressiva, começando com o pipeline de construção atual para outras ramificações, ou o estágio atual para outros estágios, para compilação e lançamento, respectivamente.

Ver tendências históricas

Ver a execução de testes em curso

Testes, como integração e testes funcionais, podem ser executados por um longo tempo. Portanto, é importante ver o status atual ou quase em tempo real da execução do teste a qualquer momento. Mesmo nos casos em que os testes são executados rapidamente, é útil saber o estado do(s) resultado(s) relevante(s) o mais cedo possível; especialmente quando ocorrem falhas. A visualização em andamento elimina a necessidade de aguardar a conclusão da execução do teste. Os resultados estão disponíveis quase em tempo real à medida que a execução progride, ajudando-o a tomar medidas mais rapidamente. Você pode depurar uma falha, arquivar um bug ou abortar o pipeline.

Visualização da versão em andamento

Nota

O recurso está atualmente disponível para compilação e versão, usando a tarefa de teste do Visual Studio em um trabalho Multi Agent. Ele estará disponível para trabalhos de Agente Único em uma versão futura.

A exibição abaixo mostra o resumo do teste em andamento em uma versão, relatando a contagem total de testes e o número de falhas de teste em um determinado momento. As falhas de teste estão disponíveis para solução de problemas, criação de bug(s) ou para tomar qualquer outra ação apropriada.

Vista de resumo em curso

Ver resultados resumidos do teste

Durante a execução do teste, um teste pode gerar várias instâncias ou testes que contribuem para o resultado geral. Alguns exemplos são, testes que são repetidos, testes compostos por uma combinação ordenada de outros testes (testes ordenados) ou testes com instâncias diferentes baseadas em um parâmetro de entrada (testes orientados por dados).

Uma vez que estes testes estão relacionados, devem ser comunicados juntamente com o resultado global derivado das instâncias ou testes individuais. Esses resultados de teste são relatados como um resultado de teste resumido na guia Testes :

  • Executar novamente testes com falha: A capacidade de executar novamente testes com falha está disponível na versão mais recente da tarefa de teste do Visual Studio. Durante uma nova execução, várias tentativas podem ser feitas para um teste com falha, e cada falha pode ter uma causa raiz diferente devido ao comportamento não determinístico do teste. Os relatórios de teste fornecem uma visão combinada de todas as tentativas de uma nova execução, juntamente com o resultado geral do teste como uma unidade resumida. Além disso, a (s) API(s) de gerenciamento de teste agora suportam a capacidade de publicar e consultar resultados de teste resumidos.

    Repetir testes com falha

  • Testes controlados por dados: semelhante à repetição de testes com falha, todas as iterações de testes controlados por dados são relatadas sob esse teste em uma exibição resumida. O modo de exibição resumido também está disponível para testes ordenados (.orderedtest no Visual Studio).

    Teste orientado por dados

Nota

As métricas na seção de resumo do teste, como o número total de testes, aprovados, reprovados ou outros, são calculadas usando o nível raiz do resultado resumido do teste.

Ver testes abortados

A execução do teste pode ser abortada devido a vários motivos, como código de teste incorreto, erros na fonte em teste ou problemas ambientais. Independentemente do motivo do aborto, é importante ser capaz de diagnosticar o comportamento e identificar a causa raiz. Os testes abortados e as execuções de teste podem ser visualizados ao lado das execuções concluídas na guia Testes .

Ver testes interrompidos.

Nota

O recurso está atualmente disponível para compilação e versão, usando a tarefa Teste do Visual Studio em um trabalho Multiagente ou publicando resultados de teste usando a(s) API(s) de Gerenciamento de Teste. Ele estará disponível para trabalhos de Agente Único em uma versão futura.

Resultados de teste inferidos automaticamente

O Azure DevOps pode inferir automaticamente a saída de testes que estão sendo executados em seus pipelines para algumas estruturas de teste com suporte. Esses relatórios de teste inferidos automaticamente não exigem nenhuma configuração específica de seus pipelines e são uma maneira sem esforço de começar a usar o Relatório de Teste.

Exemplo de um relatório de teste inferido automaticamente

Veja a lista de corredores para os quais os resultados dos testes são automaticamente inferidos.

Como apenas metadados de teste limitados estão presentes nesses relatórios inferidos, eles são limitados em recursos e capacidades. Os seguintes recursos não estão disponíveis para relatórios de teste inferidos:

  • Agrupar os resultados do teste por arquivo de teste, proprietário, prioridade e outros campos
  • Pesquisar e filtrar os resultados do teste
  • Verifique os detalhes dos testes aprovados
  • Visualize todos os anexos gerados durante os testes dentro da própria interface do usuário da Web
  • Associe uma falha de teste a um novo bug ou veja a lista de itens de trabalho associados para essa falha
  • Veja a análise build-on-build para testes em Pipelines

Nota

Alguns corredores, como o Mocha, têm vários repórteres de console integrados, como matriz de pontos e barra de progresso. Se você configurou uma saída de console não padrão para seu executor de teste ou está usando um repórter personalizado, o Azure DevOps não poderá inferir os resultados do teste. Ele só pode inferir os resultados do relator padrão .

Ajuda e suporte