Rever os resultados dos testes

Azure DevOps Services | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018

Os testes automatizados podem ser configurados para serem executados como parte de uma construção ou libertação para várias línguas. Os relatórios de ensaio fornecem uma forma eficaz e consistente de visualizar os resultados dos testes executados utilizando diferentes quadros de ensaio, a fim de medir a qualidade do gasoduto, rever a rastreabilidade, falhas na resolução de problemas e impulsionar a propriedade da falha. Além disso, fornece muitas capacidades avançadas de reporte exploradas nas seguintes secções.

Também pode efetuar uma análise mais profunda dos resultados dos testes utilizando o Serviço de Analytics. Para um exemplo de utilização deste tipo com a sua construção e implantação de gasodutos, consulte os resultados dos testes de análise.

Leia o glossário para entender a terminologia do relatório de teste.

Nota

O relatório de teste está disponível em TFS 2015 ou acima, no entanto a nova experiência descrita neste tópico está atualmente disponível apenas em Azure Pipelines.

Nota

No Microsoft Team Foundation Server (TFS) 2018 e nas versões anteriores, os oleodutos de construção e libertação são chamados definições, as corridas são chamadas de construções, as ligações de serviço são chamadas pontos finais de serviço, as fases são chamadas de ambientes, e os empregos são chamados de fases.

Os resultados dos testes publicados podem ser vistos no separador Testes num resumo de construção ou lançamento.

Resultados dos testes de superfície no separador Testes

Os resultados dos testes podem ser surgidos no separador Testes utilizando uma das seguintes opções:

  • Inferiu automaticamente os resultados dos testes. Por predefinição, o seu pipeline pode inferir automaticamente a saída de teste para alguns corredores de teste populares. Isto é feito através da análise dos registos de erro gerados durante a operação de construção e, em seguida, verificando se há assinaturas de falhas de teste. Atualmente, a Azure DevOps suporta os seguintes idiomas e corredores de teste para inferir automaticamente os resultados do teste:

  • Teste as tarefas de execução. Tarefas de execução de teste incorporadas, como o Visual Studio Test , que publicam automaticamente os resultados dos testes no pipeline, ou outras como Ant, Maven, Gulp, Grunt e Xcode que fornecem esta capacidade como opção dentro da tarefa.

  • Publique a tarefa resultados dos testes. Tarefa que publica os resultados dos testes para Azure Pipelines ou TFS quando os testes são executados usando a sua escolha de corredor, e os resultados estão disponíveis em qualquer um dos formatos de resultados de teste suportados.

  • API(s). Resultados dos testes publicados diretamente utilizando a API de Gestão de Testes.

Informações de teste de superfície para além do separador Testes

O separador Testes fornece um resumo detalhado da execução do teste. Isto é útil para rastrear a qualidade do gasoduto, bem como para falhas na resolução de problemas. A Azure DevOps também fornece outras formas de testar as informações do teste:

Ver os resultados dos testes na construção

O resumo da construção proporciona uma visão da linha do tempo dos passos-chave executados na construção. Se os testes foram executados e reportados como parte da construção, um marco de teste aparece na visão da linha do tempo. O marco do teste fornece um resumo dos resultados dos testes como medida da percentagem de passe , juntamente com indicadores para falhas e abortos se estes existirem.

View test in build timeline view

Ver os resultados dos testes em versão

Na vista do gasoduto pode ver todas as etapas e testes associados. A opinião fornece um resumo dos resultados dos testes como medida da percentagem de passes , juntamente com indicadores para falhas e abortos se estes existirem. Estes indicadores são os mesmos que na visão da linha do tempo de construção, proporcionando uma experiência consistente entre construção e libertação.

View test in release canvas view

Separador de testes

Tanto os resumos de construção como de lançamento fornecem detalhes da execução do teste. Escolha o resumo do Teste para ver os detalhes no separador Testes . Esta página tem as seguintes secções

  • Resumo: fornece métricas quantitativas fundamentais para a execução do teste, tais como a contagem total de testes, testes falhados, percentagem de passe e muito mais. Fornece também indicadores diferenciais de mudança em comparação com a execução anterior.

  • Resultados: lista todos os testes executados e comunicados como parte da construção ou libertação atual. A visão padrão mostra apenas os testes falhados e abortados para se concentrar em testes que requerem atenção. No entanto, pode escolher outros resultados utilizando os filtros fornecidos.

  • Detalhes: Uma lista de testes que pode ordenar, agrupar, pesquisar e filtrar para encontrar os resultados dos testes de que necessita.

View tests tab

Selecione qualquer teste ou resultado para visualizar o painel de detalhes que exibe informações adicionais necessárias para a resolução de problemas, tais como a mensagem de erro, traços de pilha, anexos, itens de trabalho, tendência histórica, e muito mais.

View details tab

Dica

Se utilizar a tarefa de Teste do Estúdio Visual para executar testes, a saída de diagnóstico registada a partir de testes (utilizando qualquer um dos métodos Console.WriteLine, Trace.WriteLine ou TestContext.WriteLine), aparecerá como um anexo para um teste falhado.

As seguintes capacidades do separador Testes ajudam a melhorar a produtividade e a experiência de resolução de problemas.

Filtrar os grandes resultados dos testes

Com o tempo, os testes acumulam-se e, para grandes aplicações, podem facilmente crescer para dezenas de milhares de testes. Para estas aplicações com muitos testes, pode ser difícil navegar através dos resultados para identificar falhas de teste, associar causas de raiz ou obter a propriedade de problemas. Os filtros facilitam a navegação rápida para os resultados dos testes do seu interesse. Pode filtrar o Nome do Teste, O Resultado (falhado, passado e muito mais), Ficheiros de Teste (ficheiros que realizam testes) e Proprietário (para ficheiros de teste). Todos os critérios do filtro são de natureza cumulativa.

Filter large test result set

Além disso, com várias opções de agrupamento , tais como teste, ficheiro de teste, prioridade, requisito, e muito mais, pode organizar a vista de Resultados exatamente como você precisa.

Testar a gestão da dívida com bugs

Para gerir a sua dívida de teste para testes falhados ou de execução prolongada, pode criar um bug ou adicionar dados ao bug existente e todos ver todos os itens de trabalho associados no separador de produto de trabalho.

Experiência imersiva de resolução de problemas

As mensagens de erro e os vestígios de pilha são longos na natureza e precisam de imóveis suficientes para ver os detalhes durante a resolução de problemas. Para proporcionar uma experiência imersiva de resolução de problemas, a visão Detalhes pode ser expandida para a vista de página completa, enquanto ainda pode executar as operações necessárias em contexto, como criação de bugs ou associação de requisitos para o resultado do teste selecionado.

Full page panel view

Dados de resolução de problemas para falha de teste

Para as falhas de teste, as mensagens de erro e os vestígios de pilha estão disponíveis para a resolução de problemas. Também pode ver todos os anexos associados à falha de teste no separador Anexos .

Testar a gestão da dívida

Pode criar ou adicionar a um bug existente para gerir a dívida de teste para falhas ou testes de execução prolongada. O separador Itens de Trabalho detalha todos os bugs e requisitos associados a um Teste para o ajudar a analisar o impacto da exigência, bem saber o estado e quem está a trabalhar no bug.

A história da execução dos testes pode fornecer insights significativos sobre a fiabilidade ou desempenho dos testes. Ao resolver problemas com uma falha, é valioso saber como um teste foi realizado no passado. O separador Testes fornece o histórico do teste em contexto com os resultados dos testes. A informação sobre o histórico de ensaios é exposta de forma progressiva, começando pelo atual gasoduto de construção a outros ramos, ou a fase atual para outras fases, para construção e libertação, respectivamente.

View historical trends

Ver execução de testes em curso

Os testes, como a integração e os testes funcionais, podem decorrer durante muito tempo. Por conseguinte, é importante ver o estado atual ou quase em tempo real da execução dos testes a qualquer momento. Mesmo para os casos em que os testes são executados rapidamente, é útil saber o estado dos resultados do teste relevante o mais cedo possível; especialmente quando ocorrem falhas. A visão em curso elimina a necessidade de esperar que a execução do teste termine. Os resultados estão disponíveis em quase tempo real à medida que a execução progride, ajudando-o a tomar medidas mais rapidamente. Pode depurar uma falha, arquivar um erro ou abortar o oleoduto.

In progress release view

Nota

A funcionalidade está atualmente disponível para construção e lançamento, utilizando Visual Studio tarefa de Teste num trabalho de Multi Agent. Estará disponível para trabalhos de agente único numa futura versão.

A opinião a seguir mostra o resumo do ensaio em curso num comunicado, reportando a contagem total de testes e o número de falhas de teste num dado momento. As falhas de teste estão disponíveis para resolução de problemas, criação de bugs ou para tomar quaisquer outras medidas apropriadas.

In progress summary view

Ver resultados de teste sumários

Durante a execução do teste, um teste pode desovar múltiplas instâncias ou testes que contribuam para o resultado geral. Alguns exemplos são, testes que são re-realizados, testes compostos por uma combinação ordenada de outros testes (testes ordenados) ou testes com diferentes instâncias com base num parâmetro de entrada (testes orientados por dados).

Dado que estes testes estão relacionados, devem ser comunicados juntamente com os resultados globais derivados dos casos ou testes individuais. Estes resultados dos testes são reportados como um resultado de teste resumido no separador Testes :

  • Rerun testes falhados: A capacidade de repetir testes falhados está disponível na versão mais recente da tarefa Visual Studio Teste. Durante uma repetição, podem ser feitas múltiplas tentativas para um teste falhado, e cada falha pode ter uma causa de raiz diferente devido ao comportamento não determinístico do teste. Os relatórios de teste fornecem uma visão combinada para todas as tentativas de repetição, juntamente com o resultado geral do teste como uma unidade resumida. Adicionalmente, as API de Gestão de Testes suportam agora a capacidade de publicar e consultar os resultados dos testes resumidos.

    Rerun failed tests

  • Testes orientados por dados: À semelhança da repetição dos testes falhados, todas as iterações de testes orientados por dados são reportadas ao abrigo desse teste numa visão resumida. A vista resumida também está disponível para testes encomendados (.otest ordenado em Visual Studio).

    Data driven test

Nota

As métricas na secção de resumo do ensaio, tais como o número total de testes, passados, falhados ou outros são calculados utilizando o nível de raiz do resultado do teste resumido.

Ver testes abortados

A execução do teste pode abortar devido a várias razões, tais como código de teste mau, erros na fonte em teste ou questões ambientais. Independentemente da razão do aborto, é importante ser capaz de diagnosticar o comportamento e identificar a causa principal. Os testes e testes abortados podem ser vistos juntamente com as execuções completas no separador Testes .

View stopped tests.

Nota

A funcionalidade está atualmente disponível tanto para a construção como para a libertação, utilizando a tarefa de Teste de Visual Studio numa função multi-agente ou com os resultados dos testes de publicação utilizando a API de Gestão de Testes. Estará disponível para trabalhos de agente único numa futura versão.

Resultados dos testes inferidos automaticamente

O Azure DevOps pode inferir automaticamente a saída de testes que estão a ser realizados nos seus oleodutos para algumas estruturas de teste suportadas. Estes relatórios de teste inferidos automaticamente não requerem uma configuração específica dos seus oleodutos, e são uma forma de esforço zero para começar a usar o Relatório de Teste.

Example of an Automatically Inferred Test Report

Consulte a lista de corredores para os quais os resultados dos testes são automaticamente inferidos.

Como apenas os metadados de teste limitados estão presentes nesses relatórios inferidos, são limitados em funcionalidades e capacidades. As seguintes funcionalidades não estão disponíveis para relatórios de teste inferidos:

  • Agrupe os resultados do teste por ficheiro de teste, proprietário, prioridade e outros campos
  • Pesquisar e filtrar os resultados dos testes
  • Verifique os detalhes dos testes aprovados
  • Pré-visualizar quaisquer anexos gerados durante os testes dentro da própria UI web
  • Associar uma falha de teste com um novo bug, ou ver a lista de itens de trabalho associados para esta falha
  • Ver análises de construção em construção para testes em Pipelines

Nota

Alguns corredores como Mocha têm vários repórteres de consola incorporados, como a matriz de pontos e a barra de progresso. Se tiver configurado uma saída de consola não padrão para o seu test runner, ou estiver a utilizar um repórter personalizado, o Azure DevOps não será capaz de inferir os resultados dos testes. Só pode inferir os resultados do repórter padrão .

Ajuda e suporte