Gerenciar testes de regressão

Azure DevOps Services

A produtividade dos desenvolvedores depende da capacidade dos testes de encontrar problemas reais com o código em desenvolvimento ou atualizá-lo de maneira oportuna e confiável. Testes de regressão apresentam uma barreira para encontrar problemas reais, já que as falhas geralmente não estão relacionadas às mudanças que estão sendo testadas. Um teste de regressão fornece resultados diferentes, como aprovação ou reprovação, mesmo quando não há alterações no código-fonte ou no ambiente de execução. Testes de regressão também afetam a qualidade do código enviado.

Observação

Esse recurso só está disponível no Azure DevOps Services. Normalmente, os novos recursos são introduzidos primeiro no serviço de nuvem e disponibilizados localmente na próxima versão principal ou atualização do Azure DevOps Server. Para saber mais, confira Linha do tempo do recurso do Azure DevOps.

O objetivo de trazer o gerenciamento de testes de regressão para o produto é reduzir problemas para o desenvolvedor causados por testes inconsistentes e atender a todo o fluxo de trabalho. O gerenciamento de testes de regressão oferece os seguintes benefícios.

• Detecção – detecção automática de teste de regressão com nova execução ou extensibilidade para conectar seu método de detecção personalizado

• Gerenciamento de problemas – depois que um teste é marcado como de regressão, os dados são disponibilizados para todos os pipelines desse branch

• Relatar testes esfarrapado – capacidade de escolher se você deseja evitar falhas de build causadas por testes de regressão ou usar a marcação de regressão somente para solução de problemas

• Resolução – criação manual de bug ou teste manual de marcação e desmarcação como de regressão com base em sua análise

• Fechar o loop – redefinir o teste de regressão como resultado da resolução de bugs/entrada manual

Habilitar o gerenciamento de testes de regressão

Para configurar o gerenciamento de teste, escolha Configurações do projeto e selecione Gerenciamento de teste na seção Pipelines .

Deslize o botão Ativar/Desativar para Ativado.

A configuração padrão para todos os projetos é usar testes de regressão para solução de problemas.

Detecção de teste de regressão

O gerenciamento de testes de regressão dá suporte à detecção personalizada e ao sistema.

• Detecção do sistema: a detecção de regressão no produto usa dados de nova execução de teste. A detecção ocorre por meio da nova execução da tarefa VSTest da funcionalidade de testes com falha ou repetição de estágio no pipeline. Você pode selecionar pipelines específicos no projeto para o qual deseja detectar testes de regressão.

  Observação

  Depois que um teste é marcado como de regressão, os dados são disponibilizados para todos os pipelines desse branch para ajudar na solução de problemas em cada pipeline.

• Detecção personalizada: você pode integrar seu mecanismo de detecção de regressão ao Azure Pipelines e usar a funcionalidade de relatório. Com a detecção personalizada, você precisa atualizar os metadados dos resultados do teste para testes de regressão. Para obter detalhes, confira Resultados de Teste, Metadados de Resultado – Atualizar API REST.

Opções de teste de regressão

As opções de teste de regressão especificam como os testes são disponibilizados nos relatórios de teste, bem como nas funcionalidades de resolução, conforme descrito nas seções a seguir.

Gerenciamento e relatórios de teste de regressão

Na página Gerenciamento de testes em Opções de teste de regressão, você pode definir opções de como os testes são incluídos no relatório Resumo do Teste. Os dados de teste de regressão para testes aprovados e com falha estão disponíveis nos resultados do teste. A marcação de regressão ajuda você a identificar testes de regressão. Por padrão, os testes de regressão são incluídos no Resumo do Teste. No entanto, se você quiser garantir os testes não falhem no pipeline, você pode optar por não incluí-las no resumo do teste e suprimir a falha. Essa opção garante que os testes de regressão (aprovados e com falha) sejam removidos da porcentagem de aprovação e mostrados em Testes não relatados, conforme mostrado na captura de tela a seguir.

Observação

O Relatório resumo do teste é atualizado apenas para a tarefa de Teste do Visual Studio e a tarefa Publicar Resultados de Teste. Talvez seja necessário adicionar um script personalizado para suprimir falhas de teste de regressão para outros cenários.

Testes marcados como de regressão

Você pode marcar ou desmarcar um teste como de regressão com base na análise ou no contexto, escolhendo Egressão (ou Cancelar regressão, dependendo se o teste já está marcado como de regressão.)

Quando um teste é marcado como de regressão ou egressão em um pipeline, nenhuma alteração é feita no pipeline atual. Somente em futuras execuções desse teste é que a configuração de regressão alterada é avaliada. Os testes marcados como de regressão têm a sinalização Marcado como de regressão na interface do usuário.

Ajuda e suporte

• Confira nossa página de solução de problemas
• Obtenha conselhos sobre Stack Overflow e obtenha suporte por meio do Developer Community

Artigos relacionados

• Examinar resultados de teste
• Tarefa do Visual Studio Test
• Tarefa de publicação de Resultados de Teste
• Resultados de Teste, Metadados de Resultado – Atualizar API REST