O que é Azure Test Plans?
Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019
Azure Test Plans fornece ferramentas avançadas e avançadas que todos na equipe podem usar para impulsionar a qualidade e a colaboração em todo o processo de desenvolvimento. A solução de gerenciamento de teste fácil de usar e baseada em navegador fornece todos os recursos necessários para testes manuais planejados, testes de aceitação do usuário, testes exploratórios e coleta de comentários dos stakeholders.
Observação
Este artigo se aplica a Azure DevOps Services e Azure DevOps Server 2020 e versões posteriores. A maioria das informações é válida para versões locais anteriores, no entanto, as imagens mostram apenas exemplos para a versão mais recente. Além disso, a interface do usuário mudou significativamente com a versão do Azure DevOps Server 2020. Para obter uma visão geral da nova interface e dos recursos com suporte, consulte Navegar Test Plans.
Como Azure Test Plans funciona?
Por meio de uma combinação de ferramentas baseadas em navegador — planos de teste, relatório de progresso, parâmetros, configurações, execuções e ferramentas de teste— e recursos de integração do DevOps, Azure Test Plans dá suporte aos seguintes objetivos de teste:
Teste manual e exploratório: teste manual e exploratório que inclui as seguintes atividades de teste:
- Teste manual planejado. Teste manual organizando testes em planos de teste e conjuntos de testes por testadores designados e potenciais de teste.
- Teste de aceitação do usuário. Os testes realizados pelos testadores de aceitação do usuário designados para verificar o valor entregue atendem aos requisitos do cliente, enquanto reutilizam os artefatos de teste criados pelas equipes de engenharia.
- Teste exploratório. Testes realizados por equipes de desenvolvimento, incluindo desenvolvedores, testadores, equipes de UX, proprietários de produtos e muito mais, explorando os sistemas de software sem usar planos de teste ou conjuntos de testes.
- Comentários dos participantes. Testes realizados por stakeholders fora da equipe de desenvolvimento, como usuários de divisões de marketing e vendas.
Teste automatizado: Azure Test Plans é totalmente integrado ao Azure Pipelines para dar suporte a testes em CI/CD (integração contínua/implantação contínua). Planos de teste e casos de teste podem ser associados a pipelines de build ou lançamento. Tarefas de pipeline podem ser adicionadas a definições de pipeline para capturar e publicar resultados de teste. Os resultados do teste podem ser revisados por meio de relatórios internos em andamento e relatórios de teste de pipeline.
Rastreabilidade: os casos de teste e os conjuntos de testes vinculados a histórias, recursos ou requisitos do usuário dão suporte à rastreabilidade de ponta a ponta. Testes e defeitos são automaticamente vinculados aos requisitos e compilações que estão sendo testados, o que também ajuda a acompanhar a qualidade dos requisitos. Os usuários podem adicionar e executar testes do quadro Kanban ou, para equipes maiores, usar o hub de planos de teste para definir planos de teste e conjuntos de testes. Os resultados do pipeline e o widget Requisitos fornecem um meio de acompanhar o teste de requisitos.
Relatório e análise: o acompanhamento de resultados de teste e o monitoramento de progresso têm suporte por meio de gráficos de acompanhamento configuráveis, widgets específicos de teste que você pode adicionar aos painéis e relatórios internos, como relatório de progresso, relatórios de resultados de teste de pipeline e o serviço análise.
Observação
Teste de carga e desempenho: enquanto o serviço de teste de carga baseado em nuvem do Azure DevOps está preterido, o Teste de Carga do Azure está disponível. O Teste de Carga do Azure é um serviço de teste de carga totalmente gerenciado que permite usar scripts Apache JMeter existentes para gerar carga de alta escala. Para saber mais, confira O que é o Teste de Carga do Azure?. Para obter mais informações sobre a substituição do teste de carga do Azure DevOps, consulte Alterações na funcionalidade de teste de carga no Visual Studio e teste de carga de nuvem no Azure DevOps.
Principais benefícios
Azure Test Plans fornece às equipes de desenvolvimento de software os seguintes benefícios.
Teste em qualquer plataforma: com o portal da Web Test Plans, você pode usar qualquer navegador com suporte para acessar todos os recursos de teste manual. Ele permite que você crie e execute testes manuais por meio de uma interface fácil de usar baseada em navegador que os usuários podem acessar de todos os navegadores principais em qualquer plataforma.
Coleta de dados de diagnóstico avançada: usando o Test Runner baseado na Web e o cliente do Test Runner, você pode coletar dados de diagnóstico avançados durante seus testes manuais. Isso inclui capturas de tela, um log de ação de imagem, gravações de tela, cobertura de código, rastreamentos do IntelliTrace e dados de impacto de teste para seus aplicativos em teste. Esses dados são incluídos automaticamente em todos os bugs criados durante o teste, facilitando a reprodução dos problemas pelos desenvolvedores.
Rastreabilidade de ponta a ponta: o Azure DevOps fornece rastreabilidade de ponta a ponta de seus requisitos, compilações, testes e bugs com a vinculação de itens de trabalho a outros objetos. Os usuários podem acompanhar a qualidade dos requisitos dos cartões no quadro Kanban. Os bugs criados durante o teste são automaticamente vinculados aos requisitos e compilações que estão sendo testados, o que ajuda você a acompanhar a qualidade dos requisitos ou builds.
Análise integrada: o serviço de Análise fornece dados que alimentam relatórios internos, widgets configuráveis dashboard e relatórios personalizáveis usando o Power BI. Os dados acompanham o progresso e as tendências do plano de teste para testes manuais e automatizados. A análise de teste fornece visibilidade quase em tempo real dos dados de teste para builds e versões. As equipes podem agir sobre esses dados para melhorar a garantia de teste para ajudar a manter pipelines íntegros.
Plataforma extensível. Você pode combinar as ferramentas e as tecnologias que já conhece com as ferramentas de desenvolvimento que funcionam melhor para você se integrar e estender o Azure DevOps. Use as APIs REST e o modelo de contribuição disponíveis para a plataforma de teste para criar extensões que forneçam a experiência necessária para o ciclo de vida de gerenciamento de teste.
Cenários com suporte e requisitos de acesso
O acesso aos recursos do portal da Web do Azure DevOps é gerenciado por meio dos níveis de acesso atribuídos aos usuários. Os três níveis de acesso main são planos Stakeholder, Basic e Basic+Test, conforme descrito em Sobre os níveis de acesso. A tabela a seguir indica o nível de acesso necessário para exercer as tarefas associadas com Azure Test Plans. Além dos níveis de acesso, selecione recursos que exigem permissões para execução. Para saber mais, confira Acesso e permissões de teste manual.
Cenário e tarefas
Stakeholder
Basic
Básico +Test Plans
Planejamento de teste
- Criar planos de teste e conjuntos de testes
- Gerenciar configurações de execução do plano de teste
- Gerenciar configurações
✔️
Execução de teste
- Executar testes em qualquer plataforma (Windows, Linux, Mac) com o Test Runner
✔️
✔️
Executar testes exploratórios com a extensão Test & Feedback
✔️
✔️
✔️
Analisar e examinar testes
- Criar gráficos com vários pivôs, como prioridade, configuração etc., para acompanhar o progresso do teste
- Procurar resultados de teste
- Exportar planos de teste e conjuntos de testes para revisão
- Teste de aceitação do usuário – Atribuir testes e convidar por email
✔️
✔️
Teste manual e exploratório
Para dar suporte a testes manuais e exploratórios, Azure Test Plans usa tipos de item de trabalho específicos de teste para planejar e criar testes. Além disso, ele fornece duas ferramentas de teste para dar suporte à execução de testes. Os planos de teste, parâmetros e hubs de configurações fornecem as ferramentas para criar e gerenciar com eficiência itens de teste, suas configurações e configurações. Os conjuntos de testes podem ser dinâmicos, conjuntos baseados em requisitos e pacotes baseados em consulta, para ajudá-lo a entender a qualidade dos requisitos associados em desenvolvimento ou estáticos para ajudá-lo a cobrir testes de regressão.
Tipos de item de trabalho específicos do teste
Os tipos de item de trabalho — Test Plans, Conjuntos de Testes, Casos de Teste, Etapas Compartilhadas e Parâmetros Compartilhados — dão suporte a vários links explícitos para dar suporte a requisitos de acompanhamento e compartilhamento de etapas de teste e dados em muitos casos de teste. Os casos de teste podem ser atribuídos como manuais ou automatizados. Para obter uma descrição de cada um desses itens de teste, consulte Testar objetos e termos.
Observação
Com Azure DevOps Server 2020 e versões posteriores, você pode executar testes automatizados adicionando tarefas de teste a pipelines. A definição de planos de teste, casos de teste e conjuntos de testes não é necessária quando tarefas de teste são usadas.
Definir planos de teste e conjuntos de testes
Você cria e gerencia planos de teste e conjuntos de testes no hub de planos de teste . Adicione um ou mais conjuntos de testes, estáticos, baseados em requisitos ou baseados em consulta, aos planos de teste. Exporte e compartilhe planos de teste e conjuntos de testes com suas equipes. Para saber como, confira Criar planos de teste e conjuntos de testes e Copiar ou clonar planos de teste, conjuntos de testes e casos de teste.
Criar testes usando casos de teste
Você define casos de teste manuais definindo as etapas de teste e, opcionalmente, os dados de teste a serem referenciados. Os conjuntos de testes consistem em um ou mais casos de teste. Você pode compartilhar casos de teste em conjuntos de testes. A exibição Grade para definir casos de teste dá suporte a operações de cópia, colagem, inserção e exclusão. Atribua rapidamente um ou vários testadores para executar testes. Exibir resultados de teste e referências a um caso de teste em conjuntos de testes. Para saber como, confira Criar casos de teste.
Em cada caso de teste, você especifica um conjunto de etapas de teste com os resultados esperados. Opcionalmente, você pode adicionar etapas compartilhadas ou parâmetros compartilhados. Para rastreabilidade, vincule casos de teste às histórias, recursos ou bugs do usuário que eles testam.
Gerenciar parâmetros compartilhados
As equipes usam o hub Parâmetros para definir e gerenciar parâmetros compartilhados entre casos de teste. Os parâmetros compartilhados dão suporte para testes manuais repetidos várias vezes com dados de teste diferentes. Por exemplo, se os usuários puderem adicionar quantidades diferentes de um produto a um carrinho de compras e você quer verificar se a quantidade de 200 funciona tão bem quanto a quantidade de 1.
Gerenciar configurações e variáveis de teste
Com o hub Configurações, as equipes podem definir, revisar e gerenciar configurações de teste e variáveis referenciadas por planos de teste. As configurações de teste dão suporte para testar seus aplicativos em diferentes sistemas operacionais, navegadores da Web e versões. Assim como acontece com parâmetros compartilhados, as configurações de teste podem ser compartilhadas em vários planos de teste.
Testar ferramentas de execução e teste
Com as ferramentas a seguir, desenvolvedores, testadores e stakeholders podem iniciar testes e capturar dados avançados à medida que executam testes e registram automaticamente defeitos de código vinculados aos testes. Teste seu aplicativo executando testes em aplicativos Web ou desktop.
- Test Runner: uma ferramenta baseada em navegador para testar aplicativos Web e uma versão do cliente da área de trabalho para testar aplicativos da área de trabalho que você inicia no hub de planos de teste para executar testes manuais. O Test Runner dá suporte à coleta de dados avançada ao executar testes, como log de ação de imagem, gravação de vídeo, cobertura de código etc. Ele também permite que os usuários criem bugs e marquem o status de testes.
- Extensão Test & Feedback: uma extensão gratuita para suportar testes exploratórios que você acessa a partir dos navegadores Chrome, Edge ou Firefox. A extensão captura interações com o aplicativo sendo explorado por meio de imagens ou vídeo e inserindo comentários verbais ou escritos por tipo. As informações são capturadas no tipo de item de trabalho Resposta de Feedback para ajudar a acompanhar os dados de resposta.
Capacidade de execução de teste
Você pode executar as tarefas a seguir usando as ferramentas indicadas.
| Tarefa | Hub de planos de teste | Test Runner | Testar a extensão de Comentários & |
|---|---|---|---|
| Testes de marca em massa | ✔️ | ||
| Passar ou falhar em testes ou etapas de teste | ✔️ | ✔️ | |
| Alterações embutidas em testes durante a execução | ✔️ | ✔️ | |
| Pausar e retomar testes | ✔️ | ✔️ | |
| Bugs de arquivo durante a execução do teste | ✔️ | ✔️ | |
| Capturar capturas de tela, log de ação de imagem e gravação de tela durante a execução do teste | ✔️ | ✔️ | |
| Atualizar bugs existentes durante a execução do teste | ✔️ | ✔️ | |
| Verificar bugs | ✔️ | ✔️ | |
| Atribuir um build para a execução de teste | ✔️ | ||
| Atribuir configurações de teste | ✔️ | ||
| Examinar execuções de teste | ✔️ |
Executar testes
No hub Planos de teste , guia Executar , os membros da equipe podem iniciar a execução de teste para um ou mais casos de teste definidos para um conjunto de testes. As opções incluem a execução do Test Runner para um aplicativo Web ou desktop. Opcionalmente, os membros da equipe podem selecionar Executar com opções para escolher outros clientes com suporte para teste manual ou selecionar um build para teste automatizado. Para saber mais, confira Executar testes manuais.
Test Runner
O Test Runner executa testes para seus aplicativos Web e desktop. Marque as etapas de teste e os resultados de teste como aprovados ou reprovados e colete dados de diagnóstico, como informações do sistema, logs de ação de imagem, gravações de tela e capturas de tela ao testar. Os bugs arquivados durante os testes incluem automaticamente todos os dados de diagnóstico capturados para ajudar os desenvolvedores a reproduzir os problemas. Para saber mais, confira Executar testes para aplicativos Web e Executar testes para aplicativos da área de trabalho.
!
Teste de aceitação do usuário
O teste de aceitação do usuário (UAT) ajuda a garantir que as equipes entreguem o valor solicitado pelos clientes. Você pode criar planos e pacotes de teste UAT, convidar vários testadores para executar esses testes e monitorar o progresso e os resultados do teste usando gráficos leves. Para saber como, confira Teste de aceitação do usuário.
Testes exploratórios com a extensão Test & Feedback
A extensão Test & Feedback é uma extensão simples baseada em navegador que você pode usar para testar aplicativos Web a qualquer hora e em qualquer lugar, e é simples o suficiente para todos na equipe usarem. Isso ajuda a melhorar a produtividade, permitindo que você gaste mais tempo encontrando problemas e menos tempo arquivando-os.
Comentários dos participantes
Buscar comentários de stakeholders fora da equipe de desenvolvimento, como equipes de marketing e vendas, é vital para desenvolver software de boa qualidade. Os desenvolvedores podem solicitar comentários sobre suas histórias e recursos de usuário. As partes interessadas podem responder a solicitações de feedback usando a extensão Test & Feedback baseada em navegador - não apenas para classificar e enviar comentários, mas também capturando dados de diagnóstico avançados e arquivando bugs e tarefas diretamente. Confira mais em Solicitar comentários dos stakeholders e Fornecer comentários dos stakeholders.
Teste automatizado
O teste automatizado é facilitado executando testes no Azure Pipelines. A análise de teste fornece visibilidade quase em tempo real dos dados de teste para builds e versões. Ele ajuda a melhorar a eficiência do pipeline identificando problemas repetitivos de qualidade de alto impacto.
Azure Test Plans dá suporte a testes automatizados das seguintes maneiras:
Associar planos de teste ou casos de teste a pipelines de build ou lançamento
Especifique tarefas de habilitação de teste em uma definição de pipeline. O Azure Pipelines fornece várias tarefas, incluindo as listadas abaixo, que dão suporte a uma experiência abrangente de análise e relatórios de teste.
- Tarefa Publicar Resultados do Teste: use para publicar resultados de teste no Azure Pipelines.
- Tarefa de teste do Visual Studio: use para executar testes funcionais e de unidade (Selenium, Appium, teste de interface do usuário codificado e muito mais) usando o Executor de Teste do Visual Studio.
- Tarefa da CLI do .NET Core: use para criar, testar, empacotar ou publicar um aplicativo dotnet.
Para tarefas adicionais, consulte Tarefa Publicar Resultados do Teste
Forneça relatórios internos e widgets dashboard configuráveis para exibir resultados de testes de pipeline.
Colete os resultados do teste e os dados de teste associados no serviço de Análise.
Rastreabilidade
Azure Test Plans dá suporte à vinculação de bugs e requisitos para casos de teste e conjuntos de testes. Além disso, o portal da Web a seguir, as ferramentas relacionadas ao teste dão suporte à rastreabilidade:
- Exibir itens vinculados a um caso de teste: exiba os planos de teste, os conjuntos de testes, os requisitos e os bugs aos quais um caso de teste se vincula.
- Adicionar e executar testes do quadro Kanban: um recurso Azure Boards que dá suporte à definição de casos de teste das histórias, recursos ou bugs do usuário do quadro Kanban. Além disso, você pode iniciar o Test Runner ou a extensão Test & Feedback para executar testes ou executar testes exploratórios.
- Widget de qualidade de requisitos: widget configurável usado para acompanhar a qualidade continuamente de um pipeline de build ou lançamento. O widget mostra o mapeamento entre um requisito e os resultados de teste mais recentes executados em relação a esse requisito. Ele fornece insights sobre a rastreabilidade de requisitos. Por exemplo, os requisitos não atendem à qualidade, aos requisitos não testados e assim por diante.
Exibir itens vinculados a um caso de teste
No hub De planos de teste, você pode exibir e abrir os conjuntos de testes, os requisitos e os bugs vinculados a um caso de teste. A guia Conjuntos de Testes também indica os planos de teste e os projetos que fazem referência ao caso de teste. A guia Requisitos lista itens de trabalho vinculados ao caso de teste que pertencem à categoria de requisitos. Além disso, você pode criar uma consulta de links diretos que lista itens que vinculam a casos de teste por meio do tipo de link Testes/Testados. Para saber mais, confira Criar casos de teste e Usar links diretos para exibir dependências.
Adicionar e executar testes no quadro Kanban
No Azure Boards quadros Kanban, você pode adicionar testes de uma história ou recurso de usuário, vinculando automaticamente o caso de teste à história ou recurso do usuário. Você pode exibir, executar e interagir com casos de teste diretamente do quadro Kanban e monitorar progressivamente status diretamente do cartão. Saiba mais em Adicionar, executar e atualizar testes embutidos.
Widget de qualidade de requisitos
O widget de qualidade Requisitos exibe uma lista de todos os requisitos no escopo, juntamente com a Taxa de Aprovação para os testes e a contagem de testes com falha . A seleção de uma contagem de testes com falha abre a guia Testes para o build ou a versão selecionado. O widget também ajuda a acompanhar os requisitos sem nenhum teste associado. Para saber mais, confira Rastreabilidade de requisitos.
Relatórios e análise
Para dar suporte a relatórios e análises, Azure Test Plans dá suporte a gráficos de rastreamento de teste, um hub de execuções de teste, vários relatórios de teste de pipeline internos, widgets dashboard e dados de teste armazenados no serviço de Análise.
- Gráficos de teste configuráveis: você pode obter informações sobre a atividade de criação e execução do plano de teste criando gráficos de rastreamento de teste.
- Relatório de progresso: acompanhe o progresso de um ou planos de teste ou conjuntos de testes.
- Execuções de teste: examine os resultados das execuções de teste manuais e automatizadas.
- Widgets de painel: widgets configuráveis que exibem resultados de teste com base em builds ou versões selecionadas. Os widgets incluem o widget Deployment status e o widget Tendência de Resultados de Teste (Avançado).
- Análise de Teste: obtenha insights detalhados de relatórios de pipeline internos ou crie relatórios personalizados consultando o serviço de Análise.
Gráficos de teste configuráveis
Configure rapidamente gráficos leves para acompanhar os resultados manuais de teste usando os tipos de gráfico de sua escolha e fixe os gráficos em seu dashboard para analisar facilmente esses resultados. Escolha uma política de retenção para controlar por quanto tempo os resultados do teste manual são mantidos. Veja mais em Rastrear status de teste.
Relatórios de progresso
Com o hub de relatório Progresso , as equipes podem acompanhar o progresso de mais de um plano de teste ou pacote de testes. Este relatório ajuda a responder às seguintes perguntas:
- Quantos testes foram concluídos?
- Quantos testes foram aprovados, falharam ou foram bloqueados?
- É provável que o teste seja concluído a tempo?
- Qual é a taxa diária de execução?
- Quais áreas de teste precisam de atenção?
Execuções de teste
O hub De execuções exibe os resultados das execuções de teste. Isso inclui todas as execuções de teste, manual e automatizada.
Observação
O hub De execuções está disponível com Azure DevOps Server 2020 e versões posteriores. Ele requer a habilitação do serviço de Análise que é usado para armazenar e gerenciar dados de execução de teste. Para saber mais sobre o serviço, confira O que é o serviço de Análise?
Escolha qualquer execução específica para exibir um resumo da execução do teste.
Status da Implantação
O widget configurável do widget deployment status mostra uma exibição combinada do status de implantação e da taxa de aprovação de teste em vários ambientes para um conjunto recente de builds. Configure o widget especificando um pipeline de build, um branch e pipelines de lançamento vinculados. Para exibir o resumo do teste em vários ambientes em uma versão, o widget fornece uma exibição de matriz de cada ambiente e taxa de aprovação de teste correspondente.
Passe o mouse sobre qualquer resumo de build e você pode exibir mais detalhes, especificamente o número de testes passados e com falha.
Tendência de resultados do teste (Avançado)
O widget Tendência de Resultados de Teste (Avançado) fornece visibilidade quase em tempo real dos dados de teste para vários builds e versões. O widget mostra uma tendência dos resultados do teste para pipelines selecionados. Você pode usá-lo para acompanhar a contagem diária de teste, taxa de aprovação e duração do teste. Acompanhar a qualidade do teste ao longo do tempo e melhorar a garantia de teste é fundamental para manter um pipeline de DevOps íntegro. O widget dá suporte ao acompanhamento de métricas avançadas para um ou mais pipelines de build ou pipelines de lançamento. O widget também permite a filtragem de resultados de teste por resultado, métricas de empilhamento e muito mais. Para saber mais, confira Configurar o widget Tendência de Resultados de Teste (Avançado).
Análise de Teste
Os testes internos e widgets com suporte para teste derivam seus dados do serviço de Análise. O serviço analytics é a plataforma de relatórios do Azure DevOps. Os dados do Test Analytics estão disponíveis para Azure DevOps Server 2019 e versões posteriores. Ele dá suporte à guia Análise e Testes e relatórios detalhados disponíveis no hub pipelines . O relatório de análise de falha de teste fornece um resumo dos testes aprovados e com falha. Para saber mais, confira Análise de Teste.
Além disso, você pode criar relatórios personalizados consultando o serviço de Análise. Para saber mais, confira Visão geral de relatórios de exemplo usando consultas OData.
Próximas etapas
Artigos relacionados
- Navegar Test Plans
- Copiar ou clonar planos de teste, conjuntos de testes e casos de teste
- Associar testes automatizados a casos de teste
- Sobre a solicitação e o fornecimento de comentários
- Visão geral da integração entre serviços e colaboração
- Sobre testes de pipeline
Recursos adicionais
Comentários
Em breve: Ao longo de 2024, eliminaremos os problemas do GitHub como o mecanismo de comentários para conteúdo e o substituiremos por um novo sistema de comentários. Para obter mais informações, consulte https://aka.ms/ContentUserFeedback.
Enviar e exibir comentários de