Relatório de exemplo de testes com falha
Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020
Você pode criar um relatório que lista testes com falha, semelhante à imagem a seguir, para execuções de pipeline que incluem tarefas de teste. Para obter informações sobre como adicionar testes a um pipeline, consulte a seção Recursos da tarefa de teste, mais adiante neste artigo.
Use as consultas fornecidas neste artigo para gerar os seguintes relatórios:
- Testes com falha para fluxo de trabalho de compilação
- Testes com falha para o fluxo de trabalho de lançamento
- Testes com falha em uma ramificação específica
- Testes com falha para um arquivo de teste específico
- Testes com falha para um proprietário de teste específico
Importante
A integração do Power BI e o acesso ao feed OData do Serviço de Análise estão geralmente disponíveis para os Serviços de DevOps do Azure e o Servidor de DevOps do Azure 2020 e versões posteriores. As consultas de exemplo fornecidas neste artigo são válidas somente em relação ao Azure DevOps Server 2020 e versões posteriores e dependem da versão v3.0-preview ou posterior. Encorajamos você a usar essas consultas e nos fornecer comentários.
Pré-requisitos
- Para exibir dados do Analytics e consultar o serviço, você precisa ser membro de um projeto com acesso básico ou superior. Por padrão, todos os membros do projeto recebem permissões para consultar Análise e definir exibições do Analytics.
- Para saber mais sobre outros pré-requisitos relacionados à habilitação de serviço e recursos e atividades gerais de acompanhamento de dados, consulte Permissões e pré-requisitos para acessar o Analytics.
Observação
Este artigo pressupõe que você tenha lido Visão geral de relatórios de exemplo usando consultas OData e tenha uma compreensão básica do Power BI.
Consultas de exemplo
Você pode usar as seguintes consultas do conjunto de entidades para criar relatórios de teste de falha de TestResultsDaily
pipeline diferentes, mas semelhantes. O TestResultsDaily
conjunto de entidades fornece uma agregação diária de instantâneos de TestResult
execuções, agrupadas por Test.
Observação
Para determinar as propriedades disponíveis para fins de filtro ou relatório, consulte Referência de metadados para Análise de Planos de Teste e Referência de metadados para Pipelines do Azure. Você pode filtrar suas consultas ou retornar propriedades usando qualquer um dos Property
valores em um EntityType
ou NavigationPropertyBinding Path
valores disponíveis com um EntitySet
. Cada EntitySet
corresponde a um EntityType
. Para saber mais sobre o tipo de dados de cada valor, examine os metadados fornecidos para o correspondente EntityType
.
Testes com falha para um fluxo de trabalho de compilação
Use as consultas a seguir para exibir os testes com falha para um pipeline de fluxo de trabalho de compilação .
Você pode colar a consulta do Power BI listada abaixo diretamente na janela Obter Consulta em Branco de> Dados . Para obter mais informações, examine Visão geral de relatórios de exemplo usando consultas OData.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate} "
&"And Workflow eq 'Build' "
&") "
&"/groupby( "
&"(TestSK, Test/TestName), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FailedCount gt 0) "
&"/compute( "
&"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Testes com falha no fluxo de trabalho do Release
Use as consultas a seguir para exibir os testes com falha para um pipeline de fluxo de trabalho de Versão .
Você pode colar a consulta do Power BI listada abaixo diretamente na janela Obter Consulta em Branco de> Dados . Para obter mais informações, examine Visão geral de relatórios de exemplo usando consultas OData.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate}) "
&"/groupby((TestSK, Test/TestName, Workflow), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FailedCount gt 0) "
&"/compute( "
&"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Testes com falha filtrados por ramificação
Para exibir os testes com falha de um pipeline para uma ramificação específica, use as consultas a seguir. Para criar o relatório, execute as seguintes etapas extras junto com o que é especificado posteriormente neste artigo.
- Expanda
Branch
paraBranch.BranchName
- Selecione a segmentação de dados de visualização do Power BI e adicione o campo
Branch.BranchName
ao campo da segmentação de dados - Selecione o nome da ramificação na segmentação de dados para a qual você precisa ver o resumo do resultado.
Para saber mais sobre como usar segmentações de dados, consulte Segmentações de dados no Power BI.
Você pode colar a consulta do Power BI listada abaixo diretamente na janela Obter Consulta em Branco de> Dados . Para obter mais informações, examine Visão geral de relatórios de exemplo usando consultas OData.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate} "
&"And Workflow eq 'Build') "
&"/groupby((TestSK, Test/TestName, Branch/BranchName), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FailedCount gt 0) "
&"/compute( "
&"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Testes com falha filtrados pelo arquivo de teste
Para exibir os testes com falha para um pipeline e um arquivo de teste específico, use as consultas a seguir. Para criar o relatório, execute as seguintes etapas extras junto com o que é definido posteriormente neste artigo.
- Expanda
Test
paraTest.ContainerName
- Selecione a segmentação de dados de visualização do Power BI e adicione o campo
Test.ContainerName
ao campo da segmentação de dados - Selecione o nome do contêiner na segmentação de dados para a qual você precisa ver o resumo do resultado.
Você pode colar a consulta do Power BI listada abaixo diretamente na janela Obter Consulta em Branco de> Dados . Para obter mais informações, examine Visão geral de relatórios de exemplo usando consultas OData.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate}) "
&"/groupby((TestSK, Test/TestName, Test/ContainerName), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FailedCount gt 0) "
&"/compute( "
&"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Testes com falha filtrados pelo proprietário do teste
Para exibir o teste Falha em um pipeline para testes de propriedade de um proprietário de teste específico, use as consultas a seguir. Para criar o relatório, execute as seguintes etapas extras junto com o que é definido posteriormente neste artigo.
- Expanda
Test
paraTest.TestOwner
- Selecione a segmentação de dados de visualização do Power BI e adicione o campo
Test.TestOwner
ao campo da segmentação de dados - Selecione o proprietário do teste na segmentação de dados para a qual você precisa ver o resumo do resultado.
Você pode colar a consulta do Power BI listada abaixo diretamente na janela Obter Consulta em Branco de> Dados . Para obter mais informações, examine Visão geral de relatórios de exemplo usando consultas OData.
let
Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
&"Pipeline/PipelineName eq '{pipelineName}' "
&"And Date/Date ge {startdate}) "
&"/groupby((TestSK, Test/TestName, Test/TestOwner), "
&"aggregate( "
&"ResultCount with sum as TotalCount, "
&"ResultPassCount with sum as PassedCount, "
&"ResultFailCount with sum as FailedCount, "
&"ResultNotExecutedCount with sum as NotExecutedCount, "
&"ResultNotImpactedCount with sum as NotImpactedCount, "
&"ResultFlakyCount with sum as FlakyCount)) "
&"/filter(FailedCount gt 0) "
&"/compute( "
&"iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4])
in
Source
Cadeias de caracteres de substituição e detalhamento de consulta
Substitua as cadeias de caracteres a seguir pelos valores. Não inclua colchetes {} com sua substituição. Por exemplo, se o nome da sua organização for "Fabrikam", substitua por {organization}
Fabrikam
, não {Fabrikam}
.
{organization}
- Nome da sua organização{project}
- Nome do projeto da sua equipe{pipelinename}
- O nome do seu pipeline. Exemplo:Fabrikam hourly build pipeline
{startdate}
- A data para iniciar o seu relatório. Formato: AAAA-MM-DDZ. Exemplo:2021-09-01Z
representa 1º de setembro de 2021. Não coloque aspas ou colchetes e use dois dígitos para ambos, mês e data.
Detalhamento da consulta
A tabela a seguir descreve cada parte da consulta.
Parte da consulta
Descrição
$apply=filter(
Cláusula de início filter()
.
Pipeline/PipelineName eq '{pipelineName}'
Retorna execuções de teste para o pipeline especificado.
and CompletedOn/Date ge {startdate}
O teste de retorno é executado na data especificada ou após ela.
and Workflow eq 'Build'
Retornar execuções de teste para Build
pipeline de fluxo de trabalho.
)
Cláusula de fechamento filter()
.
/groupby(
Cláusula de início groupby()
.
(TestSK, Test/TestName),
Agrupar pelo nome do teste
aggregate(
Cláusula Start aggregate
para somar as execuções de teste que correspondem aos critérios de filtro.
ResultCount with sum as TotalCount,
Conte o número total de execuções de teste como TotalCount
.
ResultPassCount with sum as PassedCount,
Conte o número total de execuções de teste aprovadas como PassedCount
.
ResultFailCount with sum as FailedCount,
Conte o número total de execuções de teste com falha como FailedCount
.
ResultNotExecutedCount with sum as NotExecutedCount
Conte o número total de execuções de teste não executadas como NotExecutedCount
.
ResultNotImpactedCount with sum as NotImpactedCount,
Conte o número total de execuções de teste não afetadas como NotImpactedCount
.
ResultFlakyCount with sum as FlakyCount
Conte o número total de execuções de teste escamosas como FlakyCount
.
))
Fechar aggregate()
e groupby()
cláusulas.
/compute(
Cláusula de início compute()
.
iif(TotalCount gt NotExecutedCount, ((PassedCount add NotImpactedCount) div cast(TotalCount sub NotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate
Para todos os testes, calcule PassRate
.
)
Cláusula de fechamento compute()
.
(Opcional) Renomear consulta
Você pode renomear o rótulo de consulta padrão, Query1, para algo mais significativo. Basta inserir um novo nome no painel Configurações de Consulta .
Expandir a coluna Teste no Power BI
Expanda a Test
coluna para mostrar a entidade Test.TestName
expandida . A expansão da coluna nivela o registro em campos específicos. Para saber como, consulte Transformar dados do Analytics para gerar relatórios do Power BI, Expandir colunas.
Alterar o tipo de dados da coluna
No Editor do Power Query, selecione as
TotalCount
colunas ,PassedCount
,FailedCount
,NotExecutedCount
NotImpactedCount
, e , e , selecioneFlakyCount
Tipo de Dados no menu Transformar e escolha Número Inteiro.Selecione a
PassRate
coluna, selecione Tipo de Dados no menu Transformar e escolha Número Decimal.
Para saber mais sobre como alterar o tipo de dados, consulte Transformar dados do Analytics para gerar relatórios do Power BI, Transformar um tipo de dados de coluna.
Feche a consulta e aplique suas alterações
Depois de concluir todas as transformações de dados, escolha Fechar & Aplicar no menu Página Inicial para salvar a consulta e retornar à guia Relatório no Power BI.
Criar o relatório Tabela
No Power BI, em Visualizações, escolha Tabela e arraste e solte os campos na área Colunas.
Adicione os seguintes campos à seção Colunas na ordem listada.
Test.TestName
TotalCount
PassedCount
FailedCount
NotImpactedCount
NotExecutedCount
FlakyCount
PassRate
Seu relatório deve ser semelhante à imagem a seguir.
Recursos da tarefa de teste
- Executar testes em paralelo usando a tarefa de teste do Visual Studio
- Executar testes em paralelo para qualquer executor de teste
- Acelerar o teste usando a TIA (Análise de Impacto de Teste)
- Gerenciar testes escamosos
- Considerações do teste de interface do usuário
- Teste de Carga do Azure
- Referência de tarefa do Azure Pipelines, tarefas de teste
Artigos relacionados
Comentários
https://aka.ms/ContentUserFeedback.
Em breve: Ao longo de 2024, eliminaremos os problemas do GitHub como o mecanismo de comentários para conteúdo e o substituiremos por um novo sistema de comentários. Para obter mais informações, consulteEnviar e exibir comentários de