Relatório de exemplo de tendência de resumo de teste

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

Os pipelines que incluem tarefas de teste podem ser consultados para criar um relatório de tendências de resumo de teste. Por exemplo, o relatório a seguir exibe o número de execuções de teste com falha em cada coluna durante um período de 24 dias, juntamente com o gráfico de linhas que mostra a tendência da taxa de aprovação no teste. Para obter informações sobre como adicionar testes a um pipeline, consulte a seção Recursos da tarefa de teste, mais adiante neste artigo.

Especificamente, este artigo fornece consultas de exemplo para gerar os seguintes relatórios:

• Tendência de resumo de teste para fluxo de trabalho de compilação
• Tendência de resumo de teste para fluxo de trabalho de lançamento
• Tendência de resumo de teste para uma ramificação específica
• Tendência de resumo de teste para um arquivo de teste específico
• Tendência de resumo do teste para um proprietário de teste específico.

Importante

A integração do Power BI e o acesso ao feed OData do Serviço de Análise estão geralmente disponíveis para os Serviços de DevOps do Azure e o Servidor de DevOps do Azure 2020 e versões posteriores. As consultas de exemplo fornecidas neste artigo são válidas somente em relação ao Azure DevOps Server 2020 e versões posteriores e dependem da versão v3.0-preview ou posterior. Encorajamos você a usar essas consultas e nos fornecer comentários.

Pré-requisitos

• Para exibir dados do Analytics e consultar o serviço, você precisa ser membro de um projeto com acesso básico ou superior. Por padrão, todos os membros do projeto recebem permissões para consultar Análise e definir exibições do Analytics.
• Para saber mais sobre outros pré-requisitos relacionados à habilitação de serviço e recursos e atividades gerais de acompanhamento de dados, consulte Permissões e pré-requisitos para acessar o Analytics.

Observação

Este artigo pressupõe que você tenha lido Visão geral de relatórios de exemplo usando consultas OData e tenha uma compreensão básica do Power BI.

Consultas de exemplo

Você pode usar as seguintes consultas do conjunto de entidades para criar relatórios de tendência de resumo de teste de TestRuns pipeline diferentes, mas semelhantes. A TestRuns entidade definida para as consultas a seguir está disponível somente quando você inclui tarefas de teste em uma definição de pipeline.

Observação

Para determinar as propriedades disponíveis para fins de filtro ou relatório, consulte Referência de metadados para Análise de Planos de Teste e Referência de metadados para Pipelines do Azure. Você pode filtrar suas consultas ou retornar propriedades usando qualquer um dos Property valores em um EntityType ou NavigationPropertyBinding Path valores disponíveis com um EntitySet. Cada EntitySet corresponde a um EntityType. Para saber mais sobre o tipo de dados de cada valor, examine os metadados fornecidos para o correspondente EntityType.

Tendência de resumo de teste para o fluxo de trabalho de compilação

Use as consultas a seguir para exibir a tendência de resumo de teste de um pipeline para um fluxo de trabalho de compilação .

Consulta do Power BI

Você pode colar a consulta do Power BI listada abaixo diretamente na janela Obter Consulta em Branco de> Dados . Para obter mais informações, examine Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby( "
          &"(CompletedOn/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Consulta OData

Você pode usar o código de consulta OData a seguir para modificar ou testar a consulta antes de usá-la no Power BI. Para obter mais informações, consulte Conectar-se usando consultas do Power BI e OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	and Workflow eq 'Build'
	)
/groupby(
	(CompletedOn/Date), 
	aggregate(
	ResultCount with sum as ResultCount,
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount
	))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

Tendência de resumo de teste para o fluxo de trabalho de lançamento

Use as consultas a seguir para exibir a tendência de resumo de teste de um pipeline definido para um fluxo de trabalho de Versão .

Consulta do Power BI

Você pode colar a consulta do Power BI listada abaixo diretamente na janela Obter Consulta em Branco de> Dados . Para obter mais informações, examine Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Release' "
            &") "
        &"/groupby( "
          &"(CompletedOn/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Consulta OData

Você pode usar o código de consulta OData a seguir para modificar ou testar a consulta antes de usá-la no Power BI. Para obter mais informações, consulte Conectar-se usando consultas do Power BI e OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate})
/groupby((Workflow, CompletedOn/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

Tendência de resumo de teste filtrada por ramificação

Para exibir a tendência de resumo de teste de um pipeline para uma ramificação específica, use as consultas a seguir. Para criar o relatório, execute as seguintes etapas extras junto com o que é especificado posteriormente neste artigo.

• Expanda Branch para Branch.BranchName
• Selecione a segmentação de dados de visualização do Power BI e adicione o campo Branch.BranchName ao campo da segmentação de dados
• Selecione o nome da ramificação na segmentação de dados para a qual você precisa ver o resumo do resultado.

Para saber mais sobre como usar segmentações de dados, consulte Segmentações de dados no Power BI.

Consulta do Power BI

Você pode colar a consulta do Power BI listada abaixo diretamente na janela Obter Consulta em Branco de> Dados . Para obter mais informações, examine Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby((Branch/BranchName, CompletedOn/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Consulta OData

Você pode usar o código de consulta OData a seguir para modificar ou testar a consulta antes de usá-la no Power BI. Para obter mais informações, consulte Conectar-se usando consultas do Power BI e OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	and Workflow eq 'Build')
/groupby((Branch/BranchName, CompletedOn/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

Tendência de resumo de teste filtrada pelo arquivo de teste

Para exibir a tendência de resumo de teste de um pipeline para um arquivo de teste específico, use as consultas a seguir. Para criar o relatório, execute as seguintes etapas extras junto com o que é definido posteriormente neste artigo.

• Expanda Test para Test.ContainerName
• Selecione a segmentação de dados de visualização do Power BI e adicione o campo Test.ContainerName ao campo da segmentação de dados
• Selecione o nome do contêiner na segmentação de dados para a qual você precisa ver o resumo do resultado.

Consulta do Power BI

Você pode colar a consulta do Power BI listada abaixo diretamente na janela Obter Consulta em Branco de> Dados . Para obter mais informações, examine Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby((Test/ContainerName, Date/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Consulta OData

Você pode usar o código de consulta OData a seguir para modificar ou testar a consulta antes de usá-la no Power BI. Para obter mais informações, consulte Conectar-se usando consultas do Power BI e OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((Test/ContainerName, Date/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

Tendência de resumo de teste filtrada pelo proprietário do teste

Para exibir a tendência de resumo de teste de um pipeline para testes de propriedade de um proprietário de teste específico, use as consultas a seguir. Para criar o relatório, execute as seguintes etapas extras junto com o que é definido posteriormente neste artigo.

• Expanda Test para Test.TestOwner
• Selecione a segmentação de dados de visualização do Power BI e adicione o campo Test.TestOwner ao campo da segmentação de dados
• Selecione o proprietário do teste na segmentação de dados para a qual você precisa ver o resumo do resultado.

Consulta do Power BI

Você pode colar a consulta do Power BI listada abaixo diretamente na janela Obter Consulta em Branco de> Dados . Para obter mais informações, examine Visão geral de relatórios de exemplo usando consultas OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestRuns?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"and CompletedOn/Date ge {startdate} "
                &"and Workflow eq 'Build' "
            &") "
        &"/groupby((Test/TestOwner, Date/Date), "
          &"aggregate( "
            &"ResultCount with sum as ResultCount, "
            &"ResultPassCount with sum as ResultPassCount, "
            &"ResultNotExecutedCount with sum as ResultNotExecutedCount, "
            &"ResultNotImpactedCount with sum as ResultNotImpactedCount, "
            &"ResultFailCount with sum as ResultFailCount "
         &")) "
       &"/compute( "
       &"iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Consulta OData

Você pode usar o código de consulta OData a seguir para modificar ou testar a consulta antes de usá-la no Power BI. Para obter mais informações, consulte Conectar-se usando consultas do Power BI e OData.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	and CompletedOn/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((Test/TestOwner, Date/Date), 
	aggregate(
	ResultPassCount with sum as ResultPassCount,
	ResultNotExecutedCount with sum as ResultNotExecutedCount,
	ResultCount with sum as ResultCount,
	ResultNotImpactedCount with sum as ResultNotImpactedCount,
	ResultFailCount with sum as ResultFailCount))
/compute(
iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate)

Cadeias de caracteres de substituição e detalhamento de consulta

Substitua as cadeias de caracteres a seguir pelos valores. Não inclua colchetes {} com sua substituição. Por exemplo, se o nome da sua organização for "Fabrikam", substitua por {organization}Fabrikam, não {Fabrikam}.

• {organization} - Nome da sua organização
• {project} - Nome do projeto da sua equipe
• {pipelinename} - O nome do seu pipeline. Exemplo: pipeline de compilação por hora da Fabrikam
• {startdate} A data para iniciar o relatório. Formato: AAAA-MM-DDZ. Exemplo: 2023-01-01Z representa 1 de janeiro de 2023 às 12:50:54. Não coloque entre aspas ou colchetes.

Detalhamento da consulta

A tabela a seguir descreve cada parte da consulta.

Parte da consulta

Descrição

$apply=filter(

Cláusula de início filter() .

Pipeline/PipelineName eq '{pipelineName}'

Retorna execuções de teste para o pipeline especificado.

and CompletedOn/Date ge {startdate}

O teste de retorno é executado na data especificada ou após ela.

and Workflow eq 'Build'

Retornar execuções de teste para o pipeline com um fluxo de Build trabalho

)

Cláusula de fechamento filter()

/groupby(

Cláusula de início groupby() .

(CompletedOn/Date),

Agrupar até a data de conclusão do teste.

aggregate(

Cláusula de início aggregate . Para todas as execuções de teste que correspondem aos critérios de filtro, soma a série de contagens.

ResultCount with sum as ResultCount,

Conte o número total de execuções de teste como ResultCount.

ResultPassCount with sum as ResultPassCount,

Conte o número total de execuções de teste aprovadas como ResultPassCount.

ResultNotExecutedCount with sum as ResultNotExecutedCount,

Conte o número total de execuções de teste não executadas como ResultNotExecutedCount.

ResultNotImpactedCount with sum as ResultNotImpactedCount

Conte o número total de execuções de teste não afetadas como ResultNotImpactedCount.

ResultFailCount with sum as ResultFailCount

Conte o número total de execuções de teste com falha como ResultFailCount.

))

Fechar aggregate() e groupby() cláusulas.

/compute(

Cláusula de início compute() .

iif(ResultCount gt ResultNotExecutedCount, ((ResultPassCount add ResultNotImpactedCount) div cast(ResultCount sub ResultNotExecutedCount, Edm.Decimal)) mul 100, 0) as PassRate

Para todos os dias, calcule PassRate.

)

Cláusula de fechamento compute() .

(Opcional) Renomear consulta

Você pode renomear o rótulo de consulta padrão, Query1, para algo mais significativo. Basta inserir um novo nome no painel Configurações de Consulta .

Expandir a coluna CompletedOn no Power BI

Expanda a CompletedOn coluna. A expansão da coluna nivela o registro em campos específicos. Para saber como, consulte Transformar dados do Analytics para gerar relatórios do Power BI, Expandir colunas.

Alterar o tipo de dados da coluna

No Editor do Power Query, selecione a PassRate coluna, selecione Tipo de Dados no menu Transformar e escolha Número Decimal.

Para saber mais sobre como alterar o tipo de dados, consulte Transformar dados do Analytics para gerar relatórios do Power BI, Transformar um tipo de dados de coluna.

Feche a consulta e aplique suas alterações

Depois de concluir todas as transformações de dados, escolha Fechar & Aplicar no menu Página Inicial para salvar a consulta e retornar à guia Relatório no Power BI.

Criar o relatório de gráfico de colunas de linha e pilha

1. No Power BI, em Visualizações, escolha o gráfico de colunas de linha e pilha e arraste e solte os campos nas áreas do gráfico.

   

2. Adicione CompletedOn.Date ao eixo X, clique com o botão direito do mouse no campo e selecione Data.Data em vez de Hierarquia de Data.

3. Adicionar ResultFailCount ao eixo y da coluna.

4. Adicionar PassRate ao eixo y da linha.

Seu relatório deve ser semelhante à imagem a seguir.

Recursos da tarefa de teste

• Executar testes em paralelo usando a tarefa de teste do Visual Studio
• Executar testes em paralelo para qualquer executor de teste
• Acelerar o teste usando a TIA (Análise de Impacto de Teste)
• Gerenciar testes escamosos
• Considerações do teste de interface do usuário
• Teste de Carga do Azure
• Referência de tarefa do Azure Pipelines, tarefas de teste

Artigos relacionados

• Construir consultas OData para Análise
• Conectar-se usando consultas do Power BI e OData
• Referência de metadados para Pipelines do Azure
• Relatórios de exemplo e índice de referência rápida
• Segmentações no Power BI