不安定なテストのサンプルレポート

[アーティクル]
01/10/2024

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

次の図に示すように、テストタスクを含むパイプラインの実行で発生する不安定なテストの一覧を示すレポートを作成できます。不安定なテストは、ソースコードや実行環境に変更がない場合でも、成功や失敗など、さまざまな結果を示すテストです。不安定なテストの有効化の詳細については、「不安定なテストの管理」を参照してください。パイプラインにテストを追加する方法については、この記事で後述する「テストタスクリソース」セクションを参照してください。

不安定なテストテーブルレポートのスクリーンショット。

この記事で提供されているクエリを使用して、次のレポートを生成します。

ビルドワークフローの不安定なテスト
リリースワークフローの不安定なテスト
特定のブランチの不安定なテスト
特定のテストファイルの不安定なテスト
特定のテスト所有者の不安定なテスト。

重要

Power BI の統合と Analytics サービスの OData フィードへのアクセスは、Azure DevOps Services および Azure DevOps Server 2020 以降のバージョンで一般提供されています。この記事で提供されるサンプルクエリは、Azure DevOps Server 2020 以降のバージョンに対してのみ有効であり、v3.0-preview 以降のバージョンによって異なります。これらのクエリを使用し、フィードバックをお寄せください。

前提条件

分析データを表示してサービスにクエリを実行するには、 Basic アクセス以上のプロジェクトのメンバーである必要があります。既定では、すべてのプロジェクトメンバーには、Analytics のクエリと分析ビューの定義に対するアクセス許可が付与されます。
サービスと機能の有効化と一般的なデータ追跡アクティビティに関するその他の前提条件については、「 Analytics にアクセスするためのアクセス許可と前提条件」を参照してください。

Note

この記事では、「 OData クエリを使用したサンプルレポートの概要」を読み、Power BI の基本的な理解があることを前提としています。

サンプルクエリ

エンティティセットの次のクエリを TestResultsDaily 使用して、異なるが似たパイプラインの不安定なテストレポートを作成できます。エンティティセットはTestResultsDaily、毎日のスナップショット実行のTestResult集計をテスト別にグループ化して提供します。

Note

フィルターまたはレポートの目的で使用可能なプロパティを決定するには、「Test Plans Analytics のメタデータリファレンス」および「Azure Pipelines のメタデータリファレンス」を参照してください。クエリをフィルター処理したり、で使用可能なまたは値のProperty下EntityTypeNavigationPropertyBinding Pathの値のいずれかを使用してプロパティをEntitySet返したりできます。各は EntitySet に EntityType対応します。各値のデータ型の詳細については、対応する EntityTypeに提供されているメタデータを確認してください。

ビルドワークフローの不安定なテスト

ビルド ワークフローパイプラインの不安定なテストを表示するには、次のクエリを使用します。

Power BI クエリ
OData クエリ

以下に示す Power BI クエリは、[ データの取得- 空の>クエリ ] ウィンドウに直接貼り付けることができます。詳細については、「 OData クエリを使用したサンプルレポートの概要」を参照してください。

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName} "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlaykRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

次の OData クエリコードを使用して、Power BI でクエリを使用する前にクエリを変更またはテストできます。詳細については、「 Power BI クエリと OData クエリを使用した接続」を参照してください。

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build'
	)
/groupby(
	(TestSK, Test/TestName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
	(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate
)

リリースワークフローの不安定なテスト

リリース ワークフローパイプラインの不安定なテストを表示するには、次のクエリを使用します。

Power BI クエリ
OData クエリ

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Workflow), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Workflow), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

分岐でフィルター処理された不安定なテスト

特定のブランチのパイプラインの失敗したテストを表示するには、次のクエリを使用します。レポートを作成するには、この記事の後半で指定されているものと共に、次の追加手順を実行します。

次に展開します Branch 。 Branch.BranchName
Power BI 視覚化スライサーを選択し、スライサーのフィールドにフィールドBranch.BranchNameを追加します
結果の概要を表示する必要があるスライサーからブランチ名を選択します。

スライサーの使用の詳細については、Power BI のスライサーに関するページを参照してください。

Power BI クエリ
OData クエリ

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((TestSK, Test/TestName, Branch/BranchName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

テストファイルでフィルター処理された不安定なテスト

パイプラインと特定のテストファイルの不安定なテストを表示するには、次のクエリを使用します。レポートを作成するには、この記事の後半で定義されているものと共に、次の追加手順を実行します。

次に展開します Test 。 Test.ContainerName
Power BI 視覚化スライサーを選択し、スライサーのフィールドにフィールドTest.ContainerNameを追加します
結果の概要を表示する必要があるスライサーからコンテナー名を選択します。

Power BI クエリ
OData クエリ

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/ContainerName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

テスト所有者によってフィルター処理された不安定なテスト

パイプラインの Flaky テストと、特定のテスト所有者が所有するテストを表示するには、次のクエリを使用します。レポートを作成するには、この記事の後半で定義されているものと共に、次の追加手順を実行します。

次に展開します Test 。 Test.TestOwner
Power BI 視覚化スライサーを選択し、スライサーのフィールドにフィールドTest.TestOwnerを追加します
結果の概要を表示する必要があるスライサーからテスト所有者を選択します。

Power BI クエリ
OData クエリ

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/TestOwner), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

置換文字列とクエリの内訳

次の文字列を実際の値に置き換えます。置換に角かっこを {} 含めないでください。たとえば、組織名が "Fabrikam" の場合は、ではなく {Fabrikam}をにFabrikam置き換えます{organization}。

{organization} - 組織名
{project} - チームプロジェクト名
{pipelinename} - パイプライン名。例: Fabrikam hourly build pipeline
{startdate} - レポートを開始する日付。形式: YYYY-MM-DDZ。例: 2021-09-01Z 2021 年 9 月 1 日を表します。引用符または角かっこで囲んで、月と日付の両方に 2 桁の数字を使用しないでください。

クエリの内訳

次の表では、クエリの各部分について説明します。

クエリパーツ

説明

$apply=filter(

Start filter() 句。

Pipeline/PipelineName eq '{pipelineName}'

指定したパイプラインのテスト実行を返します。

and CompletedOn/Date ge {startdate}

指定した日付以降にテストが実行されます。

and Workflow eq 'Build'

ワークフローのテスト実行を Build 返します。

)

Close filter() 句。

/groupby(

Start groupby() 句。

(TestSK, Test/TestName),

テスト名でグループ化します。

aggregate(

フィルター条件に一致するテスト実行を計算する Start aggregate 句。

ResultCount with sum as TotalCount,

テスト実行の合計数を次のように TotalCountカウントします。

ResultPassCount with sum as PassedCount,

成功したテスト実行の合計数を次のように PassedCountカウントします。

ResultFailCount with sum as FailedCount,

失敗したテスト実行の合計数を次のように FailedCountカウントします。

ResultNotExecutedCount with sum as NotExecutedCount

未実行のテスト実行の合計数を次のように NotExecutedCountカウントします。

ResultNotImpactedCount with sum as NotImpactedCount,

影響を受けなかったテスト実行の合計数を次のように NotImpactedCountカウントします。

ResultFlakyCount with sum as FlakyCount

不安定なテストの実行の合計数を次のように FlakyCountカウントします。

))

groupby()閉じてaggregate()句を指定します。

/filter(FlakyCount gt 0)

少なくとも 1 回は不安定だったテストのみを除外します。

/compute(

Start compute() 句。

(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate

すべての不安定なテストについて、 FlakyRate.

)

Close compute() 句。

(省略可能)クエリの名前を変更する

既定のクエリラベル Query1 の名前を、より意味のある名前に変更できます。 [ クエリ設定] ペインから新しい名前を入力するだけです。

Power BI クエリメニューオプションのスクリーンショット。クエリの名前を変更します。

Power BI の [テスト] 列を展開する

列を Test 展開して、展開されたエンティティを表示します Test.TestName。列を展開すると、レコードが特定のフィールドにフラット化されます。方法については、「Analytics データを変換して Power BI レポートを生成する」の「列を展開する」を参照してください。

列のデータ型を変更する

Power Query エディターから、、FailedCountPassedCount、NotImpactedCountNotExecutedCountおよび列をTotalCount選択しFlakyCount、[変換] メニューから [データ型] を選択し、[整数] を選択します。
列をFlakyRate選択し、[変換] メニューから [データ型] を選択し、[10 進数] を選択します。

データ型の変更の詳細については、「 Analytics データを変換して Power BI レポートを生成する」の「列データ型の変換」を参照してください。

クエリを閉じて変更を適用する

すべてのデータ変換が完了したら、[ホーム] メニューから [閉じる] & [適用] を選択してクエリを保存し、Power BI の [レポート] タブに戻ります。

テーブルレポートを作成する

Power BI の [視覚化] で [テーブル] を選択し、フィールドを [列]領域にドラッグアンドドロップします。
次のフィールドを一覧の 順序で [列] セクションに追加します。
- Test.TestName
- TotalCount
- PassedCount
- FailedCount
- FlakyCount
- FlakyRate

レポートは次の図のようになります。

サンプルの不安定なテストテーブルレポートのスクリーンショット。

不安定なテストのサンプルレポート

前提条件

サンプルクエリ

ビルドワークフローの不安定なテスト

リリースワークフローの不安定なテスト

分岐でフィルター処理された不安定なテスト

テストファイルでフィルター処理された不安定なテスト

テスト所有者によってフィルター処理された不安定なテスト

置換文字列とクエリの内訳

クエリの内訳

(省略可能)クエリの名前を変更する

Power BI の [テスト] 列を展開する

列のデータ型を変更する

クエリを閉じて変更を適用する

テーブルレポートを作成する

タスクリソースのテスト

フィードバック

フィードバック

その他のリソース

不安定なテストのサンプル レポート

前提条件

サンプル クエリ

ビルド ワークフローの不安定なテスト

リリース ワークフローの不安定なテスト

分岐でフィルター処理された不安定なテスト

テスト ファイルでフィルター処理された不安定なテスト

テスト所有者によってフィルター処理された不安定なテスト

置換文字列とクエリの内訳

クエリの内訳

(省略可能)クエリの名前を変更する

Power BI の [テスト] 列を展開する

列のデータ型を変更する

クエリを閉じて変更を適用する

テーブル レポートを作成する

タスク リソースのテスト

関連記事

フィードバック

フィードバック

その他のリソース

不安定なテストのサンプルレポート

サンプルクエリ

ビルドワークフローの不安定なテスト

リリースワークフローの不安定なテスト

テストファイルでフィルター処理された不安定なテスト

テーブルレポートを作成する

タスクリソースのテスト