テスト分析

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

テスト品質を経時的に追跡し、テスト関連情報を改善することは、正常な DevOps パイプラインを維持する上で不可欠です。 テスト分析では、ビルドとリリースのテスト データをほぼリアルタイムで可視化できます。 繰り返し発生する影響の大きい品質上の問題を特定することで、パイプラインの効率を向上させることができます。

注意

現在、テスト分析は Azure Pipelines でのみ使用できます。

テスト レポートの用語については、用語集を参照してください。

必要に応じて Analytics 拡張機能をインストールする

詳細については、Analytics Marketplace 拡張機能に関するページを参照してください。

ビルドのテスト分析を表示する

チームが頻繁または断続的に失敗するテストを見つけて修正するには、失敗数が上位のテストのレポートを使用します。 ビルドの概要には、このレポートをホストする [分析] ページが含まれています。 最上位ビューには、選択したビルド パイプラインについて、指定期間のテスト合格率と結果の概要が表示されます。 既定の範囲は 14 日間です。

リリースのテスト分析を表示する

リリースの一部として実行されるテストの場合は、右上隅にある [分析] リンクからテスト分析にアクセスします。 ビルドと同様に、概要には、指定期間のテスト合格率と結果の集計ビューが表示されます。

テスト エラー

ビルドまたはリリースの概要を開いて、失敗数が上位のテストのレポートを表示します。 このレポートでは、パイプライン内の失敗数が上位のテストと、エラーの詳細を表示します。

詳細ビューには、次の 2 つのセクションが含まれています。

• [概要]: ビルドまたはリリースで指定期間中に実行されたテストの主要な定量的メトリックを提供します。 既定のビューには、14 日間のデータが表示されます。

  • 合格率と結果: 合格率と、さまざまな結果にわたるテストの分布が表示されます。

    

  • 失敗したテスト: 指定期間中に失敗したテストの件数を示します。 上記の例では、124 件のテストのうち 986 件のテスト エラーが発生しています。

    

  • グラフ ビュー: 指定期間における日単位のテスト失敗の合計数と平均合格率の推移。

    

• [結果]: 失敗の合計数に基づいて、失敗数が上位のテストの一覧。 問題のあるテストを特定し、結果の詳細な概要を掘り下げることができます。

  

テスト エラーをグループ化する

グループ化オプションを使用すると、レポート ビューをいくつかの方法で整理できます。 テスト結果をグループ化すると、失敗数が上位のテストのさまざまな側面について詳細な分析情報を得ることができます。 次の例では、テスト結果は、それらが属しているテスト ファイルに基づいてグループ化されています。 指定期間中のテスト ファイルと、テスト エラーの合計に対するそれぞれの寄与の度合いが表示され、次のステップの特定と優先順位付けを容易にします。 さらに、各テスト ファイルに対して、これらのエラーの原因となるテストを示します。

個々のテストをドリルダウンする

[詳細] セクションで 1 つ以上のテストを特定したら、分析する個々のテストを選びます。 選択したテストのドリルダウン ビューと、指定期間中の各日についてテストの成功したインスタンスや失敗したインスタンスなど、さまざまな結果の積み上げグラフが表示されます。 このビューは隠れたパターンを推論し、それに応じてアクションを実行するのに役立ちます。

対応するグリッド ビューには、その期間中に選んだテスト実行インスタンスがすべて一覧表示されます。

エラー分析

根本原因のエラー分析を実行するには、ドリルダウン ビューで 1 つ以上のテスト実行インスタンスを選び、コンテキストでエラーの詳細を表示します。

隠れたパターンを推論する

1 つの実行インスタンスのテスト エラーを調べても、何らかのパターンを推論することは困難であることがほとんどです。 次の例では、特定の期間中にテスト エラーが発生しており、これを知っておくことで調査範囲を絞り込むことができます。

もう 1 つの例は、非確定的な動作を示すテストです (多くの場合、不安定なテストと呼ばれます)。 テスト実行の個々のインスタンスを見るだけでは、動作について意味のある分析情報が得られない場合があります。 ただし、一定期間のテスト実行の傾向を観察することで隠れたパターンを推定し、エラーを解決するのに役立てることができます。

レポートの情報源

テスト分析の情報源は、ビルドまたはリリース パイプラインの一連の公開されたテスト結果です。 これらの結果は一定期間にわたって蓄積され、テスト分析によって得られる豊富な分析情報の基礎となります。

ヘルプとサポート

• トラブルシューティング ページを参照してください。
• Stack Overflow に関するアドバイスを受け取り、Developer Community を介してサポートを受ける