Azure Test Plans とは

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

Azure Test Plansは、チーム内のすべてのユーザーが開発プロセス全体で品質とコラボレーションを促進するために使用できる豊富で強力なツールを提供します。 使いやすいブラウザー ベースのテスト管理ソリューションは、計画的な手動テスト、ユーザー受け入れテスト、探索的テスト、利害関係者からのフィードバックの収集に必要なすべての機能を提供します。

注意

この記事は、Azure DevOps Services および Azure DevOps Server 2020 以降のバージョンに適用されます。 ほとんどの情報は以前のオンプレミス バージョンで有効ですが、イメージには最新バージョンの例のみが表示されます。 また、Azure DevOps Server 2020 のリリースにより、ユーザー インターフェイスが大幅に変更されました。 新しいインターフェイスとサポートされている機能の概要については、「navigate Test Plans」を参照してください。

Azure Test Plansのしくみ

ブラウザー ベースのツール (テスト 計画、進行状況レポート、パラメーター、構成、実行、テスト ツール) と DevOps 統合機能を組み合わせて使用すると、Azure Test Plansは次のテスト目標をサポートします。

• 手動および探索的テスト: 次のテスト アクティビティを含む手動および探索的テスト:

  • 計画的な手動テスト。 テストをテスト計画に整理し、指定されたテスト担当者とテスト リードによるテスト スイートを手動テストします。
  • ユーザー受け入れテスト。 提供された値が顧客の要件を満たしていることを確認するために、指定されたユーザー受け入れテスト担当者によってテストが実行され、エンジニアリング チームによって作成されたテスト成果物が再利用されます。
  • 探索的なテスト。 テスト計画やテスト スイートを使用せずにソフトウェア システムを探索することで、開発者、テスト担当者、UX チーム、製品所有者など、開発チームによって実行されるテスト。
  • 利害関係者のフィードバック。 マーケティング部門や営業部門のユーザーなど、開発チーム外の利害関係者によって実行されるテスト。

• 自動テスト: Azure Test Plansは Azure Pipelines と完全に統合されており、継続的インテグレーション/継続的デプロイ (CI/CD) 内でのテストをサポートします。 テスト 計画とテスト ケースは、ビルド パイプラインまたはリリース パイプラインに関連付けることができます。 パイプライン タスクをパイプライン定義に追加して、テスト結果をキャプチャして発行できます。 テスト結果は、組み込みの進行中のレポートとパイプライン テスト レポートを使用して確認できます。

• 追跡可能性: ユーザー ストーリー、機能、または要件にリンクされたテスト ケースとテスト スイートは、エンド ツー エンドのトレーサビリティをサポートします。 テストと欠陥は、テスト対象の要件とビルドに自動的にリンクされ、要件の品質の追跡にも役立ちます。 ユーザーは、かんばんボードからテストを追加して実行することも、大規模なチームの場合は、テスト プラン ハブを使用してテスト 計画とテスト スイートを定義できます。 パイプラインの結果と [要件] ウィジェットは、要件のテストを追跡する手段を提供します。

• レポートと分析: テスト結果の追跡と進行状況の監視は、構成可能な追跡グラフ、ダッシュボードに追加できるテスト固有のウィジェット、進行状況レポート、パイプライン テスト結果レポート、Analytics サービスなどの組み込みレポートを通じてサポートされます。

注意

読み込みとパフォーマンスのテスト: Azure DevOps クラウドベースのロード テスト サービスは非推奨ですが、Azure Load Testing を使用できます。 Azure Load Testing はフル マネージドのロード テスト サービスであり、既存の Apache JMeter スクリプトを使用して高スケールの負荷を生成できます。 詳細については、「 Azure Load Testing とは」を参照してください。 Azure DevOps ロード テストの廃止の詳細については、「 Visual Studio でのロード テスト機能の変更」および「Azure DevOps でのクラウド ロード テスト」を参照してください。

主な利点

Azure Test Plansには、ソフトウェア開発チームに次の利点があります。

• 任意のプラットフォームでテストする: Test Plans Web ポータルを使用すると、サポートされているすべてのブラウザーを使用して、すべての手動テスト機能にアクセスできます。 これにより、ユーザーが任意のプラットフォーム上のすべての主要なブラウザーからアクセスできる、使いやすいブラウザー ベースのインターフェイスを使用して手動テストを作成して実行できます。

• 豊富な診断データ収集: Web ベースのテスト ランナーとテスト ランナー クライアントを使用すると、手動テスト中に 豊富な診断データを収集 できます。 これには、スクリーンショット、画像アクション ログ、画面記録、コード カバレッジ、IntelliTrace トレース、テスト対象アプリのテスト影響データが含まれます。 このデータは、テスト中に作成したすべてのバグに自動的に含まれるため、開発者は問題を簡単に再現できます。

• エンド ツー エンドの追跡可能性: Azure DevOps では、作業項目を他のオブジェクトにリンクして、要件、ビルド、テスト、バグをエンドツーエンドで追跡できます。 ユーザーは、かんばんボード上のカードから要件の品質を追跡できます。 テスト中に作成されたバグは、テスト中の要件とビルドに自動的にリンクされるため、要件またはビルドの品質を追跡するのに役立ちます。

• 統合分析: Analytics サービスは、Power BI を使用して、組み込みのレポート、構成可能なダッシュボード ウィジェット、およびカスタマイズ可能なレポートにフィードするデータを提供します。 データは、手動テストと自動テストの両方のテスト計画の進行状況と傾向を追跡します。 テスト分析では、ビルドとリリースのテスト データをほぼリアルタイムで可視化できます。 Teams は、このデータに対処してテスト資料を改善し、正常なパイプラインを維持するのに役立ちます。

• 拡張可能なプラットフォーム。 既に知っているツールとテクノロジを、 Azure DevOps との統合と拡張に最適な開発ツールと組み合わせることができます。 テスト プラットフォームで使用できる REST API とコントリビューション モデルを使用して、テスト管理ライフサイクルに必要なエクスペリエンスを提供する拡張機能を作成します。

サポートされているシナリオとアクセス要件

Azure DevOps Web ポータル機能へのアクセスは、ユーザーに割り当てられたアクセス レベルによって管理されます。 アクセス レベルの概要に関するページで説明されているように、3 つのメインアクセス レベルは、利害関係者、Basic、および Basic+Test プランです。 次の表は、Azure Test Plansに関連付けられているタスクを実行するために必要なアクセス レベルを示しています。 アクセス レベルに加えて、実行するアクセス許可が必要な機能を選択します。 詳細については、「 手動テストアクセスとアクセス許可」を参照してください。

シナリオとタスク

Stakeholder

Basic

基本 +Test Plans

---

テスト計画

• テスト計画とテスト スイートを作成する
• テスト 計画の実行設定を管理する
• 構成を管理する

✔️

テスト実行

• テスト ランナーを使用して任意のプラットフォーム (Windows、Linux、Mac) でテストを実行する

✔️

✔️

テストとフィードバック拡張機能を使用して探索的テストを実行する

✔️

✔️

✔️

テストの分析と確認

• 優先度、構成などのさまざまなピボットを含むグラフを作成して、テストの進行状況を追跡する
• テスト結果を参照する
• テスト計画とテスト スイートをエクスポートしてレビューする
• ユーザー受け入れテスト – テストを割り当て、電子メールで招待する

✔️

✔️

手動テストと探索的テスト

手動テストと探索的テストをサポートするために、Azure Test Plansはテスト固有の作業項目の種類を使用してテストを計画および作成します。 さらに、テストの実行をサポートする 2 つのテスト ツールが提供されます。 テスト 計画、パラメーター、および構成ハブには、テスト項目、その設定、構成を効率的に作成および管理するためのツールが用意されています。 テスト スイートは動的 (要件ベースのスイートとクエリ ベースのスイート) にすることができ、開発中の関連する要件の品質を理解するのに役立ち、回帰テストをカバーするのに役立つ静的な場合があります。

テスト固有の作業項目の種類

作業項目の種類 (Test Plans、テスト スイート、テスト ケース、共有ステップ、および共有パラメーター) では、要件の追跡と多くのテスト ケース間でのテスト ステップとデータの共有をサポートするために、いくつかの明示的なリンクがサポートされています。 テスト ケースは、手動または自動化として割り当てることができます。 これらの各テスト項目の説明については、「 テスト オブジェクトと用語」を参照してください。

注意

Azure DevOps Server 2020 以降のバージョンでは、パイプラインにテスト タスクを追加することで、自動テストを実行できます。 テスト タスクを使用する場合、テスト 計画、テスト ケース、テスト スイートを定義する必要はありません。

テスト 計画とテスト スイートを定義する

テスト 計画とテスト スイートは、[テスト プラン] ハブ から作成して管理します。 1 つ以上のテスト スイート (静的、要件ベース、またはクエリベース) をテスト プランに追加します。 テスト計画とテスト スイートをエクスポートしてチームと共有します。 方法については、「 テスト 計画とテスト スイートを作成 する」および「テスト 計画、テスト スイート、テスト ケースをコピーまたは複製する」を参照してください。

テスト ケースを使用してテストを作成する

手動テスト ケースを定義するには、テスト ステップと、必要に応じて参照するテスト データを定義します。 テスト スイートは、1 つ以上のテスト ケースで構成されます。 テスト スイート内でテスト ケースを共有できます。 テスト ケースを定義するためのグリッド ビューでは、コピー、貼り付け、挿入、および削除の操作がサポートされています。 テストを実行するために、1 人または複数のテスト担当者をすばやく割り当てます。 テスト スイート全体でテスト結果とテスト ケースへの参照を表示します。 方法については、「 テスト ケースを作成する」を参照してください。

各テスト ケース内で、期待される結果を含む一連のテスト ステップを指定します。 必要に応じて、 共有ステップ または 共有パラメーターを追加できます。 追跡可能性を高めるために、テスト ケースをテストするユーザー ストーリー、機能、またはバグにリンクします。

共有パラメーターを管理する

Teams は Parameters ハブを使用して、テスト ケース間で共有されるパラメーターを定義および管理します。 共有パラメーターは、異なるテスト データを使用して手動テストを複数回繰り返すサポートを提供します。 たとえば、ユーザーが買い物カゴに商品の数量を変えて追加できる場合は、数量 200 の商品を数量 1 と同じように動作することをチェックします。

テスト構成と変数を管理する

構成ハブを使用すると、チームはテスト計画によって参照されるテスト構成と変数を定義、確認、管理できます。 テスト構成では、さまざまなオペレーティング システム、Web ブラウザー、バージョンでアプリケーションをテストするためのサポートが提供されます。 共有パラメーターと同様に、テスト構成は複数のテスト 計画間で共有できます。

テスト実行ツールとテスト ツール

次のツールを使用すると、開発者、テスト担当者、利害関係者は、テストを開始し、テストを実行し、テストにリンクされているコードの欠陥を自動的にログに記録する豊富なデータをキャプチャできます。 デスクトップまたは Web アプリ間でテストを実行して、アプリケーションをテストします。

• テスト ランナー: Web アプリケーションをテストするためのブラウザー ベースのツールと、テスト プラン ハブから起動して手動テストを実行するデスクトップ アプリケーションを テスト するためのデスクトップ クライアント バージョン。 テスト ランナーでは、画像アクション ログ、ビデオ記録、コード カバレッジなど、テストの実行中に豊富なデータ収集がサポートされます。また、ユーザーはバグを作成し、テストの状態をマークすることもできます。
• テストおよびフィードバック拡張機能: Chrome、Edge、または Firefox ブラウザーからアクセスする探索的テストをサポートする無料の拡張機能。 この拡張機能は、画像やビデオを介して探索され、口頭またはタイプで書かれたコメントを入力するアプリケーションとの対話をキャプチャします。 フィードバック応答作業項目の種類に情報がキャプチャされ、応答データの追跡に役立ちます。

テスト実行機能

指定されたツールを使用して、次のタスクを実行できます。

タスク	テスト プラン ハブ	テスト ランナー	テストとフィードバック拡張機能
テストを一括マークする	✔️
テストまたはテストステップに合格または失敗する		✔️	✔️
実行中のテストに対するインライン変更		✔️	✔️
テストの一時停止と再開		✔️	✔️
テストの実行中にバグを報告する		✔️	✔️
テスト実行中にスクリーンショット、イメージ アクション ログ、画面記録をキャプチャする		✔️	✔️
テスト実行中に既存のバグを更新する		✔️	✔️
バグを確認する		✔️	✔️
テスト実行のビルドを割り当てる	✔️
テスト設定を割り当てる	✔️
テストの実行を確認する	✔️

テストの実行

[テスト プラン] ハブの [実行] タブから、チーム メンバーは、テスト スイートに対して定義された 1 つ以上のテスト ケースのテスト実行を開始できます。 Web またはデスクトップ アプリケーションの テスト ランナー の実行が選択できます。 必要に応じて、チーム メンバーは [オプションを指定して実行 ] を選択して、手動テスト用に他のサポートされているクライアントを選択するか、自動テスト用のビルドを選択できます。 詳細については、「 手動テストを実行する」を参照してください。

テスト ランナー

テスト ランナーは 、Web アプリケーションとデスクトップ アプリケーションのテストを実行します。 テスト ステップとテスト結果を合格または失敗としてマークし、テスト時にシステム情報、イメージ アクション ログ、画面記録、画面キャプチャなどの診断データを収集します。 テスト中に提出されたバグには、キャプチャされたすべての診断データが自動的に含まれ、開発者が問題を再現するのに役立ちます。 詳細については、「 Web アプリのテストを実行する 」および 「デスクトップ アプリのテストを実行する」を参照してください。

!

ユーザー受け入れテスト

ユーザー受け入れテスト (UAT) は、チームが顧客から要求された価値を確実に提供するのに役立ちます。 UAT テスト計画とスイートを作成し、複数のテスト担当者を招待してこれらのテストを実行し、軽量のグラフを使用してテストの進行状況と結果を監視できます。 方法については、「 ユーザー受け入れテスト」を参照してください。

テストとフィードバック拡張機能を使用した探索的テスト

Test & Feedback 拡張機能は、Web アプリをいつでもどこでもテストするために使用できる単純なブラウザーベースの拡張機能であり、チーム内のすべてのユーザーが使用するのに十分なシンプルです。 これにより、問題を見つけるのにより多くの時間を費やし、それらを提出する時間を減らすことで、生産性を向上させることができます。

利害関係者のフィードバック

マーケティングチームや営業チームなど、開発チームの外部の利害関係者からのフィードバックを求めることは、高品質のソフトウェアを開発するために不可欠です。 開発者は、ユーザー ストーリーと機能に関するフィードバックを要求できます。 利害関係者は、ブラウザー ベースのテストおよびフィードバック拡張機能を使用してフィードバック要求に応答できます。コメントの評価と送信だけでなく、豊富な診断データをキャプチャし、バグやタスクを直接提出することもできます。 詳細については、「 利害関係者のフィードバックを要求する」 と 「利害関係者のフィードバックを提供する」を参照してください。

自動テスト

自動テストは、Azure Pipelines 内でテストを実行することで容易になります。 テスト分析では、ビルドとリリースのテスト データをほぼリアルタイムで可視化できます。 これは、反復的で影響の大きい品質の問題を特定することで、パイプラインの効率を向上させるのに役立ちます。

Azure Test Plansでは、次の方法で自動テストがサポートされます。

• テスト 計画またはテスト ケースをビルドまたはリリース パイプラインに関連付ける

• パイプライン定義内でテスト有効化タスクを指定します。 Azure Pipelines には、包括的なテスト レポートと分析エクスペリエンスをサポートする、以下に示すタスクを含むいくつかのタスクが用意されています。

  • テスト結果の発行タスク: テスト結果を Azure Pipelines に発行するために使用します。
  • Visual Studio テスト タスク: Visual Studio テスト ランナーを使用して単体テストと機能テスト (Selenium、Appium、コード化された UI テストなど) を実行するために使用します。
  • .NET Core CLI タスク: dotnet アプリケーションのビルド、テスト、パッケージ化、または発行に使用します。

  その他のタスクについては、「テスト結果の発行タスク」を参照してください。

• 組み込みのレポートと構成可能なダッシュボード ウィジェットを提供して、パイプライン テストの結果を表示します。

• テスト結果と関連するテスト データを Analytics サービスに収集します。

追跡可能性

Azure Test Plansでは、バグと要件をテスト ケースとテスト スイートにリンクすることがサポートされています。 さらに、次の Web ポータルでは、テスト関連のツールで追跡可能性がサポートされています。

• テスト ケースにリンクされている項目の表示: テスト ケースがリンクしているテスト プラン、テスト スイート、要件、バグを表示します。
• かんばんボードからテストを追加して実行する: かんばんボードのユーザー ストーリー、機能、またはバグからのテスト ケースの定義をサポートするAzure Boards機能。 また、テスト ランナーまたはテスト & フィードバック拡張機能を起動して、テストを実行したり、探索的テストを実行したりできます。
• 要件品質ウィジェット: ビルドまたはリリース パイプラインから継続的に品質を追跡するために使用される構成可能なウィジェット。 ウィジェットには、要件と、その要件に対して実行された最新のテスト結果の間のマッピングが表示されます。 要件の追跡可能性に関する分析情報が提供されます。 たとえば、品質を満たしていない要件、テストされていない要件などです。

テスト ケースにリンクされているアイテムを表示する

テスト 計画ハブから、テスト ケースにリンクされているテスト スイート、要件、バグを表示して開くことができます。 [ テスト スイート ] タブには、テスト ケースを参照するテスト 計画とプロジェクトも示されます。 [ 要件 ] タブには、要件カテゴリに属するテスト ケースにリンクされている作業項目が一覧表示されます。 さらに、リンクの種類で テスト/ テストを使用してテスト ケースにリンクする項目を一覧表示する直接リンク クエリを作成できます。 詳細については、「 テスト ケースを作成 する」および 「直接リンクを使用して依存関係を表示する」を参照してください。

かんばんボードからテストを追加して実行する

Azure Boardsかんばんボードから、ユーザー ストーリーまたは機能からテストを追加し、テスト ケースをユーザー ストーリーまたは機能に自動的にリンクできます。 かんばんボードから直接テスト ケースを表示、実行、操作し、カードから状態を段階的に直接監視できます。 詳細については、「 インライン テストの追加、実行、更新」を参照してください。

要件品質ウィジェット

[要件品質] ウィジェットには、スコープ内のすべての要件の一覧と、テストの 合格率 と 失敗した テストの数が表示されます。 [失敗したテスト数] を選択すると、選択したビルドまたはリリースの [ テスト ] タブが開きます。 ウィジェットは、関連するテストなしで要件を追跡するのにも役立ちます。 詳細については、「要件の 追跡可能性」を参照してください。

レポートおよび分析

レポートと分析をサポートするために、Azure Test Plansでは、テスト追跡グラフ、テスト実行ハブ、組み込みのパイプライン テスト レポート、ダッシュボード ウィジェット、および Analytics サービスに格納されているテスト データがサポートされています。

• 構成可能なテスト グラフ: テスト追跡グラフを作成することで、テスト 計画の作成と実行アクティビティに関する分析情報を得ることができます。
• 進行状況レポート: 1 つまたはテスト 計画またはテスト スイートの進行状況を追跡します。
• テストの実行: 手動および自動のテスト実行の結果を確認します。
• ダッシュボード ウィジェット: 選択したビルドまたはリリースに基づいてテスト結果を表示する構成可能なウィジェット。 ウィジェットには、 デプロイ状態 ウィジェットと テスト結果傾向 (詳細) ウィジェットが含まれます。
• Test Analytics: 組み込みのパイプライン レポートから詳細な分析情報を取得するか、Analytics サービスにクエリを実行してカスタム レポートを作成します。

構成可能なテスト グラフ

任意の種類のグラフを使用して手動テスト結果を追跡するように軽量のグラフをすばやく構成し、これらの結果を簡単に分析できるようにグラフをダッシュボードにピン留めします。 アイテム保持ポリシーを選択して、手動テストの結果を保持する期間を制御します。 詳細については、「 テスト状態の追跡」を参照してください。

進行状況レポート

進行状況レポート ハブを使用すると、チームは複数のテスト計画またはテスト スイートの進行状況を追跡できます。 このレポートは、次の質問に答えるのに役立ちます。

• どのくらいのテストが完了していますか?
• 合格したテスト、失敗したテスト、またはブロックされているテストの数はいくつですか?
• テストは時間内に完了する可能性がありますか?
• 1 日あたりの実行率は何ですか?
• 注意が必要なテスト領域はどれですか?

テストの実行

[実行] ハブには、テスト実行の結果が表示されます。 これには、手動と自動の両方のすべてのテスト実行が含まれます。

注意

Runs ハブは、Azure DevOps Server 2020 以降のバージョンで使用できます。 テスト実行データの格納と管理に使用される Analytics サービスを有効にする必要があります。 サービスの詳細については、「Analytics サービスとは」を参照してください。

特定の実行を選択して、テスト実行の概要を表示します。

[デプロイ ステータス]

デプロイ状態ウィジェット構成可能ウィジェットには、最近のビルドセットの複数の環境にわたるデプロイ状態とテスト合格率の組み合わせビューが表示されます。 ウィジェットを構成するには、ビルド パイプライン、ブランチ、およびリンクされたリリース パイプラインを指定します。 リリース内の複数の環境にわたるテストの概要を表示するために、ウィジェットには、各環境と対応するテスト合格率のマトリックス ビューが用意されています。

ビルドの概要にカーソルを合わせると、詳細 (具体的には、成功したテストと失敗したテストの数) を表示できます。

テスト結果の傾向 (詳細)

テスト結果の傾向 (高度) ウィジェットでは、複数のビルドとリリースのテスト データをほぼリアルタイムで可視化できます。 ウィジェットには、選択したパイプラインのテスト結果の傾向が表示されます。 これを使用して、テスト、合格率、テスト期間の 1 日あたりのカウントを追跡できます。 テスト品質を経時的に追跡し、テスト資料を改善することは、正常な DevOps パイプラインを維持するための鍵です。 ウィジェットでは、1 つ以上のビルド パイプラインまたはリリース パイプラインの高度なメトリックの追跡がサポートされています。 ウィジェットでは、結果、スタック メトリックなどによるテスト結果のフィルター処理も可能です。 詳細については、「 テスト結果の傾向 (詳細) ウィジェットを構成する」を参照してください。

テスト分析

組み込みのテストとテストでサポートされているウィジェットは、Analytics サービスからデータを派生させます。 Analytics サービスは、Azure DevOps のレポート プラットフォームです。 Test Analytics データは、Azure DevOps Server 2019 以降のバージョンで使用できます。 [分析とテスト] タブと、Pipelines ハブから使用できるドリルダウン レポートがサポートされています。 テストの失敗のドリルダウン レポートには、合格したテストと失敗したテストの概要が表示されます。 詳細については、「 Test Analytics」を参照してください。

さらに、Analytics サービスにクエリを実行してカスタム レポートを作成することもできます。 詳細については、「 OData クエリを使用したサンプル レポートの概要」を参照してください。

次のステップ

テストのオブジェクトと用語

関連記事

• Test Plans 内を移動する
• テスト 計画、テスト スイート、テスト ケースをコピーまたは複製する
• 自動テストとテス トケースを関連付ける
• フィードバックの要求と提供について
• サービス間の統合とコラボレーションの概要
• パイプライン テストについて

その他の技術情報

• 単体テスト
• 単体テストの基本
• Durable Functions の単体テスト
• Azure のロード テストとは