Visual Studio ALM の Analysis Services データベースでのテスト パースペクティブを使用したテスト結果の分析およびレポート
Visual Studio Team Foundation Serverに SQL Server の Analysis Services キューブにテストの観点を使用すると、テスト結果およびテスト実行のレポートに関連するメジャー、ディメンション、および属性を表示できます。たとえば、各ビルド、影響を受ける特定のビルドと実行したテスト ケースの数テストの全体的な品質を確認これらの方法を使用できます。また、結果の結果への変更に関する事項を確認できます。
テストのメジャー グループはテストのプロパティまたは独立した結果としてテスト結果のレポートを有効にするテスト結果のリレーショナル テーブルに基づいています。詳細については、「テスト結果テーブル」を参照してください。
.png "\"テスト\" メジャー グループ") |
テストの観点を使用して、次の事項を確認するレポートを作成できます: 状態レポート:
傾向レポート:
.gif "メモ") メモ
Visual Studio アプリケーション ライフサイクル管理 (ALM) 用データ ウェアハウスで SQL Server Enterprise Edition を使用している場合は、キューブの一覧に Team System と一連のパースペクティブが含まれます。点は、 Team System キューブ内のメジャー グループおよびディメンションすべてをスクロールする必要がないように、対象を絞ったデータのビューを提供します。
|
多くのテストのメジャー、ディメンション属性を使用するには、テスト チームは Team Foundation Serverのデータ ストアにテスト結果を発行する必要があります。詳細については、このトピックの 管理のテストおよびビルドに必要なアクティビティ を参照してください。
このトピックの内容
例: テストのユーザー ストーリーの進行状況レポート
テストの手段
フィルター処理および並べ替えをサポートするテストの点の寸法と属性
ビルド、ビルド構成、およびビルド プラットフォームの次元
テスト ケース、テスト構成、テスト計画とテスト スイートの次元
テスト結果 " ディメンション
テスト実行の次元
作業項目と作業項目のリンク ディメンション
テストおよびビルドを管理するために必要なアクティビティ
例: テストのユーザー ストーリーの進行状況レポート
Excel でピボットテーブル レポートおよびピボットグラフ レポートを使用すると、次の図でユーザー ストーリーのテストの進行状況を示すレポートと同様の状態レポートを作成できます。
.png "ユーザー ストーリー テスト状態 Excel レポート")
Microsoft Solutions Framework v5.0 のプロセス (MSF) テンプレートでは、 Excel でユーザー ストーリー テスト状態レポートと要件のテストの状態レポートが含まれます。詳細については、「ユーザー ストーリー テスト状態 Excel レポート (アジャイル)」および「要件テスト状態 Excel レポート (CMMI)」を参照してください。
ページのトップへ
.gif "ms244708.collapse_all(ja-jp,VS.110).gif")
指定し、フィルター処理するピボット フィールド
.png "ユーザー ストーリー テストの進行状況のピボット フィールド")
次の手順を実行することにより、テストのユーザー ストーリーの進行状況レポートを作成できます:
Excel では、 Analysis Services に Team Foundation Serverのキューブに接続し、ピボットグラフ レポートを挿入します。
詳細については、「Microsoft Excel での Visual Studio ALM のレポートの作成」を参照してください。
グラフを右クリックし、 **グラフの種類を変更します。**をクリックし、 区分をクリックし、 積み上げ横棒をクリックします。
各レポートのフィルターでは、次の各フィールドを右クリックして、対象の階層または要素を指定し、 レポートのフィルター の領域にフィールドをドラッグします。
チーム プロジェクト の次元のチーム プロジェクト階層
チーム プロジェクト の次元の区分パス
テスト ケース の次元のイテレーション パス
リンクされた作業項目 の次元の作業項目の種類
作業項目のユーザー ストーリー、要件、またはレポートすることにリンクされているテスト ケースを持つ別の型として型を指定します。
値 の領域に テスト のメジャー グループの下から ポイント数の傾向 フィールドをドラッグします。
列ラベル の領域に テスト結果 " ディメンションの下から 成果 フィールドをドラッグします。
ページのトップへ
テストの手段
次の表は、テストのメジャー グループに含まれる方法を示します。特定のビルドのテスト結果と結果の集計またはテスト結果の変更された結果によってテスト結果を分析できます。
メジャー |
Description |
|---|---|
ビルド結果数の傾向 |
特定のビルドの各結果のほとんどの新しいバージョンをカウントします。 このメジャーを使用するレポートの例については、 ビルドの品質評価 Excel レポート" " を参照してください。 |
ポイント数の傾向 |
特定のビルドにおける各テスト結果のほとんどの新しいバージョンの数。1 つのビルドに対してテストを複数回実行した場合、このビルドを使用するテストの最新の結果が [ポイント数の傾向] フィールドによってカウントされます。テスト ケースがビルドに含まれていない場合、テスト ケースは 「実行しない」テスト ケースとしてカウントされます。 いくつのテストが現在のビルドに失敗しているテストやするこの方法を使用します。 |
結果数 |
各テスト結果のほとんどの新しいバージョンをカウントします。テストの全体的な量を確認するには、このメジャーを使用します。 このメジャーを使用するレポートの例については、 ビルド品質指標レポート" " を参照してください。 |
結果移行数 |
結果が特定のビルドで変更されたすべての結果をカウントします。どのテストが特定のビルドによって影響を受けた確認するには、このメジャーを使用します。 |
テスト ケース数 |
テスト ケースの数。特定のテストの実行またはビルドのテスト ケースが実行された数を確認するには、このメジャーを使用します。 |
フィルター処理および並べ替えをサポートするテストの点の寸法と属性
このセクションで説明する属性を使用して、メジャーを集計するか、レポートをフィルター処理、レポートの軸を指定できます。これらの属性は 共有次元の使用 で説明する チーム プロジェクト と 日付 の共有次元に追加されます。
このセクションの内容
ビルド、ビルド構成、およびビルド プラットフォームの次元
テスト ケース、テスト構成、テスト計画とテスト スイートの次元
テスト結果 " ディメンション
テスト実行の次元
作業項目と作業項目のリンク ディメンション
ページのトップへ
ビルド、ビルド構成、およびビルド プラットフォームの次元
ビルド定義、ビルド構成、または次の表に示す属性を使用してビルド プラットフォームに基づいてテスト レポートをフィルター処理できます。
ディメンション |
属性 |
Description |
|---|---|---|
Build |
ビルド定義名 |
ビルドが実行されたビルド定義に割り当てられた名前。 この属性を使用するレポートの例については、 ビルドの品質評価 Excel レポート" " を参照してください。 |
ビルド ID |
ビルドに割り当てる数。これが特定のビルド定義が実行されるたびに、 ビルド ID は 1. でインクリメントされます。 |
|
ビルド名 |
ビルドを識別する式または名前。詳細については、「ビルド番号の使用」を参照してください。 |
|
ビルド開始時間 |
ビルドが開始された日時。 |
|
ビルドの種類 |
ビルドがに実行されたかします。ビルドの種類がビルドに対して定義されたトリガーに関連付けられます。Team Foundation Server は 、ビルドの種類をサポートします: 前のビルドが完了するまで継続的な手動 （チェックインごとにトリガーされます）、 （チェックインを収集します）コピー、ゲート チェックインは、スケジュールします。詳細については、「ビルド トリガーと理由の指定」を参照してください。 |
|
格納場所 |
定義したビルドにグループ化するとして指定され、格納 (URL)フォルダー。URL が Web ブラウザーが Internet リソースを検索するプロトコルを指定します。URL には、リソースがあるサーバーの名前が含まれています。また、リソースへのパスを含めることができます。 詳細については、「ステージング場所の選択およびドロップ フォルダーの設定」を参照してください。 |
|
ビルド フレーバー |
ビルド フレーバー |
（発行されたテスト結果のみ）テストの実行の一部として発行された一連の完了したビルドに割り当てるビルドのカテゴリを指定する A の名前。ベータ版または最終リリースを指定するには、たとえば、ビルド構成を使用できます。詳細については、「テスト結果を発行するためのコマンド ライン オプション」を参照してください。 |
ビルド プラットフォーム |
ビルド プラットフォーム |
エンド ツー エンドの （デスクトップの）ビルドが行われたマシンのプラットフォームの名前 （たとえば、 x86 か CPU）。詳細については、「既定テンプレートに基づくビルド プロセスの定義」を参照してください。 |
ページのトップへ
テスト ケース、テスト構成、テスト計画とテスト スイートの次元
テスト ケース、テスト構成、テスト計画、どのように編成できます。テスト スイートの次元は最終的なまたは Visual Studio 2010 からの Microsoft テスト マネージャーを使用して構成し、自動化し、テスト対応する Studio Test Professional。
テスト ケースは、チームが Microsoft テスト マネージャーを使用して実行および管理できる手動テストおよび自動テストの両方を定義するには、テスト チームが使用する作業項目の種類に対応します。テスト計画、テスト スイートとテスト構成で構成されます。テスト構成は、テストを実行するソフトウェアやハードウェアを定義します。テスト スイートは、テスト ケースをグループ化できるように計画内の階層を定義します。
詳細については、次のトピックを参照してください。
ディメンション |
属性 |
Description |
|---|---|---|
テスト ケース |
領域の階層と多く |
作業項目やテスト ケース " ディメンションは状態、作業項目の種類、および作業項目 ID などの作業項目に、関連するすべての属性が含まれていますテスト ケース " ディメンションの構造については、 " " を参照してください 作業項目パースペクティブを使用した作業項目とテスト ケース データの分析およびレポート。 各属性の詳細については、 Visual Studio ALM の作業項目フィールド参照" " を参照してください。 方法の詳細については、およびイテレーション階層は、日付、領域を使用して、 Analysis Services キューブでの共有ディメンションの操作表示されます。 このメジャー グループは、作業項目の種類の定義のカスタム フィールドを reportable 属性として Dimension を指定するときに追加の属性が含まれています。reportable の省略可能な属性値および値を使用する方法の詳細については、 " " を参照してください。 作業項目フィールドの追加および修正とレポート作成のサポート |
テスト構成 |
構成の ID と構成名 |
システムが割り当てられるとテスト構成の名前数。 |
テスト計画 |
区分階層、領域パス、イテレーション階層とイテレーション パス |
テスト計画に割り当てられた製品区分とマイルストーン。 詳細については、「作業項目パースペクティブを使用した作業項目とテスト ケース データの分析およびレポート」を参照してください。 |
月または週間までに終了日階層 月または週間までに開始日階層 |
テスト計画の所有者がテスト計画に割り当てることができるオプションの値。は、テスト計画が開始される必要があること、およびテスト計画が終了する日付を日付を表します。 日付階層を使用する方法の詳細については、 " " を参照してください。 Analysis Services キューブでの共有ディメンションの操作 |
|
テスト計画 ID とテスト計画の名前 |
システムが割り当てられるとテスト計画の所有者が割り当てられる名前数。 |
|
テスト計画の所有者 |
作成するか、または現在テスト チーム メンバーのユーザー名は、テスト計画の所有者として割り当てられます。 |
|
テスト計画の ID、および状態 |
テスト計画の状態のシステムによって割り当てられた数と名前。たとえば、 非アクティブ は、テスト計画が行われて準備が整った実行できることをテスト計画を定義する、 アクティブ は、ことを示します。 |
|
テスト スイート |
テスト スイート階層 |
機能をプロジェクト コレクション、チーム プロジェクトとテスト スイートに基づいて複数のフィルターを指定するために使用します。 |
スイートのパス |
すべてのチーム プロジェクト コレクションのすべてのチーム プロジェクト用に構成されたテスト スイートの階層構造に対応します。 |
ページのトップへ
テスト結果 " ディメンション
次の表に、キューブのテストのメジャー固有の属性とすべての次元を示します。エラーの種類 か 解像度で報告する前にテスト チームはテスト実行の一部としてこの情報を設定する必要があります。
属性 |
Description |
|---|---|
失敗の種類と失敗の種類 ID |
テストが失敗した理由を次の原因の 1 に対応します: なし、 既知の問題、 新しい問題、または 回帰。 Microsoft テスト マネージャーは、それぞれの原因に自動的に数または ID を割り当てます。テスト チームは各にできますが、割り当てられる失敗の種類を失敗したテストを行う必要はありません。 メモ
に追加または失敗の種類の設定を変更できません。
示す傾向レポートの例のテスト結果の結果は失敗の種類に基づいて 失敗の分析 Excel レポート、 " " を参照してください。 |
結果と結果 ID |
テストの結果 （たとえば、 成功、 失敗しました、または 結果を作成できません）。 テスト計画とテスト構成の結果を示す傾向レポートの例については、 テスト計画の進行状況レポート" " を参照してください。 |
準備状態と準備の ID を示します |
テスト実行の特定のテストの状態。有効な値は 完了、 "、 なし、 NotReadyと 準備完了です。 |
解決状態 |
（省略可能）テスト担当者がテストの失敗の原因を特定する 解像度 の名前。既定では、すべての MSF プロセス テンプレートには、次の解決状態があります: 調査が必要、 テストの懸案事項、 製品の懸案事項と 構成の懸案事項。テスト チームは各にできますが、代入に、解決状態を失敗したテストを行う必要はありません。 メモ
チーム プロジェクトの作成後は、これらの状態を変更することも、状態を追加することもできません。詳細については、「Defining Resolution States for Test」を参照してください。
|
テスト結果の実行者 |
ユーザーまたは他の名前テストの実行に使用したアカウント。 この属性を使用するレポートの例については、 テスト チームの生産性 Excel レポート" " を参照してください。 |
テスト結果の所有者 |
ユーザーまたはテスト結果の所有者として割り当てられる他のアカウント名。代入は tcm /resultowner スイッチを使用して設定される値に対応します。 |
テスト結果の優先度 |
テスト実行の特定のテストの優先度。 |
ページのトップへ
テスト実行の次元
次の表は、テスト実行のディメンションに対して定義されている属性を示します。これらの属性の多くは、テスト チームが指定したパラメーターに、テストを実行し、発行するときに対応します。詳細については、「tcm: コマンド ライン ユーティリティを使用したテスト計画からのテストの実行」を参照してください。
属性 |
Description |
|---|---|
日付、作成日、月または週間までに開始日階層を実行します。 |
テストの実行が作成されたときに日付は、終了したか、開始されました。レポートをフィルター処理または構成するには、これらの属性を使用できます。詳細については、「Analysis Services キューブでの共有ディメンションの操作」を参照してください。 |
自動化されている |
フラグ。テストの実行が一つ以上の自動テストが含まれていることを示します。 この属性を使用するレポートの例については、 ビルドの品質評価 Excel レポート" " を参照してください。 |
ビルド検証が実行されている |
フラグ。テストの実行がビルドの基本機能を確認するビルド確認テストが含まれているかどうかを示す。このフラグは tcm /buildverification スイッチに相当します。 この属性を使用するレポートの例については、 ビルドの品質評価 Excel レポート" " を参照してください。 |
テストの実行 ID |
システムがテスト実行に割り当てられた数。 |
テストの実行の所有者 |
テスト チームが作成または発行するテスト実行に割り当てる所有者に対応します。tcm /owner スイッチに相当します。 |
テストの実行の状態と ID |
名前または番号を付けて [テストの実行の状態に割り当てる （たとえば、 中止、 完了、 処理中、 未開始、または 不明）。 |
テストの実行のタイトル |
テスト チームが作成または発行するテスト実行に割り当てられているタイトルに対応します。tcm /title スイッチに相当します。 |
ページのトップへ
作業項目と作業項目のリンク ディメンション
ユーザー ストーリー、要件、バグなどの他の作業項目にテスト ケースをリンクできます。作業項目のリンク ディメンションを使用して、リンクされた作業項目に関連するテスト結果を提供するレポートを作成できます。このトピックで前に説明したテストのユーザー ストーリーの進行状況レポートは、リンクされた作業項目を使用例を示します。
各属性の詳細については、 Visual Studio ALM の作業項目フィールド参照" " を参照してください。
管理のテストおよびビルドに必要なアクティビティ
有用なデータを含むテスト レポートを作成するには、チーム メンバーはビルドとテストを管理するための次のアクティビティを実行する必要があります:
ビルド アクティビティ
ビルド システムの設定。Team Foundation ビルドを使用するには、チームでビルド システムを設定する必要があります。
詳細については、「Configure Your Build System」を参照してください。
ビルド定義の作成。チームは、少なくとも 1 台のビルド定義を作成する必要があります。チームは異なるプラットフォームのコードを生成するには、それぞれ実行できる複数のビルド定義を作成できます。また、チームは異なる構成で各ビルドを実行できます。
詳細については、「ビルド定義の作成」を参照してください。
（推奨）の 実行は定期的にビルド。チームは、チェックインのたびにまたは指定した間隔で自動的にビルドを実行できます。スケジュール トリガーを使用して、チームは自動的にまたはと同じ日付または日付指定するビルドして実行できます。
詳細については、「ビルド トリガーと理由の指定」および「ビルドの実行、監視、管理」を参照してください。
詳細については、「Team Foundation ビルド アクティビティ」を参照してください。
テスト管理アクティビティ
テスト ケース、テスト計画とテスト構成を定義します。テスト ケースとテスト計画でレポートするには、テスト チームはこれらの項目を定義する必要があります。テスト チームは、テスト スイートを定義し、テスト ケースをテスト計画に割り当てることができます。
（省略可能） テストおよび追跡の状態に製品区分とマイルストーンを割り当てます。テスト チームは各テスト ケースとテスト計画に 区分 と イテレーション のパスを指定できます。各テスト ケースの 状態 、各テスト計画の テスト計画の状態 を指定します。
（作業項目へのリンク省略可能）テスト ケース。たとえば、テスト チームはユーザー ストーリーにテスト ケースをリンクするに テスト担当者 のリンクの種類を使用して、各ストーリーのテストの進行状況を監視できます。
（省略可能） テストの結果をマークします。手動テストでは、テスト チームが渡されるように、テスト ケースの各有効性は検証のステップの結果を報告するに失敗しました。
.gif "重要 :")
重要テスト担当者は、状態の各検証テスト ステップを示す必要があります。テスト全体の結果は、マークされたすべてのテスト ステップの状態を反映します。したがって、テスト担当者がテスト ステップを失敗として表示するかは示されませんすべての手順を、テストは失敗の状態になります。
各自動テストは成功として自動的にマークされているか、または失敗しました。
（省略可能） コード カバレッジ データを収集するテストを構成します。コード カバレッジ データをレポートに表示するために、チーム メンバーはテストをインストルメントしてそのデータを収集する必要があります。
重要コード カバレッジ データを収集するには、ビルド エージェント コンピューターで Visual Studio Premium か Visual Studio Ultimate をインストールします。詳細については、「ビルド エージェントの配置および構成」を参照してください。
詳細については、「テスト設定を使用したコード カバレッジの構成は使用されなくなりました」および「How to: Gather Code-Coverage Data with Generic Tests」を参照してください。
ビルドの一部として自動的に実行するテストの定義。ビルド定義の一部として、ビルドの一部として実行する自動テストを定義して、コードの影響を分析してテストに変更します。
詳細については、「既定テンプレートに基づくビルド プロセスの定義」を参照してください。
発行のテスト。ビルドおよびテスト実行の一部として、テスト チームは Team Foundation Serverのデータ ストアにテスト結果を発行する必要があります。
詳細については、「テスト結果を発行するためのコマンド ライン オプション」を参照してください。
ページのトップへ
参照
概念
ビルド パースペクティブを使用したビルド詳細とビルド カバレッジの分析およびレポート
Team System の Analysis Services キューブで用意されているパースペクティブとメジャー グループ