什么是 Azure Test Plans？
Azure DevOps Services | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018
Azure Test Plans提供了团队中每个人可用于推动整个开发过程中质量和协作的丰富且强大的工具。 易于使用的基于浏览器的测试管理解决方案提供计划手动测试、用户验收测试、探索性测试以及收集利益干系人反馈所需的所有功能。
注意
本文适用于 Azure DevOps Services 和 Azure DevOps Server 2020 及更高版本。 大多数信息对于早期本地版本有效，但映像仅显示最新版本的示例。 此外，用户界面在 2020 Azure DevOps Server版本中发生了重大变化。 有关新接口和支持的功能的概述，请参阅 Navigate Test Plans。
Azure Test Plans的工作原理是什么？
通过基于浏览器的工具（测试计划、进度报告、参数、配置、运行和测试工具）以及DevOps集成功能的组合，Azure Test Plans支持以下测试目标：
手动和探索性测试：手动和探索性测试，其中包括以下测试活动：
自动测试：Azure Test Plans与Azure Pipelines完全集成，以支持在持续集成/持续部署 (CI/CD) 内进行测试。 测试计划和测试用例可以与生成或发布管道相关联。 可将管道任务添加到管道定义中，以捕获和发布测试结果。 可以通过内置进度报告和管道测试报告查看测试结果。
可跟踪性：链接到用户情景、功能或要求的测试用例和测试套件支持端到端可跟踪性。 测试和缺陷会自动链接到要测试的要求和生成，这也有助于跟踪要求的质量。 用户可以从看板或大型团队添加和运行测试，使用测试计划中心定义测试计划和测试套件。 管道结果和要求小组件提供了跟踪要求测试的方法。
报告和分析：可通过可配置的跟踪图表、可添加到仪表板的测试特定小组件以及内置报表（如进度报告、管道测试结果报告和分析服务）支持测试结果跟踪和进度监视。
注意
负载和性能测试：虽然Azure DevOps基于云的负载测试服务已弃用，但 Azure 负载测试预览版可用。 Azure 负载测试预览版是一项完全托管的负载测试服务，可用于使用现有的 Apache JMeter 脚本生成大规模负载。 若要了解详细信息，请参阅什么是 Azure 负载测试预览版？ 有关弃用Azure DevOps负载测试的详细信息，请参阅 Azure DevOps Visual Studio 中的负载测试功能更改和云负载测试。
主要优点
Azure Test Plans提供软件开发团队以下优势。
在任何平台上进行测试：使用 Test Plans Web 门户，可以使用任何受支持的浏览器访问所有手动测试功能。 它使你可以通过易于使用的基于浏览器的界面 创建 和 运行手动测试 ，用户可以从任何平台上的所有主要浏览器访问这些界面。
丰富的诊断数据收集：使用基于 Web 的测试运行程序和测试运行程序客户端，可以在手动测试期间 收集丰富的诊断数据 。 这包括屏幕截图、图像操作日志、屏幕录制、代码覆盖率、IntelliTrace 跟踪，以及测试应用测试影响数据。 此数据自动包含在测试期间创建的所有 bug 中，使开发人员可以轻松地重现问题。
端到端可跟踪性：Azure DevOps提供要求、生成、测试和 bug 的端到端可跟踪性。 用户可以从看板上的卡片跟踪其要求质量。 测试时创建的 Bug 会自动链接到要测试的要求和生成，这有助于跟踪要求或生成的质量。
集成分析：Analytics 服务提供将数据馈送到内置报表、可配置仪表板小组件以及使用Power BI的可自定义报表中。 数据跟踪手动和自动测试的测试计划进度和趋势。 测试分析提供对生成和发布的测试数据的准实时可见性。 Teams可以对此数据采取行动，以改善测试辅助资料，以帮助维护正常的管道。
可扩展平台。 可以将你已了解的工具和技术与最适合你集成的开发工具组合在一起，并扩展Azure DevOps。 使用可用于测试平台的 REST API 和贡献模型创建扩展，以提供测试管理生命周期所需的体验。
支持的方案和访问要求
通过分配给用户的访问级别来管理对Azure DevOps Web 门户功能的访问权限。 三个主要访问级别是 利益干系人、 基本和 基本+测试 计划，如 “关于访问级别”中所述。 下表指示使用Azure Test Plans执行关联任务所需的访问级别。 除了访问级别，选择功能还需要执行权限。 若要了解详细信息，请参阅 手动测试访问权限和权限。
方案和任务
利益干系人
基本
基本 +Test Plans
测试规划
- 创建测试计划和测试套件
- 管理测试计划运行设置
- 管理配置
✔️
测试执行
- 使用测试运行程序在任何平台 (Windows、Linux、Mac) 上运行测试
✔️
✔️
使用测试 & 反馈扩展执行探索性测试
✔️
✔️
✔️
分析和查看测试
- 使用各种透视（例如优先级、配置等）创建图表以跟踪测试进度
- 浏览测试结果
- 导出测试计划和测试套件以供审阅
- 用户验收测试 - 通过电子邮件分配测试和邀请
✔️
✔️
手动和探索性测试
为了支持手动和探索性测试，Azure Test Plans使用特定于测试的工作项类型来规划和创作测试。 此外，它还提供两个测试工具来支持运行测试。 测试计划、参数和配置中心提供了用于高效创建和管理测试项目、其设置和配置的工具。 测试套件可以是动态的（基于要求的套件和基于查询的套件），可帮助你了解开发中的关联要求的质量，也可以是静态的，以帮助你涵盖回归测试。
特定于测试的工作项类型
工作项类型（Test Plans、测试套件、测试用例、共享步骤和共享参数）支持多个显式链接，以支持跨多个测试用例跟踪和共享测试步骤和数据。 可以将测试用例分配为手动或自动化。 有关其中每个测试项的说明，请参阅 测试对象和术语。
注意
使用 Azure DevOps Server 2020 及更高版本，可以通过将测试任务添加到管道来执行自动测试。 使用测试任务时，不需要定义测试计划、测试用例和测试套件。
定义测试计划和测试套件
从 测试计划 中心创建和管理测试计划和测试套件。 将一个或多个测试套件（静态、基于要求或基于查询）添加到测试计划。 与团队导出和共享测试计划和测试套件。 若要了解如何操作，请参阅 创建测试计划和测试套件 以及 复制或克隆测试计划、测试套件和测试用例。
使用测试用例创作测试
通过定义测试步骤和要引用的测试数据（可选）来定义手动测试用例。 测试套件由一个或多个测试用例组成。 可以在测试套件中共享测试用例。 用于定义测试用例的网格视图支持复制、粘贴、插入和删除操作。 快速分配单个或多个测试人员来执行测试。 跨测试套件查看测试结果和对测试用例的引用。 若要了解如何操作，请参阅 创建测试用例。
在每个测试用例中，指定一组测试步骤，其中包含其预期结果。 （可选）可以添加 共享步骤 或 共享参数。 为便于跟踪，请将测试用例链接到他们测试的用户情景、功能或 bug。
管理共享参数
Teams使用参数中心来定义和管理跨测试用例共享的参数。 共享参数支持多次使用不同的测试数据重复手动测试。 例如，如果你的用户可以将不同数量的产品添加到购物车中，则你会希望查看添加 200 个产品的方式是否与添加 1 个产品的方式相同。
管理测试配置和变量
借助 配置 中心，团队可以定义、查看和管理测试计划引用的测试配置和变量。 测试配置支持在不同操作系统、Web 浏览器和版本上测试应用程序。 与共享参数一样，可以在多个测试计划中共享测试配置。
测试执行和测试工具
通过以下工具，开发人员、测试人员和利益干系人可以在执行测试时启动测试和捕获丰富的数据，并自动记录链接到测试的代码缺陷。 通过跨桌面或 Web 应用执行测试来测试应用程序。
- 测试运行程序：基于浏览器的工具，用于测试 Web 应用程序和桌面客户端版本，用于测试从 测试计划 中心启动的桌面应用程序以运行手动测试。 测试运行程序在执行测试时支持丰富的数据收集，例如图像操作日志、视频录制、代码覆盖率等。它还允许用户创建 bug 并标记测试的状态。
- 测试 & 反馈扩展：支持从 Chrome、Edge 或 Firefox 浏览器访问的探索性测试的免费扩展。 该扩展捕获通过图像或视频浏览的应用程序的交互，并输入口头或类型写入的评论。 反馈响应工作项类型中捕获信息，以帮助跟踪响应数据。
测试执行功能
可以使用指示的工具执行以下任务。
| 任务 | 测试计划中心 | 测试运行程序 | 测试 & 反馈扩展 |
|---|---|---|---|
| 批量标记测试 | ✔️ | ||
| 通过或失败测试或测试步骤 | ✔️ | ✔️ | |
| 执行期间对测试的内联更改 | ✔️ | ✔️ | |
| 暂停和恢复测试 | ✔️ | ✔️ | |
| 测试执行过程中的文件 bug | ✔️ | ✔️ | |
| 在测试执行期间捕获屏幕截图、图像操作日志和屏幕录制 | ✔️ | ✔️ | |
| 在测试执行期间更新现有 bug | ✔️ | ✔️ | |
| 验证 bug | ✔️ | ✔️ | |
| 为测试运行分配生成 | ✔️ | ||
| 分配测试设置 | ✔️ | ||
| 查看测试运行 | ✔️ |
执行测试
从 测试计划 中心“ 执行 ”选项卡，团队成员可以针对为测试套件定义的一个或多个测试用例启动测试执行。 选项包括运行 Web 或桌面应用程序的 测试运行程序 。 或者，团队成员可以选择“ 运行”选项 ，选择其他受支持的客户端进行手动测试，或选择用于自动测试的生成。 若要了解详细信息，请参阅 “运行手动测试”。
测试运行程序
测试运行程序 针对 Web 和桌面应用程序运行测试。 将测试步骤和测试结果标记为通过或失败，并在测试时收集诊断数据，例如系统信息、图像操作日志、屏幕录制和屏幕捕获。 在测试期间提交的 Bug 会自动包括所有捕获的诊断数据，以帮助开发人员重现问题。 若要了解详细信息，请参阅 适用于 Web 应用的运行测试 ， 以及桌面应用的运行测试。
!
用户验收测试
用户验收测试 (UAT) 有助于确保团队交付客户请求的值。 可以创建 UAT 测试计划和套件，邀请多个测试人员执行这些测试，并使用轻型图表监视测试进度和结果。 若要了解如何操作，请参阅 用户接受测试。
使用测试 & 反馈扩展进行探索性测试
测试&反馈扩展是一个简单的基于浏览器的扩展，可用于随时随地测试 Web 应用，并且足以让团队中的每个人使用。 它有助于提高工作效率，让你花更多的时间查找问题，减少提交问题的时间。
利益干系人反馈
寻求开发团队外部利益干系人（如营销和销售团队）的反馈对于开发高质量的软件至关重要。 开发人员可以请求对其用户情景和功能的反馈。 利益干系人可以使用基于浏览器的测试 & 反馈扩展来响应反馈请求，而不仅仅是通过直接捕获丰富的诊断数据和提交 bug 和任务来评价和发送批注。 有关详细信息，请参阅 “请求利益干系人反馈 ”和 “提供利益干系人反馈”。
自动测试
通过在Azure Pipelines内运行测试来简化自动测试。 利用测试分析功能可以近乎实时地了解用于生成和发布的测试数据。 它通过识别重复的高影响质量问题来帮助提高管道效率。
Azure Test Plans通过以下方式支持自动测试：
将测试计划或测试用例与生成或发布管道相关联
在管道定义中指定测试启用任务。 Azure Pipelines提供了多个任务，包括下面列出的任务，这些任务支持全面的测试报告和分析体验。
- 发布测试结果任务：用于将测试结果发布到Azure Pipelines。
- Visual Studio测试任务：用于使用Visual Studio测试运行程序 (Selenium、Appium、编码 UI 测试等) 运行单元和功能测试。
- .NET Core CLI 任务：用于生成、测试、打包或发布 dotnet 应用程序。
有关其他任务，请参阅 “发布测试结果”任务
提供内置报表和可配置仪表板小组件以显示管道测试结果。
将测试结果和关联的测试数据收集到 Analytics 服务中。
可跟踪性
Azure Test Plans支持将 bug 和要求链接到测试用例和测试套件。 此外，以下 Web 门户、与测试相关的工具支持可跟踪性：
- 查看链接到测试用例的项目：查看测试用例链接到的测试计划、测试套件、要求和 bug。
- 从看板添加和运行测试：支持从看板定义用户情景、功能或 bug 中的测试用例的Azure Boards功能。 此外，还可以启动测试运行程序或测试 & 反馈扩展来运行测试或执行探索性测试。
- 要求质量小组件：用于从生成或发布管道持续跟踪质量的可配置小组件。 该小组件显示针对该要求执行的要求与最新测试结果之间的映射。 它提供有关要求可追溯性的见解。 例如，不满足质量的要求、未测试的要求等。
查看链接到测试用例的项目
在 测试计划 中心，可以查看并打开链接到测试用例的测试套件、要求和 bug。 “ 测试套件 ”选项卡还指示引用测试用例的测试计划和项目。 “ 要求 ”选项卡列出了链接到属于要求类别的测试用例的工作项。 此外，还可以创建一个直接链接查询，用于列出通过 链接类型测试/测试 测试用例链接到测试用例的项目。 若要了解详细信息，请参阅 创建测试用例 并使用 直接链接查看依赖项。
从看板添加和运行测试
从Azure Boards看板，你可以从用户情景或功能中添加测试，自动将测试用例链接到用户情景或功能。 可以直接从看板查看、运行和与测试用例进行交互，并直接从卡片逐步监视状态。 在 添加、运行和更新内联测试中了解详细信息。
“要求质量”小组件
“要求质量”小组件显示范围中所有要求的列表，以及测试的 合格率 和 失败 测试计数。 选择失败的测试计数将打开所选生成或发布的 “测试 ”选项卡。 该小组件还有助于跟踪要求，而无需任何关联的测试 (s) 。 若要了解详细信息，请参阅 要求可追溯性。
报告和分析
为了支持报告和分析，Azure Test Plans支持测试跟踪图表、测试运行中心、几个内置管道测试报告、仪表板小组件和存储在 Analytics 服务中的测试数据。
- 可配置的测试图表：可以通过创建测试跟踪图表来深入了解测试计划创作和执行活动。
- 进度报告：跟踪一个或测试计划或测试套件的进度。
- 测试运行：查看手动和自动测试运行的结果。
- 仪表板小组件：基于所选版本或版本显示测试结果的可配置小组件。 小组件包括 部署状态 小组件和 测试结果趋势 (高级) 小组件。
- 测试分析：通过查询 Analytics 服务获取内置管道报表的详细见解或创建自定义报表。
可配置的测试图表
快速配置轻型图表以使用所选图表类型的图表跟踪手动测试结果，并将图表固定到仪表板以轻松分析这些结果。 选择保留策略来控制手动测试结果的保留时间。 有关详细信息，请参阅 Track 测试状态。
进度报告
借助 进度报告 中心，团队可以跟踪多个测试计划或测试套件的进度。 此报告有助于回答以下问题：
- 测试完成多少？
- 已通过、失败或被阻止的测试数？
- 测试是否可能及时完成？
- 每日执行率是多少？
- 哪些测试区域需要注意？
测试运行
“运行”中心显示测试运行的结果。 这包括所有测试运行，包括手动和自动运行。
注意
运行中心可用于 Azure DevOps Server 2020 及更高版本。 它需要启用用于存储和管理测试运行数据的 Analytics 服务。 若要了解有关该服务的详细信息，请参阅 什么是 Analytics 服务？
选择任何特定运行以查看测试运行的摘要。
部署状态
部署状态小组件可配置小组件显示部署状态和测试跨多个环境测试传递率的组合视图，用于一组最近的生成。 通过指定生成管道、分支和链接发布管道来配置小组件。 若要查看发布中多个环境的测试摘要，小组件提供了每个环境的矩阵视图和相应的测试通过率。
将鼠标悬停在任何生成摘要上，可以查看更多详细信息，特别是通过和失败的测试数。
测试结果趋势 (高级)
“测试结果趋势” (高级) 小组件提供对多个生成和版本的测试数据的准实时可见性。 该小组件显示了所选管道的测试结果趋势。 可以使用它跟踪每日测试计数、通过率和测试持续时间。 随着时间推移跟踪测试质量并提高测试抵押品是维护正常DevOps管道的关键。 该小组件支持跟踪一个或多个生成管道或发布管道的高级指标。 该小组件还允许按结果、堆叠指标等筛选测试结果。 若要了解详细信息，请参阅 配置测试结果趋势 (高级) 小组件。
测试分析
内置测试和测试支持的小组件从 Analytics 服务派生其数据。 Analytics 服务是用于Azure DevOps的报告平台。 测试分析数据可用于 Azure DevOps Server 2019 及更高版本。 它支持从Pipelines中心提供的“分析和测试”选项卡和向下钻取报表。 “测试失败向下钻取”报表提供已通过和失败的测试摘要。 若要了解详细信息，请参阅 测试分析。
此外，还可以通过查询 Analytics 服务创建自定义报表。 若要了解详细信息，请参阅 使用 OData 查询的示例报表概述。