什么是 Azure Test Plans？

  • 项目

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

Azure Test Plans提供了丰富而强大的工具，团队中的每个人都可以用来在整个开发过程中推动质量和协作。 易于使用的基于浏览器的测试管理解决方案提供了计划内手动测试、用户验收测试、探索性测试以及从利益干系人那里收集反馈所需的所有功能。

Azure Test Plans、Test Plans、全部的屏幕截图

注意

本文适用于 Azure DevOps Services 和 Azure DevOps Server 2020 及更高版本。 大部分信息对早期本地版本有效，但图像仅显示最新版本的示例。 此外，随着 Azure DevOps Server 2020 的发布，用户界面也发生了重大变化。 有关新接口和支持的功能的概述，请参阅导航Test Plans。

Azure Test Plans如何工作？

通过基于浏览器的工具（测试计划、进度报告、参数、配置、运行和测试工具）以及 DevOps 集成功能的组合，Azure Test Plans支持以下测试目标：

  • 手动和探索性测试：手动和探索性测试，包括以下测试活动：

    • 计划的手动测试。 手动测试：由指定的测试人员和测试主管将测试组织到测试计划和测试套件中。
    • 用户验收测试。 由指定用户验收测试人员执行的测试，以验证交付的价值是否满足客户要求，同时重用工程团队创建的测试项目。
    • 探索性测试。 开发团队（包括开发人员、测试人员、UX 团队、产品所有者等）通过在不使用测试计划或测试套件的情况下浏览软件系统来进行测试。
    • 利益干系人反馈。 测试由开发团队外部的利益干系人（例如来自营销和销售部门的用户）执行。

  • 自动测试：Azure Test Plans与 Azure Pipelines 完全集成，以支持在持续集成/持续部署 (CI/CD) 内进行测试。 测试计划和测试用例可以与生成或发布管道相关联。 可以将管道任务添加到管道定义中，以捕获和发布测试结果。 可以通过内置的进度报告和管道测试报告来查看测试结果。

  • 可跟踪性：链接到用户情景、功能或要求的测试用例和测试套件支持端到端可跟踪性。 测试和缺陷会自动链接到要测试的要求和生成，这也有助于跟踪要求的质量。 用户可以从看板添加和运行测试，或者对于较大的团队，请使用测试计划中心来定义测试计划和测试套件。 管道结果和“要求”小组件提供了一种跟踪要求测试的方法。

  • 报告和分析：通过可配置的跟踪图表、可添加到仪表板的测试特定小组件以及内置报表（如进度报告、管道测试结果报告和分析服务）支持测试结果跟踪和进度监视。

注意

负载和性能测试：Azure DevOps 基于云的负载测试服务已弃用，但 Azure 负载测试可用。 Azure 负载测试是一项完全托管的负载测试服务，使你能够使用现有的 Apache JMeter 脚本生成大规模负载。 若要了解详细信息，请参阅 什么是 Azure 负载测试？。 有关弃用 Azure DevOps 负载测试的详细信息，请参阅 对 Visual Studio 中的负载测试功能的更改和 Azure DevOps 中的云负载测试。

主要优点

Azure Test Plans为软件开发团队提供以下优势。

  • 在任何平台上进行测试：使用 Test Plans Web 门户，可以使用任何受支持的浏览器访问所有手动测试功能。 它使你能够通过易于使用的基于浏览器的界面 创建 和 运行手动测试 ，用户可以从任何平台上的所有主要浏览器访问该界面。

  • 丰富的诊断数据收集：使用基于 Web 的测试运行程序和测试运行程序客户端，可以在手动测试期间 收集丰富的诊断数据 。 这包括受测应用的屏幕截图、图像操作日志、屏幕录制、代码覆盖率、IntelliTrace 跟踪和测试影响数据。 此数据会自动包含在测试期间创建的所有 bug 中，使开发人员可以轻松重现问题。

  • 端到端可跟踪性：Azure DevOps 提供要求、生成、测试和 bug 的端到端可跟踪性，并将 工作项链接到其他对象。 用户可以从看板上的卡片跟踪其要求质量。 测试时创建的 Bug 会自动链接到要测试的要求和生成，这有助于跟踪要求或生成的质量。

  • 集成分析：分析服务提供将数据馈送到内置报表、可配置仪表板小组件以及使用 Power BI 的可自定义报表。 数据跟踪手动和自动测试的测试计划进度和趋势。 测试分析提供对生成和发布的测试数据的准实时可见性。 Teams 可以针对此数据采取措施来改进测试附件，以帮助维护正常的管道。

  • 可扩展平台。 可以将已了解的工具和技术与最适合与 Azure DevOps 集成和扩展的开发工具相结合。 使用适用于测试平台的 REST API 和贡献模型创建扩展，为测试管理生命周期提供所需的体验。

支持的方案和访问要求

通过分配给用户的访问级别来管理对 Azure DevOps Web 门户功能的访问。 三个main访问级别是利益干系人、基本和基本+测试计划，如关于访问级别中所述。 下表指示使用 Azure Test Plans 执行关联任务所需的访问级别。 除了访问级别外，选择功能还需要执行权限。 若要了解详细信息，请参阅 手动测试访问权限和权限。

方案和任务

利益干系人

基本

基本 +Test Plans

测试计划

  • 创建测试计划和测试套件
  • 管理测试计划运行设置
  • 管理配置

✔

测试执行

  • (Windows、Linux、Mac) 和测试运行器的任何平台上运行测试

✔

✔

使用 Test & Feedback 扩展执行探索性测试

✔

✔

✔

分析和查看测试

  • 创建具有各种透视表（如优先级、配置等）的图表，以跟踪测试进度
  • 浏览测试结果
  • 导出测试计划和测试套件以供审阅
  • 用户验收测试 - 通过电子邮件分配测试和邀请

✔

✔

手动和探索性测试

为了支持手动和探索性测试，Azure Test Plans使用特定于测试的工作项类型来计划和创作测试。 此外，它还提供两个测试工具来支持运行测试。 测试计划、参数和配置中心提供了用于高效创建和管理测试项、其设置和配置的工具。 测试套件可以是动态的（基于要求的套件和基于查询的套件）来帮助你了解正在开发的关联要求的质量，也可以是静态的，以帮助你涵盖回归测试。

特定于测试的工作项类型

工作项类型（Test Plans、测试套件、测试用例、共享步骤和共享参数）支持多个显式链接，以支持跨多个测试用例跟踪和共享测试步骤和数据。 可以将测试用例分配为手动或自动。 有关其中每个测试项的说明，请参阅 测试对象和术语。

测试管理工作项类型

注意

使用 Azure DevOps Server 2020 及更高版本，可以通过将测试任务添加到管道来执行自动测试。 使用测试任务时，不需要定义测试计划、测试用例和测试套件。

定义测试计划和测试套件

从测试计划中心创建和管理 测试计划和测试 套件。 将一个或多个测试套件（静态、基于要求或基于查询）添加到测试计划。 导出测试计划和测试套件并与团队共享。 若要了解如何操作，请参阅 创建测试计划和测试套件 和 复制或克隆测试计划、测试套件和测试用例。

Azure Test Plans、所选测试计划的屏幕截图

使用测试用例创作测试

通过定义测试步骤以及要引用的测试数据（可选）来定义手动测试用例。 测试套件由一个或多个测试用例组成。 可以在测试套件中共享测试用例。 用于定义测试用例的网格视图支持复制、粘贴、插入和删除操作。 快速分配单个或多个测试人员来执行测试。 跨测试套件查看测试结果和对测试用例的引用。 若要了解如何操作，请参阅 创建测试用例。

Azure Test Plans、测试计划、测试套件、“定义”选项卡的屏幕截图

在每个测试用例中，指定一组测试步骤及其预期结果。 （可选）可以添加 共享步骤 或 共享参数。 为了便于跟踪，请将测试用例链接到他们测试的用户情景、功能或 bug。

测试用例工作项窗体的屏幕截图。

管理共享参数

团队使用 参数 中心来定义和管理跨测试用例共享的参数。 共享参数支持多次使用不同的测试数据重复手动测试。 例如，如果你的用户可以将不同数量的产品添加到购物车中，则你会希望查看添加 200 个产品的方式是否与添加 1 个产品的方式相同。

参数中心Azure Test Plans的屏幕截图

管理测试配置和变量

借助 “配置” 中心，团队可以定义、查看和管理测试计划引用的测试配置和变量。 测试配置支持在不同的操作系统、Web 浏览器和版本上测试应用程序。 与共享参数一样，可以在多个测试计划之间共享测试配置。

配置中心Azure Test Plans的屏幕截图

测试执行和测试工具

通过以下工具，开发人员、测试人员和利益干系人可以在执行测试时启动测试并捕获丰富的数据，并自动记录链接到测试的代码缺陷。 通过跨桌面或 Web 应用执行测试来测试应用程序。

  • 测试运行程序：一个基于浏览器的工具，用于测试 Web 应用程序，以及一个桌面客户端版本，用于测试从 测试计划 中心启动以运行手动测试的桌面应用程序。 测试运行程序在执行测试时支持丰富的数据收集，例如图像操作日志、视频录制、代码覆盖率等。它还允许用户创建 bug 并标记测试的状态。
  • 测试和反馈扩展：支持从 Chrome、Edge 或 Firefox 浏览器访问的探索性测试的免费扩展。 该扩展捕获通过图像或视频以及输入口头或类型写入注释来探索的应用程序的交互。 信息在“反馈响应”工作项类型中捕获，以帮助跟踪响应数据。

测试执行功能

可以使用指示的工具执行以下任务。

任务 测试计划中心 测试运行程序 “测试和反馈”扩展
批量标记测试 ✔
通过或失败测试或测试步骤 ✔ ✔
执行期间对测试的内联更改 ✔ ✔
暂停和恢复测试 ✔ ✔
测试执行期间的文件 bug ✔ ✔
在测试执行期间捕获屏幕截图、图像操作日志和屏幕录制 ✔ ✔
在测试执行期间更新现有 bug ✔ ✔
验证 bug ✔ ✔
为测试运行分配生成 ✔
分配测试设置 ✔
查看测试运行 ✔

执行测试

在 “测试计划 ”中心的“ 执行 ”选项卡中，团队成员可以为为测试套件定义的一个或多个测试用例启动测试执行。 选项包括为 Web 或桌面应用程序运行 测试运行程序 。 （可选）团队成员可以选择 “运行”和选项 ，以选择其他受支持的客户端进行手动测试，或选择内部版本进行自动测试。 若要了解详细信息，请参阅 运行手动测试。

多个测试用例执行的屏幕截图。

测试运行程序

测试运行程序 为 Web 和桌面应用程序运行测试。 将测试步骤和测试结果标记为通过或失败，并在测试时收集诊断数据，例如系统信息、图像操作日志、屏幕录制和屏幕捕获。 测试期间提交的 Bug 会自动包含所有捕获的诊断数据，以帮助开发人员重现问题。 若要了解详细信息，请参阅 为 Web 应用运行测试 和 为桌面应用运行测试。

! 包含批注的测试运行程序的屏幕截图。

用户验收测试

用户验收测试（UAT）有助于确保团队交付客户请求的价值。 可以创建 UAT 测试计划和套件，邀请多个测试人员执行这些测试，并使用轻型图表监视测试进度和结果。 若要了解如何操作，请参阅 用户验收测试。

分配测试人员以运行所有测试

使用 Test & Feedback 扩展进行探索性测试

Test 和 Feedback 扩展是一个简单的基于浏览器的扩展，可用于随时随地测试 Web 应用，并且足够简单，可供团队中的每个人使用。 它允许你花更多时间查找问题，减少归档问题的时间，从而有助于提高工作效率。

探索性测试 Web 应用

利益干系人反馈

从开发团队外部的利益干系人（如营销和销售团队）寻求反馈对于开发优质软件至关重要。 开发人员可以请求有关其用户情景和功能的反馈。 利益干系人可以使用基于浏览器的测试和反馈扩展来响应反馈请求，而不仅仅是通过直接捕获丰富的诊断数据和提交 bug 和任务来评价和发送评论。 有关详细信息，请参阅 请求利益干系人反馈 和 提供利益干系人反馈。

请求和提供利益干系人反馈

自动测试

通过在 Azure Pipelines 中运行测试，可以促进自动测试。 利用测试分析功能可以近乎实时地了解用于生成和发布的测试数据。 它通过识别重复性、高影响质量问题来帮助提高管道效率。

Azure Test Plans通过以下方式支持自动测试：

  • 将测试计划或测试用例与生成或发布管道相关联

  • 在管道定义中指定测试启用任务。 Azure Pipelines 提供了多个任务，包括下面列出的任务，这些任务支持全面的测试报告和分析体验。

    有关其他任务，请参阅 发布测试结果任务

  • 提供内置报表和可配置仪表板小组件以显示管道测试结果。

  • 将测试结果和关联的测试数据收集到 Analytics 服务中。

可跟踪性

Azure Test Plans支持将 bug 和要求链接到测试用例和测试套件。 此外，以下 Web 门户、与测试相关的工具支持可跟踪性：

  • 查看链接到测试用例的项目：查看测试用例链接到的测试计划、测试套件、要求和 bug。
  • 从看板添加和运行测试：一种Azure Boards功能，支持从看板的用户情景、功能或 bug 定义测试用例。 此外，还可以启动测试运行程序或测试反馈扩展来运行测试或执行探索性测试。
  • 要求质量小组件：可配置的小组件，用于从生成或发布管道持续跟踪质量。 小组件显示要求与针对该要求执行的最新测试结果之间的映射。 它提供对需求可追溯性的见解。 例如，要求不满足质量、要求未经过测试等。

查看链接到测试用例的项

在 测试计划 中心，可以查看和打开链接到测试用例的测试套件、要求和 bug。 “ 测试套件 ”选项卡还指示引用测试用例的测试计划和项目。 “ 要求 ”选项卡列出链接到属于要求类别的测试用例的工作项。 此外，还可以创建直接链接查询，该查询通过“ 测试/按 链接类型测试”列出链接到测试用例的项。 若要了解详细信息，请参阅 创建测试用例 和使用 直接链接查看依赖项。

测试用例的链接测试套件的屏幕截图。

测试用例的链接要求的屏幕截图。

从看板添加和运行测试

在Azure Boards看板中，你可以从用户情景或功能添加测试，自动将测试用例链接到用户情景或功能。 可以直接从看板查看、运行测试用例并与之交互，并直接从卡逐步监视状态。 有关详细信息，请参阅 添加、运行和更新内联测试。

看板的屏幕截图，其中显示了添加到工作项的内联测试。

“要求质量”小组件

“要求质量”小组件显示范围内所有要求的列表，以及测试和失败测试的通过率和计数。 选择“失败的测试计数”将打开所选生成或版本的“ 测试 ”选项卡。 小组件还有助于跟踪要求，而无需任何关联的测试 () 。 若要了解详细信息，请参阅 要求可追溯性。

添加到仪表板的要求可跟踪性小组件的屏幕截图。

报告和分析

为了支持报告和分析，Azure Test Plans支持测试跟踪图表、测试运行中心、多个内置管道测试报告、仪表板小组件以及存储在 Analytics 服务中的测试数据。

  • 可配置的测试图表：可以通过创建测试跟踪图表来深入了解测试计划的创作和执行活动。
  • 进度报告：跟踪一个或测试计划或测试套件的进度。
  • 测试运行：查看手动和自动测试运行的结果。
  • 仪表板小组件：基于所选版本或版本显示测试结果的可配置小组件。 小组件包括 “部署状态 ”小组件和“ 测试结果趋势 (高级) 小组件。
  • 测试分析：从内置管道报告获取详细见解，或通过查询 Analytics 服务创建自定义报表。

可配置的测试图表

快速配置轻量级图表以使用所选图表类型跟踪手动测试结果，并将图表固定到仪表板以轻松分析这些结果。 选择保留策略来控制手动测试结果的保留时间。 有关详细信息，请参阅 跟踪测试状态。

测试状态跟踪

进度报告

借助 进度报告 中心，团队可以跟踪多个测试计划或测试套件的进度。 此报告有助于回答以下问题：

  • 完成多少测试？
  • 有多少测试已通过、失败或被阻止？
  • 测试是否可能及时完成？
  • 每日执行率是多少？
  • 哪些测试区域需要注意？

Azure Test Plans的屏幕截图，“进度报告”中心

测试运行

“运行”中心显示测试运行的结果。 这包括所有测试运行，包括手动和自动运行。

注意

Azure DevOps Server 2020 及更高版本提供“运行”中心。 它需要启用用于存储和管理测试运行数据的 Analytics 服务。 若要了解有关该服务的详细信息，请参阅 什么是 Analytics 服务？

最近的测试运行的屏幕截图

选择任何特定运行以查看测试运行的摘要。

所选测试运行摘要的屏幕截图

部署状态

“部署状态小组件”可配置小组件显示一组最新生成的部署状态和跨多个环境测试通过率的组合视图。 通过指定生成管道、分支和链接发布管道来配置小组件。 若要查看版本中多个环境中的测试摘要，小组件提供了每个环境的矩阵视图和相应的测试通过率。

“部署状态”小组件的屏幕截图。

将鼠标悬停在任何生成摘要上，可以查看更多详细信息，特别是通过和失败的测试数。

“部署状态”小组件的屏幕截图，通过将鼠标悬停在生成实例上显示的详细信息。

高级) (测试结果趋势

“测试结果趋势 (高级) ”小组件提供对多个生成和发布的测试数据的准实时可见性。 小组件显示所选管道的测试结果趋势。 可以使用它来跟踪每日测试计数、通过率和测试持续时间。 跟踪一段时间内的测试质量并改进测试附件是维护正常运行的 DevOps 管道的关键。 小组件支持跟踪一个或多个生成管道或发布管道的高级指标。 小组件还允许按结果筛选测试结果、堆叠指标等。 若要了解详细信息，请参阅 配置测试结果趋势 (高级) 小组件。

“测试结果趋势”小组件（基于 Analytics 服务的高级版本）的屏幕截图。

测试分析

内置测试和测试支持的小组件从 Analytics 服务派生其数据。 Analytics 服务是 Azure DevOps 的报告平台。 测试分析数据适用于 Azure DevOps Server 2019 及更高版本。 它支持从 Pipelines 中心提供的“分析和测试”选项卡和向下钻取报表。 测试失败向下钻取报告提供通过和失败测试的摘要。 若要了解详细信息，请参阅 测试分析。

Pipelines Analytics 摘要页的屏幕截图。

此外，还可以通过查询 Analytics 服务来创建自定义报表。 若要了解详细信息，请参阅 使用 OData 查询的示例报表概述。

后续步骤

测试对象和术语

其他资源