测试不同的配置

Azure DevOps Services | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018

你的用户将可能在多种配置(例如不同的操作系统、Web 浏览器和其他变化)的计算机上安装或运行你的应用。 需要分阶段运行至少一些具有不同配置的测试。

使用测试计划确定要在哪些配置上运行的测试。 你必须确保运行测试时,为所需的配置设置了阶段。

可以绘制要测试的组合的示意图矩阵:

Test matrix of browser and operating system configurations

然后,可以:

先决条件

  • 必须连接到项目。 如果还没有项目, 请创建一个项目
  • 必须添加到项目。 若要添加, 请将用户添加到项目或团队
  • 若要查看或添加测试配置,必须具有 基本 访问权限或更高版本。
  • 若要添加测试配置,必须将项目级 管理测试配置 权限设置为 “允许”。 默认情况下,此权限授予参与者成员和Project管理员组的成员。

若要了解详细信息,请参阅 手动测试访问权限和权限

使用 TCM 命令行工具

若要练习 TCM 命令行工具,必须具备以下各项:

  • 已安装Visual Studio 2017 Professional 或更低版本。 可以从命令提示符和以下目录访问 TCM: %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • 若要运行 TCM 命令,请根据需要指定 /collection/teamproject 参数 /login

    参数 描述
    /collection:CollectionURL 必需。 指定团队项目集合的 URI。URI 的格式如下所示:
    - 对于Azure DevOps Services:http://dev.azure.com/OrganizationName
    - 对于Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName 如果未使用虚拟目录,则 URI 将为以下格式:http://ServerName:Port/CollectionName
    /teamprojectproject 必需。 包含要克隆或导入自动测试的测试对象的项目的名称。
    /loginusername,[password] 可选。 指定有效Azure DevOps用户的名称和密码,以及谁有权运行命令。 如果Windows凭据没有适当的权限,或者使用的是基本身份验证,或者未连接到域,请使用此选项。
  • 必须是要访问的项目 () 的有效成员,并根据运行的命令拥有所需的权限。 若要了解详细信息,请参阅 手动测试访问权限和权限

  • 若要克隆或导入测试对象,必须被授予添加测试计划和测试套件所需的相同访问级别,如 先决条件中所述。

查看配置和变量

通常需要查看可用于运行测试的配置。

可以从“ 配置” 页查看测试配置和配置变量的列表。

在项目中,从左侧导航区域中选择Test Plans>配置。 在这里,你将看到测试计划当前可用的所有测试配置和变量。

Screenshot of Query Editor, Query test plans.

选择配置或变量,在右侧的窗口中查看有关它的详细信息。

创建配置和变量

测试配置是配置变量值的组合。 例如,你的配置变量可以是操作系统、浏览器,CPU 类型、数据库等。 配置可能是“Windows 8 + 32 位 CPU”或“Windows 10 + 64 位 CPU”。

首先创建配置变量。 然后合并多个变量值以创建配置。

  1. Test Plans Web 门户中打开“配置”页,选择+图标,然后选择“新建配置变量”。

    Screenshot shows the New configuration variable option in New menu.

  2. 键入变量的名称,例如 浏览器和说明。 选择“ 添加新值”,然后添加值。 根据需要向配置变量添加任意数量的值,然后保存它。

    Screenshot shows adding values to a new configuration variable.

  3. 重复这些步骤以创建所需的任何其他配置变量。 例如,创建一个名为 操作系统 的配置变量,其中包含要测试的每个操作系统的名称。

    Screenshot shows setting the values for an Operating Systems configuration variable.

  4. 选择图标 + 并选择“ 新建测试配置”。

    Screenshot shows the New test configuration option in the New menu.

  5. 键入测试配置的名称,并添加创建的配置变量。 为此配置为每个变量选择一个值。

    Screenshot shows adding variables to the new test configuration.

    请确保选中 “分配到新测试计划 ”,使此配置成为创建的所有新测试计划的默认配置。

  6. 保存新的测试配置。

测试配置是配置变量值的组合。 例如,你的配置变量可以是操作系统、浏览器,CPU 类型、数据库等。 配置可能是“Windows 8 + 32 位 CPU”或“Windows 10 + 64 位 CPU”。

必须先创建配置变量。 然后合并多个变量值以创建配置。

  1. Test Plans Web 门户中打开“配置”页,选择new图标,然后选择“新建配置变量”。

    Adding a new configuration variable

  2. 键入变量的名称,例如 Browser,然后键入一个值。 根据需要向配置变量添加任意数量的值,然后将其保存。

    Setting the values for a new configuration variable

  3. 重复这些步骤以创建所需的任何其他配置变量。 例如,创建名为 “操作系统 ”的配置变量,其中包含要测试的每个操作系统的名称。

    Setting the values for an Operating Systems configuration variable

  4. 选择图标 new ,然后选择“ 新建测试配置”。

    Adding a new test configuration

  5. 键入测试配置的名称,并添加所创建的配置变量。 为此配置为每个变量选择一个值。

    Adding variables to the new test configuration

    确保选中 “分配到新测试计划 ”,以便为创建的所有新测试计划启用默认配置。

  6. 保存新的测试配置。

为测试计划和套件分配配置

可以将配置分配给测试套件或单个测试用例。 分配给测试套件的配置适用于其中的所有测试或套件。

  1. 若要将配置分配到测试套件,请在 “测试计划 ”页中选择一个计划。 在 “测试套件 ”区域中,选择测试套件,然后选择“ 更多选项 ”或右键单击以打开上下文菜单,然后选择“ 分配配置”。

    Screenshot shows Assign configuration menu option.

    如果将多个配置添加到测试套件,则测试用例将重复分配的每个配置。

    Screenshot shows multiple configuration assignment to a test suite.

  2. 如有必要,请重写分配给测试用例的默认配置,并分配所需的配置。 选择一个或多个测试用例,打开上下文菜单,然后选择“ 分配配置”。

    Screenshot shows assigning a configuration assigned to a test case.

  3. 搜索并选择要分配给测试用例的配置。

    Screenshot shows setting configurations for a test case.

可以将配置分配给测试计划、测试套件或单个测试用例。 分配给测试计划或测试套件的配置适用于其中的所有测试或套件。

  1. 若要将配置分配到测试计划,请在 “测试计划 ”页中打开计划的快捷菜单,然后选择“ 分配配置以测试计划”。

    Assigning a configuration to a test plan

  2. 若要将配置分配到测试套件,请打开套件的快捷菜单,然后选择“ 将配置分配给测试套件”。

    Assigning a configuration to a test suite

    如果将多个配置添加到测试计划或套件,则测试用例会在计划或套件中重复,其中包含已分配的每个配置。

    Multiple configuration assignment to a test suite

  3. 如有必要,请重写分配给测试用例的默认配置,并分配所需的配置。 选择一个或多个测试用例,打开快捷菜单,然后选择 “分配配置”。

    Overriding the default configuration assigned to a test case

  4. 搜索并选择要分配给这些测试用例 () 的配置。

    Setting the required configurations for a test case

使用每个配置运行测试

为特定配置设置测试平台,例如在 Windows 10 上使用 Google Chrome 测试应用。

  1. 选择并运行已分配此配置的测试。

    Screenshot shows a test with a specific configuration and the Run for web application option selected.

    运行测试时,状态栏中会显示配置提醒。

    Screenshot shows the configuration for this test in the status bar.

  1. 为特定配置设置测试平台,例如在 Windows 10 上使用 Google Chrome 测试应用。

  2. 选择并运行已分配此配置的测试。

    Running the test with the configuration assigned

    运行测试时,提醒测试运行程序窗口的状态栏中显示的所需配置。

    The required configuration appears in the Test Runner window

跟踪每个配置的测试结果

  1. 打开测试套件的 “图表 ”页,选择“ 新建”,然后选择“ 新建”测试结果图表

    Screenshot shows the New test result chart menu option.

  2. 选择图表类型,如饼图或条形图,然后选择“分组byConfiguration>”,然后选择“确定”。

    Screenshot shows choosing a configuration option for group by in the configure chart dialog box.

    创建图表有助于根据配置跟踪测试。 可以将此图表固定到仪表板。

    Screenshot shows a bar chart with values for Not run, Passed, and Failed.

如果测试用例显示在多个测试套件中,则可以为每个套件设置不同的配置。 同一测试用例可以在不同的测试套件和测试计划中具有不同的配置设置。

  1. 打开测试计划或测试套件的 “图表 ”页,选择“ 新建”,然后选择“ 新建”测试结果图表

    Creating a new test result chart

  2. 选择所需的图表类型,在“分组依据”列表中选择“配置”,然后选择“确定”。

    Choosing the type of chart you require

    创建图表有助于根据配置跟踪测试。 可以将此图表固定到仪表板。

    The configuration test result chart

如果测试用例显示在多个测试计划和测试套件中,则可以为每个测试计划设置不同的配置。 同一测试用例可以在不同的测试套件和测试计划中具有不同的配置设置。