创建作为测试计划一部分的自动测试的测试设置

测试设置使用诊断数据适配器,这些设置指定在运行手动测试和/或自动测试时,要收集的各种数据类型,或者指定那时如何影响测试计算机。 例如,诊断数据适配器可以创建操作录制、操作日志和视频录制,或收集系统信息。 此外,诊断数据适配器可用于在测试计算机上模拟潜在瓶颈或减少可用系统内存。 例如,可以模拟一个慢速网络,给系统施加瓶颈。

测试设置定义以下内容:

  • 将运行的测试类型(手动或自动)

  • 受测应用程序所需的角色集

  • 运行测试所使用的角色

  • 用于每个角色的诊断数据适配器

若要将自动测试作为测试计划的一部分来运行,需要将自动测试与测试用例相关联。

可以使用 Visual Studio 将自动测试与测试用例相关联。 不能使用 Microsoft 测试管理器建立此关联。 必须首先使用 Visual Studio 打开测试用例,如下图所示。 有关如何从测试计划运行自动测试的更多信息,请参见如何:使用 Microsoft 测试管理器从测试计划运行自动测试

使用 Microsoft Visual Studio 打开测试用例

然后,将测试方法与测试用例相关联,如下图所示。

将自动化与测试用例关联

提示

您可以从 Microsoft 测试管理器查看信息,但不能修改这些信息。

还可以使用命令行工具从自动测试的程序集来创建测试用例。 有关更多信息,请参见如何:使用 tcm.exe 从自动测试程序集创建测试用例

如果要将自动测试作为测试计划的一部分来运行,必须在测试计划中为测试设置选择角色集,并使用包含此角色集的环境。 添加环境时可以添加所需的任何角色。 有关角色和环境的更多信息,请参见设置测试计算机以运行测试或收集数据

可使用以下过程来定义作为测试计划一部分的自动测试的测试设置并选择匹配的环境。

创建作为测试计划一部分的自动测试的测试设置

创建作为测试计划一部分的自动测试的测试设置

  1. 打开 Microsoft 测试管理器。

    提示

    若要显示 Microsoft 测试管理器窗口,请单击“开始”,然后单击“所有程序”。 指向“Microsoft Visual Studio 2010”,然后单击“Microsoft 测试管理器 2010”。

  2. 单击中心组切换器上的下箭头,然后单击**“测试中心”**。

  3. 在中心组菜单栏上,单击**“计划”,再单击“属性”**。

    此时将显示所选测试计划的属性。

  4. 单击**“自动运行”“测试设置”旁的下拉箭头,然后单击“新建”**。

    此时将显示**“新测试设置”页,其中选中了“常规”**页。

    提示

    您还可以在“实验室中心”中创建测试设置,方法是单击中心组菜单栏上的“测试设置”,然后单击“新建”

  5. 在**“名称”**下键入测试设置的名称。

  6. (可选)在**“说明”**下,键入测试设置的说明,以便其他团队成员了解其用途。

  7. 在**“要运行哪种类型的测试”下选择“自动”,然后单击“下一步”**。

    此时将显示**“新测试设置”页,其中选中了“角色”**页。

    提示

    如果要运行自动测试,则不能选择名为“本地”的角色集在本地运行,因为必须使用一个环境来运行自动测试。

    有关如何运行手动测试的信息,请参见为手动测试创建测试设置

    测试设置角色页

  8. 从显示**“角色集”“匹配的环境”**的列表中选择一组角色。 验证您的角色集至少有一个匹配的环境。 如果没有匹配的环境,可能要创建一个环境或修改现有环境。 有关更多信息,请参见设置测试计算机以运行测试或收集数据

    警告

    不能从测试设置管理器添加角色。 如果没有与应用程序必需角色相匹配的角色,则必须创建包含这些角色的环境。 创建环境时可以添加角色。

  9. 从**“选择要用于运行自动测试的角色”下的下拉列表中,选择要用于运行测试的角色。 然后单击“下一步”**。

    此时将显示**“新测试设置”页,其中选中了“数据和诊断”**页。

    测试设置数据和诊断页

  10. 若要选择要为每个角色收集的数据和诊断,请选择角色。 根据测试计划中的测试要求为每个角色选择诊断数据适配器。 若要配置为每个角色选择的每个诊断数据适配器,请单击**“配置”**。

    有关每个诊断数据适配器及其配置方法的详细信息,可查看下表中的关联主题。

    提示

    下表仅显示可用于自动测试的适配器。 有关诊断数据适配器的更多信息,请参见使用测试设置来设置计算机和收集诊断信息

    用于自动测试的诊断数据适配器

    诊断数据适配器

    关联主题

    用于 IntelliTrace 和测试影响的 ASP.NET 客户端代理:此代理允许您为 IntelliTrace 和测试影响诊断数据适配器收集有关从客户端到 Web 服务器的 HTTP 调用的信息。

    收集此信息不需要任何配置。

    事件日志:可以将测试设置配置为包含事件日志收集,该事件日志将包含在测试结果中。

    如何:使用测试设置配置事件日志收集

    IntelliTrace:可以为 IntelliTrace 配置诊断数据适配器,使其收集特定诊断跟踪信息,从而帮助隔离难以重现的 Bug。 这会创建扩展名为 .iTrace 的 IntelliTrace 文件,用于包含此信息。 测试失败时,可以创建 Bug。 随测试结果一起保存的 IntelliTrace 文件会自动链接到此 Bug。 IntelliTrace 文件中收集的数据可减少重现和诊断代码中的错误所需的时间,从而提高调试效率。 通过此 IntelliTrace 文件,可以在另一台计算机上模拟该本地会话,这降低了 Bug 不可重现的概率。

    有关更多信息,请参见使用 IntelliTrace 进行调试

    如何:收集 IntelliTrace 数据以帮助调试难题

    网络仿真:可以使用测试设置指定您希望在测试中放置人工网络负载。 网络仿真将仿真特定网络连接(如拨号连接)的速度,从而影响计算机的往来通信。

    注意   网络仿真不能用于提高网络连接速度。

    如何:使用测试设置配置网络仿真

    系统信息:可以设置测试设置来包含有关在其上运行测试的计算机的系统信息。 通过使用测试设置可在测试结果中指定系统信息。

    收集此信息不需要任何配置。

    测试影响:可以收集在运行某个测试用例时应用程序代码使用了哪些方法的相关信息。 将它与开发人员进行的应用程序代码更改结合使用,可确定这些开发更改影响了哪些测试。

    如何:收集数据来检查在代码更改后应该运行的测试

    视频记录器:运行自动测试时可以创建桌面会话的视频记录。 这对查看编码的 UI 测试的用户操作非常有用。 该视频可帮助其他团队成员隔离难以重现的应用程序问题。

    如何:使用测试设置在运行测试时录制桌面的视频

  11. 单击**“下一步”**。

    此时将显示**“新测试设置”页,其中选中了“高级”**页。 如果自动测试的高级设置是必需的,则可以配置这些高级设置。

  12. 若要配置哪个目录用于运行测试并添加用于运行测试的文件或目录,请单击**“部署”**。

    1. 若要将测试所必需的文件添加到用于运行测试的目录中,请单击**“添加文件”**,然后选择要添加的文件。

    2. 若要将测试所必需的目录添加到用于运行测试的目录中,请单击**“添加目录”**,然后选择要添加的目录。

    提示

    有关如何使用相关属性和 DeploymentItem 特性为各个测试部署文件和目录的更多信息,请参见如何:配置测试部署

  13. 若要在测试前后运行脚本,请单击**“脚本”**。

    1. 在**“在开始测试运行之前,要运行的安装脚本”中键入脚本文件的位置或单击“浏览”**找到安装脚本的位置。

    2. 在**“在测试运行完成后,要运行的清理脚本”中键入脚本文件的位置,或者单击“浏览”**找到安装脚本的位置。

  14. 若要使用其他主机运行测试,请单击**“主机”**。

    1. 若要在与 ASP.NET 站点相同的进程中运行单元测试,请在**“主机类型”中选择“ASP.NET”。 然后单击“配置”**。 有关如何配置主机的更多信息,请参见 ASP.NET Web 服务的单元测试

    2. 使用**“在 32 或 64 位进程中运行测试”**,可选择要将测试作为 32 位进程运行还是作为 64 位进程运行。

      提示

      为了最大限度地提高灵活性,您应使用“任何 CPU”配置来编译测试项目。 然后,可以在 32 位和 64 位代理上运行。 使用“64 位”配置编译测试项目没有什么特别的用处。

    3. 在**“对于不能在指定主机上运行的测试”[For test that cannot be run on the specified host]下,选择“在默认主机中运行”“不运行”**。

  15. (可选)若要限制每个测试运行和各个测试的时间长度,请单击**“超时”**。

    1. 若要在超过一定时间限制时中止测试运行,请选择**“在总执行时间超过以下值时中止测试运行”**,然后键入此时限的值。

    2. 若要在超过一定时制时使特定测试未通过,请选择**“在单个测试的执行时间超过以下值时将该测试标记为未通过”**,然后键入此时限的值。

  16. (可选)若要应用单元测试和 Web 性能测试配置外接程序选项,请单击**“外接程序”**。

  17. (可选)如果需要指定单元测试需要加载的程序集位置,请单击与**“单元测试”选项关联的“配置”**。

    此时将显示**“配置外接程序 - 单元测试”**对话框。

    1. 对于**“要加载的程序集的根文件夹”,请单击“浏览”**以定位到该文件夹并填充文本框。

      指定的根文件夹可以包含环境变量,并且代表将用做在其中运行测试的 AppDomain 的 ApplicationBase 的目录。 此目录中的所有程序集都可由您的单元测试来加载。 在生产环境中,最好将此目录设置为安装测试程序集代码的目录。 在开发环境中,最好将此目录设置为生成测试程序集代码的目录。 这样就可以确保对产品二进制文件的任何引用都可以在测试的发现和执行期间加载并解析,而无需在测试时复制产品二进制文件。

      如果未在此处设置任何值,则在其中运行测试的 AppDomain 的 ApplicationBase 将设置为包含这些测试的目录。

    2. 选中或清除**“对测试目录中的程序集使用加载上下文”**复选框。

      默认情况下,大多数程序集都会加载到正确的“加载上下文”中。 通常,应保持**“对测试目录中的程序集使用加载上下文”** 为选中状态。 不过,有时也可能需要禁用此选项。 如果测试目录中有大量程序集,在**“要加载的程序集的根文件夹”**下指定了一个位置,并且您的测试不依赖于在加载上下文中加载,则在不使用加载上下文来加载这些测试程序集的情况下,您可能会看到性能提高。 如果您的测试依赖于在加载上下文以外的上下文中进行加载(不是典型情况)。

      有关更多信息,请参见适用于程序集加载的最佳做法

    3. 在**“运行测试时要使用的文件夹”下,单击“添加文件夹”**。

      此时将显示“浏览文件夹”对话框。

    4. 找到要使用的文件夹,然后单击**“确定”**。

      **“运行测试时要使用的文件夹”**设置可能是最常用的设置。 可以指定在测试的发现和执行阶段将从中解析程序集的多个文件夹路径。 在此部分中指定的每个路径都可以包含环境变量。 除了这里指定的每个路径外,还有两个与其关联的选项:

      第一个选项   选中**“使用加载上下文”**复选框来指定目录应在解析此目录中的程序集时使用加载上下文(如果测试不需要加载上下文即可正确运行,则可通过清除此复选框来提高性能)。

      第二个选项   选中**“包括子文件夹”**复选框来指定在解析此目录中的程序集时要包括的子文件夹。

    5. 在**“发现测试时要使用的其他文件夹”下,单击“添加文件夹”**。

      此时将显示“浏览文件夹”对话框。

    6. 找到要使用的文件夹,然后单击**“确定”**。

      在 Team Build 下远程执行测试或从 Microsoft 测试管理器自动运行时,**“发现测试时要使用的其他文件夹”**非常有用。 这里提供的路径将用于程序集解析,但仅在测试发现期间使用。 这些路径可以包含环境变量。 当测试已安排为通过生成放置来远程执行,并且并不是所有的测试程序集依赖项都在同一目录中时,可以使用这些路径来确保 MSTest 或测试控制器可以找到足够多的依赖程序集来发现测试,并将它们安排到远程计算机上执行。

      对于已安排从 Microsoft 测试管理器完成的运行,还可使用一个附加标记“%BuildDrop%”来一般引用生成放置位置。 这样就无需在每次测试新的生成时都创建或更新测试设置。 遗憾的是,此标记并不直接受 Team Build 支持(不过,如果通过生成定义在名为 BuildDrop 的环境变量中设置了生成放置位置,将会有同样的效果)。

      有关更多信息,请参见使用单元测试验证代码

    7. 单击**“保存”**。

    8. 单击**“关闭”**。

  18. (可选)若要在测试设置中配置用于控制 Web 性能测试运行方式的属性,请单击与**“Web 测试”选项关联的“配置”**。

    下式将显示**“配置外接程序 - Web 测试”**对话框。

    1. 选择**“固定的运行计数”“每个数据源行运行一次”**。

    2. 使用**“浏览器类型”下拉列表选择进行 Web 性能测试要使用的 Web 浏览器。 例如,“Internet Explorer 8.0”**。

      有关 Web 性能测试的更多信息,请参见测试应用程序性能和压力

      提示

      Web 性能测试需要 Visual Studio 2010 旗舰版。

    3. 单击**“保存”**。

    4. 单击**“关闭”**。

  19. 若要显示测试设置的摘要,请单击**“下一步”**。

  20. 若要保存测试设置,请单击**“保存并关闭”**。

  21. 在**“测试环境”**中会自动选择匹配的测试环境。 如果有多个测试环境与测试设置中的角色集相匹配,您可以选择其他匹配环境。

  22. 单击工具栏上的**“保存”**可将您的更改应用于测试计划。

    提示

    如果您必须更改测试设置,请单击“测试设置”下拉箭头旁的“打开”,或者可以“打开”“实验室中心”,单击中心组菜单栏上的“测试设置”,然后单击“打开”。 有关更多信息,请参见如何:编辑测试计划的现有测试设置

请参见

任务

为手动测试创建测试设置

创建测试设置以从 Visual Studio 中运行自动测试

概念

使用测试设置来设置计算机和收集诊断信息

设置测试计算机以运行测试或收集数据