管理不可靠测试

Azure DevOps Services

开发人员的工作效率依赖于测试发现开发中代码的真正问题或及时可靠地予以更新的能力。 不可靠测试会阻碍真正问题的发现，因为失败通常与受测试的更改无关。 不可靠测试是一种提供不同结果（例如通过或失败）的测试，即使源代码或执行环境未发生更改。 不可靠测试还会影响交付代码的质量。

注意

此功能仅适用于 Azure DevOps Services。 通常，新功能首先会在云服务中引入，然后在 Azure DevOps Server 的下一个主要版本或更新中本地提供。 有关详细信息，请参阅 Azure DevOps 功能时间表。

在产品中引入不可靠测试管理的目的是减少不可靠测试给开发人员带来的苦恼并适应整个工作流。 不可靠测试管理提供以下好处。

• 检测 - 结合插入到你自己的自定义检测方法中的重新运行或扩展性机制来自动检测不可靠测试

• 不可靠性管理 - 将测试标记为不可靠后，数据便可供该分支的所有管道使用

• 不可靠测试报告 - 可以选择是要防止不可靠测试导致的生成失败，还是仅将不可靠标记用于故障排除

• 解决 - 根据分析，手动创建 bug 或手动将测试标记为不可靠和取消这种标记

• 闭合循环 - 在解决 bug/手动输入后重置不可靠测试

启用不可靠测试管理

若要配置不可靠测试管理，请选择“项目设置”，然后在“管道”部分选择“测试管理”。

将开/关按钮滑动到“开”。

所有项目的默认设置是使用不可靠测试进行故障排除。

不可靠测试检测

不可靠测试管理支持系统检测和自定义检测。

• 系统检测：产品中不可靠检测使用测试重新运行数据。 该检测是通过 VSTest 任务进行的，该任务重新运行失败的测试功能或重试管道中的阶段。 可以在项目中选择要为其检测不可靠测试的特定管道。

  注意

  将测试标记为不可靠后，数据便可供该分支的所有管道使用，以帮助在每个管道中进行故障排除。

• 自定义检测：你可以将自己的不可靠检测机制与 Azure Pipelines 集成并使用报告功能。 使用自定义检测时，需要更新不可靠测试的测试结果元数据。 有关详细信息，请参阅测试结果、结果元数据 - 更新 REST API。

不可靠测试选项

“不可靠测试选项”指定如何在测试报告和解决功能中使用不可靠测试，如以下部分所述。

不可靠测试管理和报告

在测试管理页上的“不可靠测试选项”下，可以设置有关如何在测试摘要报告中包含不可靠测试的选项。 测试结果中提供了通过和失败测试的不可靠测试数据。 “不可靠”标记可帮助你识别不可靠测试。 默认情况下，不可靠测试会包含在测试摘要中。 但是，如果你想要确保不可靠测试失败不会导致管道失败，可以选择不将其包含在测试摘要中，并消除测试失败。 此选项确保从通过百分比中删除不可靠测试（通过和失败的测试），并将其显示在“未报告的测试”中，如以下屏幕截图所示。

注意

只会更新 Visual Studio 测试任务和发布测试结果任务的测试摘要报告。 可能需要添加自定义脚本才能消除其他方案的不可靠测试失败结果。

标记为不可靠的测试

可以根据分析或上下文，通过选择“不可靠”（或“可靠”，具体取决于测试是否已标记为不可靠），将测试标记为不可靠或取消这种标记。

当测试在管道中标记为不可靠或可靠时，不会在当前管道中进行任何更改。 仅当以后执行该测试时，才会评估已更改的不可靠设置。 标记为不可靠的测试在用户界面中带有“已标记为不可靠”标记。

帮助和支持

• 请查看疑难解答页面
• 在 Stack Overflow 中获取建议，通过开发人员社区获取支持

相关文章

• 查看测试结果
• Visual Studio 测试任务
• 发布测试结果任务
• 测试结果、结果元数据 - 更新 REST API