测试分析

Azure DevOps Services | Azure DevOps Server 2020 | Azure DevOps Server 2019

随着时间推移跟踪测试质量并提高测试抵押品是维护正常DevOps管道的关键。 利用测试分析功能可以近乎实时地了解用于生成和发布的测试数据。 该功能可通过识别重复且严重影响质量的问题来帮助提高管道效率。

注意

测试分析目前仅适用于Azure Pipelines。

阅读 术语表 以了解测试报告术语。

根据需要安装 Analytics 扩展

有关详细信息,请参阅 Analytics 市场扩展

查看生成测试分析

为了帮助团队查找并修复频繁或间歇性失败的测试,请使用 最失败的测试 报告。 生成摘要包括托管此报表的 Analytics 页。 顶级视图提供所选生成管道的测试合格率和结果摘要,以及指定时间段内的结果。 默认范围为 14 天。

View trends in build

查看版本的测试分析

对于作为发布一部分执行的测试,请从右上角 的 Analytics 链接访问测试分析。 与生成一样,摘要提供指定时间段的测试合格率和结果的聚合视图。

View trends in release

测试失败

打开生成或发布摘要以查看顶部失败的测试报告。 此报表提供管道中顶级失败测试以及故障详细信息的精细视图。

Test analytics detail view

详细视图包含两个部分:

  • 摘要:为指定时间段内在生成或发布中执行的测试提供关键定量指标。 默认视图显示 14 天的数据。

    • 通过率和结果:显示 通过百分比,以及各种结果的测试分布。

      View pass rate

    • 失败的测试:提供在指定时间段内失败的不同测试计数。 在上面的示例中,986 个测试失败源自 124 个测试。

      View failing tests

    • 图表视图:指定时间段内每天测试失败和平均通过率的趋势。

      View chart

  • 结果:基于失败总数的顶级失败测试列表。 有助于识别有问题的测试,并让你深入了解结果的详细摘要。

    View results.

组测试失败

报表视图可通过多种不同的方式使用 选项按选项进行组织。 分组测试结果可以深入了解顶级失败测试的各个方面。 在下面的示例中,测试结果根据它们所属 的测试文件 进行分组。 它显示测试文件及其各自对测试失败总数的贡献,在指定时间段内帮助你轻松识别和确定后续步骤的优先级。 此外,对于每个测试文件,它显示导致这些失败的测试。

Group by test files

向下钻取到单个测试

“详细信息 ”部分确定一个或多个测试后,选择要分析的单个测试。 这提供了所选测试的向下钻取视图,其中包含各种结果的堆积图,例如在指定时间段内每天通过或失败的测试实例。 此视图可帮助你推断隐藏模式并相应地采取措施。

Drill down for test

相应的网格视图列出了在该时间段内所选测试执行的所有实例。

View all test instances

故障分析

若要对根本原因执行故障分析,请在向下钻取视图中选择一个或多个测试执行实例,以查看上下文中的故障详细信息。

View failure details

推断隐藏模式

查看单个执行实例的测试失败时,通常很难推断出任何模式。 在下面的示例中,测试失败在特定时间段内发生,并且知道这有助于缩小调查范围。

Example of test failure pattern.

另一个示例是显示非确定性行为的测试 (通常称为 ) 的浮点测试 。 查看单个测试执行实例可能不会提供对行为的任何有意义的见解。 但是,观察时间段的测试执行趋势有助于推断隐藏模式,并帮助解决故障。

报表信息源

测试分析的信息源是生成或发布管道 的已发布测试结果 集。 这些结果在一段时间内累积,形成测试分析提供的丰富见解的基础。

帮助和支持