테스트 분석

  • 아티클

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

시간이 지남에 따라 테스트 품질을 추적하고 테스트 담보를 개선하는 것이 정상적인 DevOps 파이프라인을 유지하는 데 핵심입니다. 테스트 분석은 빌드 및 릴리스에 대한 테스트 데이터에 대한 거의 실시간 가시성을 제공합니다. 반복적이고 영향력이 높은 품질 문제를 식별하여 파이프라인의 효율성을 개선하는 데 도움이 됩니다.

참고

테스트 분석은 현재 Azure Pipelines에서만 사용할 수 있습니다.

용어집을 읽고 테스트 보고서 용어를 이해합니다.

필요한 경우 분석 확장 설치

자세한 내용은 Analytics Marketplace 확장을 참조하세요.

빌드에 대한 테스트 분석 보기

팀이 자주 또는 간헐적으로 실패하는 테스트를 찾고 수정할 수 있도록 상위 실패 테스트 보고서를 사용합니다. 빌드 요약에는 이 보고서를 호스트하는 분석 페이지가 포함되어 있습니다. 최상위 보기는 지정된 기간 동안 선택한 빌드 파이프라인에 대한 테스트 통과율 및 결과의 요약을 제공합니다. 기본 범위는 14일입니다.

빌드의 추세 보기

릴리스에 대한 테스트 분석 보기

릴리스의 일부로 실행되는 테스트의 경우 오른쪽 위 모서리에 있는 분석 링크에서 테스트 분석에 액세스합니다. 빌드와 마찬가지로 요약은 지정된 기간에 대한 테스트 통과율 및 결과의 집계된 보기를 제공합니다.

릴리스의 추세 보기

테스트 실패

빌드 또는 릴리스 요약을 열어 상위 실패 테스트 보고서를 봅니다. 이 보고서는 실패 세부 정보와 함께 파이프라인의 상위 실패 테스트에 대한 세분화된 보기를 제공합니다.

테스트 분석 세부 정보 보기

자세한 보기에는 다음 두 개의 섹션이 포함되어 있습니다.

  • 요약: 지정된 기간 동안 빌드 또는 릴리스에서 실행된 테스트에 대한 주요 정량 메트릭을 제공합니다. 기본 보기는 14일 동안의 데이터를 표시합니다.

    • 통과율 및 결과: 다양한 결과에 대한 테스트 분포와 함께 통과 백분율을 표시합니다.

      패스 속도 보기

    • 실패한 테스트: 지정된 기간 동안 실패한 테스트의 고유 개수를 제공합니다. 위의 예제에서 986개의 테스트 실패는 124개의 테스트에서 시작되었습니다.

      실패한 테스트 보기

    • 차트 보기: 지정된 기간의 각 날짜에 대한 총 테스트 실패 및 평균 통과율의 추세입니다.

      차트 보기

  • 결과: 총 실패 횟수를 기준으로 실패한 상위 테스트 목록입니다. 문제가 있는 테스트를 식별하는 데 도움이 되며 결과의 자세한 요약을 자세히 살펴볼 수 있습니다.

    결과 보기

그룹 테스트 실패

보고서 보기는 그룹별 옵션을 사용하여 여러 가지 방법으로 구성할 수 있습니다. 테스트 결과를 그룹화하면 상위 실패 테스트의 다양한 측면에 대한 심층적인 인사이트를 제공할 수 있습니다. 아래 예제에서는 테스트 결과가 속한 테스트 파일을 기반으로 그룹화됩니다. 다음 단계를 쉽게 식별하고 우선 순위를 지정하는 데 도움이 되도록 지정된 기간 동안 총 테스트 실패에 대한 테스트 파일 및 해당 기여도를 보여 줍니다. 또한 각 테스트 파일에 대해 이러한 실패에 기여하는 테스트를 표시합니다.

테스트 파일별로 그룹화

개별 테스트로 드릴다운

세부 정보 섹션에서 하나 이상의 테스트를 식별한 후 분석할 개별 테스트를 선택합니다. 이렇게 하면 지정된 기간의 매일 테스트의 통과 또는 실패 인스턴스와 같은 다양한 결과의 누적 차트를 사용하여 선택한 테스트의 드릴다운 보기를 제공합니다. 이 보기를 사용하면 숨겨진 패턴을 유추하고 그에 따라 작업을 수행할 수 있습니다.

테스트를 위한 드릴다운

해당 그리드 뷰에는 해당 기간 동안 선택한 테스트의 모든 실행 인스턴스가 나열됩니다.

모든 테스트 인스턴스 보기

실패 분석

근본 원인에 대한 오류 분석을 수행하려면 드릴다운 보기에서 하나 이상의 테스트 실행 인스턴스를 선택하여 컨텍스트에서 오류 세부 정보를 확인합니다.

오류 세부 정보 보기

숨겨진 패턴 유추

단일 실행 instance 대한 테스트 실패를 살펴보면 패턴을 유추하기가 어려운 경우가 많습니다. 아래 예제에서는 특정 기간 동안 테스트 오류가 발생했으며 이를 알면 조사 scope 좁힐 수 있습니다.

테스트 실패 패턴의 예입니다.

또 다른 예는 비결정적 동작을 나타내는 테스트입니다(종종 벗겨진 테스트라고도 함). 테스트 실행의 개별 instance 살펴보면 동작에 대한 의미 있는 인사이트를 제공하지 않을 수 있습니다. 그러나 기간 동안 테스트 실행 추세를 관찰하면 숨겨진 패턴을 유추하고 오류를 resolve 데 도움이 될 수 있습니다.

보고서 정보 원본

테스트 분석 정보 원본은 빌드 또는 릴리스 파이프라인에 대해 게시된 테스트 결과 집합입니다. 이러한 결과는 일정 기간 동안 누적되며 테스트 분석에서 제공하는 풍부한 인사이트의 기초가 됩니다.

도움말 및 지원