테스트 결과 검토

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020 | 2019년 Azure DevOps Server | TFS 2018

자동화된 테스트는 다양한 언어에 대한 빌드 또는 릴리스의 일부로 실행되도록 구성할 수 있습니다. 테스트 보고서는 파이프라인 품질을 측정하고, 추적 가능성을 검토하고, 오류를 해결하고, 오류 소유권을 유도하기 위해 다양한 테스트 프레임워크를 사용하여 실행된 테스트 결과를 볼 수 있는 효과적이고 일관된 방법을 제공합니다. 또한 다음 섹션에서 살펴보는 다양한 고급 보고 기능을 제공합니다.

Analytics Service를 사용하여 테스트 결과에 대한 심층 분석을 수행할 수도 있습니다. 빌드 및 배포 파이프라인에서 이를 사용하는 예제는 테스트 결과 분석을 참조하세요.

테스트 보고서 용어를 이해하려면 용어집 을 읽어보십시오.

참고

테스트 보고서는 TFS 2015 이상에서 사용할 수 있지만 이 항목에 설명된 새로운 환경은 현재 Azure Pipelines에서만 사용할 수 있습니다.

참고

Microsoft TFS(Team Foundation Server) 2018 이하 버전에서 빌드 및 릴리스 ‘파이프라인’은 ‘정의’라고 하며 ‘실행’은 ‘빌드’, ‘서비스 연결’은 ‘서비스 엔드포인트’, ‘스테이지’는 ‘환경’, ‘작업’은 ‘단계’라고 합니다.

게시된 테스트 결과는 빌드 또는 릴리스 요약의 테스트 탭에서 볼 수 있습니다.

테스트 탭의 Surface 테스트 결과

테스트 결과는 다음 옵션 중 하나를 사용하여 테스트 탭에 표시될 수 있습니다.

  • 테스트 결과를 자동으로 유추합니다. 기본적으로 파이프라인은 인기 있는 몇 가지 테스트 실행기에서 테스트 출력을 자동으로 유추할 수 있습니다. 이 작업은 빌드 작업 중에 생성된 오류 로그를 구문 분석한 다음 테스트 실패의 서명을 확인하여 수행됩니다. 현재 Azure DevOps는 테스트 결과를 자동으로 유추하기 위해 다음 언어 및 테스트 실행기를 지원합니다.

  • 실행 태스크를 테스트합니다. 테스트 결과를 파이프라인에 자동으로 게시하는 Visual Studio Test 와 같은 기본 제공 테스트 실행 작업 또는 작업 내에서 이 기능을 옵션으로 제공하는 Ant, Maven, Gulp, GruntXcode 와 같은 다른 작업입니다.

  • 테스트 결과 게시 태스크. 선택한 실행기를 사용하여 테스트가 실행될 때 Azure Pipelines 또는 TFS에 테스트 결과를 게시하는 태스크이며, 결과는 지원되는 테스트 결과 형식 중에서 사용할 수 있습니다.

  • API. 테스트 관리 API를 사용하여 직접 게시된 테스트 결과입니다.

테스트 탭을 벗어난 Surface 테스트 정보

테스트 탭은 테스트 실행에 대한 자세한 요약을 제공합니다. 이는 파이프라인의 품질을 추적하고 오류 문제를 해결하는 데 유용합니다. Azure DevOps는 테스트 정보를 노출하는 다른 방법도 제공합니다.

  • 대시보드는 팀의 진행 상황을 표시합니다. 테스트 관련 정보를 표시하는 위젯을 하나 이상 추가합니다.

  • 테스트 분석은 일정 기간 동안 측정된 테스트 결과에 대한 풍부한 인사이트를 제공합니다. 상위 실패 테스트 등과 같은 데이터를 제공하여 테스트에서 문제가 있는 영역을 식별하는 데 도움이 될 수 있습니다.

빌드에서 테스트 결과 보기

빌드 요약은 빌드에서 실행되는 주요 단계의 타임라인 보기를 제공합니다. 테스트가 빌드의 일부로 실행되고 보고되면 테스트 마일스톤이 타임라인 보기에 표시됩니다. 테스트 마일스톤은 테스트 결과에 대한 요약을 통과 백분율 의 측정값으로 제공하고 실패 에 대한 지표 및 중단(있는 경우 )을 제공합니다.

빌드 타임라인 보기에서 테스트 보기

릴리스에서 테스트 결과 보기

파이프라인 보기에서 모든 단계 및 관련 테스트를 볼 수 있습니다. 이 보기는 실패에 대한 지표와 함께 통과 비율의 측정값으로 테스트 결과의 요약을 제공하고 이러한 결과가 있는 경우 중단합니다. 이러한 지표는 빌드 타임라인 보기와 동일하므로 빌드 및 릴리스에서 일관된 환경을 제공합니다.

릴리스 캔버스 보기에서 테스트 보기

테스트 탭

빌드 및 릴리스 요약 모두 테스트 실행에 대한 세부 정보를 제공합니다. 테스트 탭에서 세부 정보를 보려면 테스트 요약을 선택합니다. 이 페이지에는 다음 섹션이 있습니다.

  • 요약: 총 테스트 수, 실패한 테스트, 통과 비율 등과 같은 테스트 실행에 대한 주요 정량적 메트릭을 제공합니다. 또한 이전 실행과 비교하여 변경의 차등 지표를 제공합니다.

  • 결과: 현재 빌드 또는 릴리스의 일부로 실행되고 보고된 모든 테스트를 나열합니다. 기본 보기는 주의가 필요한 테스트에 집중하기 위해 실패한 테스트와 중단된 테스트만 표시합니다. 그러나 제공된 필터를 사용하여 다른 결과를 선택할 수 있습니다.

  • 세부 정보: 정렬, 그룹화, 검색 및 필터링하여 필요한 테스트 결과를 찾을 수 있는 테스트 목록입니다.

테스트 보기 탭

테스트 실행 또는 결과를 선택하여 오류 메시지, 스택 추적, 첨부 파일, 작업 항목, 기록 추세 등과 같은 문제 해결에 필요한 추가 정보를 표시하는 세부 정보 창을 봅니다.

세부 정보 보기 탭

Visual Studio 테스트 태스크를 사용하여 테스트를 실행하는 경우 테스트에서 기록된 진단 출력(Console.WriteLine, Trace.WriteLine 또는 TestContext.WriteLine 메서드 사용)이 실패한 테스트의 첨부 파일로 표시됩니다.

테스트 탭의 다음 기능은 생산성 및 문제 해결 환경을 개선하는 데 도움이 됩니다.

큰 테스트 결과 필터링

시간이 지남에 따라 테스트가 누적되고 대규모 애플리케이션의 경우 수만 개의 테스트로 쉽게 확장할 수 있습니다. 테스트가 매우 많은 이러한 애플리케이션의 경우 결과를 탐색하여 테스트 실패를 식별하거나 근본 원인을 연결하거나 문제의 소유권을 가져오기 어려울 수 있습니다. 필터를 사용하면 관심 있는 테스트 결과를 쉽게 탐색할 수 있습니다. 테스트 이름, 결과(실패, 통과 등), 테스트 파일(테스트를 보유하는 파일) 및 소유자(테스트 파일의 경우)를 필터링할 수 있습니다. 모든 필터 조건은 본질적으로 누적됩니다.

대용량 테스트 결과 집합 필터링

또한 테스트 실행, 테스트 파일, 우선 순위, 요구 사항 등과 같은 여러 그룹화 옵션을 사용하여 필요에 따라 결과 보기를 정확하게 구성할 수 있습니다.

버그를 사용하여 부채 관리 테스트

실패 또는 장기 실행 테스트에 대한 테스트 문제를 관리하려면 버그를 만들거나 기존 버그에 데이터를 추가하고 모든 연결된 작업 항목을 작업 항목 탭에서 볼 수 있습니다.

몰입형 문제 해결 환경

오류 메시지 및 스택 추적은 본질적으로 길며 문제 해결 중에 세부 정보를 볼 수 있는 충분한 부동산이 필요합니다. 몰입형 문제 해결 환경을 제공하기 위해 세부 정보 보기를 전체 페이지 보기로 확장하면서 선택한 테스트 결과에 대한 버그 만들기 또는 요구 사항 연결과 같은 컨텍스트에서 필요한 작업을 수행할 수 있습니다.

전체 페이지 패널 보기

테스트 실패에 대한 데이터 문제 해결

테스트 실패의 경우 오류 메시지 및 스택 추적을 문제 해결에 사용할 수 있습니다. 첨부 파일 탭에서 테스트 실패와 관련된 모든 첨부 파일을 볼 수도 있습니다.

부채 관리 테스트

기존 버그를 만들거나 추가하여 실패 또는 장기 실행 테스트에 대한 테스트 문제를 관리할 수 있습니다. 작업 항목 탭은 테스트와 관련된 모든 버그 및 요구 사항을 자세히 설명하여 요구 사항 영향을 분석하고 상태 및 버그에 대해 작업 중인 사용자를 분석하는 데 도움이 됩니다.

테스트 실행 기록은 테스트의 안정성 또는 성능에 대한 의미 있는 인사이트를 제공할 수 있습니다. 실패 문제를 해결할 때는 과거에 테스트가 어떻게 수행되었는지 아는 것이 중요합니다. 테스트 탭은 테스트 결과와 컨텍스트에서 테스트 기록을 제공합니다. 테스트 기록 정보는 빌드 및 릴리스를 위해 현재 빌드 파이프라인부터 다른 분기로 또는 현재 스테이지를 다른 단계로 점진적으로 노출합니다.

기록 추세 보기

진행 중인 테스트 실행 보기

통합 및 기능 테스트와 같은 테스트는 오랫동안 실행할 수 있습니다. 따라서 지정된 시간에 테스트 실행의 현재 또는 거의 실시간 상태를 확인하는 것이 중요합니다. 테스트가 빠르게 실행되는 경우에도 가능한 한 빨리 관련 테스트 결과의 상태를 파악하는 것이 유용합니다. 특히 오류가 발생하는 경우 진행 중인 보기는 테스트 실행이 완료되기를 기다릴 필요가 없습니다. 실행이 진행됨에 따라 결과를 거의 실시간으로 사용할 수 있으므로 작업을 더 빠르게 수행할 수 있습니다. 오류를 디버그하거나, 버그를 제출하거나, 파이프라인을 중단할 수 있습니다.

진행 중인 릴리스 보기

참고

이 기능은 현재 다중 에이전트 작업에서 Visual Studio 테스트 작업을 사용하여 빌드 및 릴리스 모두에 사용할 수 있습니다. 이후 릴리스에서 단일 에이전트 작업에 사용할 수 있습니다.

아래 보기에서는 릴리스 의 진행 중인 테스트 요약을 보여 줍니다. 지정된 시점에 총 테스트 수 및 테스트 실패 횟수를 보고합니다. 테스트 실패는 문제 해결, 버그 만들기 또는 다른 적절한 작업을 수행하는 데 사용할 수 있습니다.

진행 중인 요약 보기

요약된 테스트 결과 보기

테스트 실행 중에 테스트는 전체 결과에 기여하는 여러 인스턴스 또는 테스트를 생성할 수 있습니다. 몇 가지 예는 다시 실행되는 테스트, 다른 테스트(순서가 지정된 테스트)의 정렬된 조합으로 구성된 테스트 또는 입력 매개 변수(데이터 기반 테스트)를 기반으로 서로 다른 인스턴스가 있는 테스트입니다.

이러한 테스트는 관련되므로 개별 인스턴스 또는 테스트에서 파생된 전체 결과와 함께 보고되어야 합니다. 이러한 테스트 결과는 테스트 탭에서 요약된 테스트 결과로 보고됩니다.

  • 실패한 테스트 다시 실행: 실패한 테스트를 다시 실행하는 기능은 최신 버전의 Visual Studio 테스트 태스크에서 사용할 수 있습니다. 다시 실행하는 동안 실패한 테스트에 대해 여러 번 시도할 수 있으며, 각 실패는 테스트의 비결정적 동작으로 인해 다른 근본 원인을 가질 수 있습니다. 테스트 보고서는 전체 테스트 결과와 함께 재실행의 모든 시도에 대한 결합된 보기를 요약된 단위로 제공합니다. 또한 이제 테스트 관리 API 는 요약된 테스트 결과를 게시하고 쿼리하는 기능을 지원합니다.

    실패한 테스트 다시 실행

  • 데이터 기반 테스트: 실패한 테스트의 다시 실행과 유사하게 데이터 기반 테스트의 모든 반복은 요약된 보기에서 해당 테스트 아래에 보고됩니다. 요약 보기는 정렬된 테스트(Visual Studio의 .orderedtest )에도 사용할 수 있습니다.

    데이터 기반 테스트

참고

테스트 요약 섹션의 메트릭(예: 총 테스트 수, 통과, 실패 또는 기타)은 요약된 테스트 결과의 루트 수준을 사용하여 계산됩니다.

중단된 테스트 보기

잘못된 테스트 코드, 테스트 중인 원본의 오류 또는 환경 문제와 같은 여러 가지 이유로 인해 테스트 실행을 중단할 수 있습니다. 중단 이유에 관계없이 동작을 진단하고 근본 원인을 식별할 수 있어야 합니다. 중단된 테스트 및 테스트 실행은 테스트 탭에서 완료된 실행과 함께 볼 수 있습니다 .

중지된 테스트를 봅니다.

참고

이 기능은 현재 빌드 및 릴리스 모두에서 사용할 수 있으며, 다중 에이전트 작업에서 Visual Studio 테스트 작업을 사용하거나 테스트 관리 API를 사용하여 테스트 결과를 게시합니다. 이후 릴리스에서 단일 에이전트 작업에 사용할 수 있습니다.

테스트 결과를 자동으로 유추

Azure DevOps는 지원되는 몇 가지 테스트 프레임워크에 대해 파이프라인에서 실행되는 테스트의 출력을 자동으로 유추할 수 있습니다. 이러한 자동으로 유추된 테스트 보고서에는 파이프라인의 특정 구성이 필요하지 않으며 테스트 보고를 사용하여 시작할 수 없습니다.

자동으로 유추된 테스트 보고서의 예

테스트 결과가 자동으로 유추되는 실행기 목록을 참조하세요.

이러한 유추된 보고서에는 제한된 테스트 메타데이터만 있으므로 기능 및 기능이 제한됩니다. 유추된 테스트 보고서에는 다음 기능을 사용할 수 없습니다.

  • 테스트 파일, 소유자, 우선 순위 및 기타 필드를 사용하여 테스트 결과 그룹화
  • 테스트 결과 검색 및 필터링
  • 통과된 테스트의 세부 정보 확인
  • 웹 UI 자체 내에서 테스트하는 동안 생성된 첨부 파일 미리 보기
  • 테스트 실패를 새 버그와 연결하거나 이 실패에 대한 연결된 작업 항목 목록을 참조하세요.
  • 파이프라인에서 테스트에 대한 빌드 기반 분석 참조

참고

Mocha와 같은 일부 주자에는 점 매트릭스진행률 표시줄과 같은 여러 기본 제공 콘솔 기자가 있습니다. 테스트 실행기에서 기본이 아닌 콘솔 출력을 구성했거나 사용자 지정 보고자를 사용하는 경우 Azure DevOps는 테스트 결과를 유추할 수 없습니다. 기본 보고자의 결과만 유추할 수 있습니다.

도움말 및 지원