테스트 기간 샘플 보고서

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

다음 이미지에 표시된 것과 유사한 테스트 기간 보고서는 테스트가 실행되는 횟수와 파이프라인 실행 중에 특정 테스트를 실행하는 데 걸리는 평균 시간에 대한 인사이트를 제공합니다. 파이프라인에 테스트를 추가하는 방법에 대한 자세한 내용은 이 문서의 뒷부분에 있는 테스트 작업 리소스 섹션을 참조하세요.

이 문서에 제공된 쿼리를 사용하여 다음 보고서를 생성합니다.

• 빌드 워크플로에 대한 테스트 기간
• 릴리스 워크플로에 대한 테스트 기간
• 특정 분기에 대한 테스트 기간
• 특정 테스트 파일에 대한 테스트 기간
• 특정 테스트 소유자에 대한 테스트 기간

Important

Analytics Service의 OData 피드에 대한 Power BI 통합 및 액세스는 일반적으로 Azure DevOps Services 및 Azure DevOps Server 2020 이상 버전에서 사용할 수 있습니다. 이 문서에서 제공하는 샘플 쿼리는 Azure DevOps Server 2020 이상 버전에 대해서만 유효하며 v3.0 미리 보기 이상 버전에 따라 달라집니다. 이러한 쿼리를 사용하고 피드백을 제공하는 것이 좋습니다.

필수 조건

• 분석 데이터를 보고 서비스를 쿼리하려면 기본 액세스 이상의 프로젝트 멤버여야 합니다. 기본적으로 모든 프로젝트 멤버에는 분석을 쿼리하고 분석 뷰를 정의할 수 있는 권한이 부여됩니다.
• 서비스 및 기능 사용 및 일반 데이터 추적 활동과 관련된 다른 필수 구성 요소에 대해 알아보려면 분석에 액세스하기 위한 사용 권한 및 필수 구성 요소를 참조 하세요.

참고 항목

이 문서에서는 OData 쿼리를 사용하여 샘플 보고서 개요를 읽었 으며 Power BI에 대한 기본적인 이해를 가지고 있다고 가정합니다 .

샘플 쿼리

엔터티 집합의 TestResultsDaily 다음 쿼리를 사용하여 서로 다르지만 유사한 테스트 기간 보고서를 만들 수 있습니다. 엔터티 집합은 TestResultsDaily 테스트별로 그룹화된 실행의 TestResult 일일 스냅샷 집계를 제공합니다.

참고 항목

필터 또는 보고서 용도 로 사용 가능한 속성을 확인하려면 Azure Pipelines에 대한 테스트 계획 분석 및 메타데이터 참조에 대한 메타데이터 참조를 참조하세요. 에서 사용할 수 있는 값 또는 아래 값을 Property 사용하여 쿼리를 EntityType 필터링하거나 NavigationPropertyBinding Path 속성을 반환할 수 있습니다 EntitySet. 각각 EntitySet 은 .에 EntityType해당합니다. 각 값의 데이터 형식에 대해 자세히 알아보려면 해당 EntityType값에 대해 제공된 메타데이터를 검토합니다.

빌드 워크플로에 대한 테스트 기간

다음 쿼리를 사용하여 빌드 워크플로가 있는 파이프라인에 대한 테스트 기간 보고서를 볼 수 있습니다.

Power BI 쿼리

아래에 나열된 Power BI 쿼리를 데이터> 비어 있는 쿼리 가져오기 창에 직접 붙여넣을 수 있습니다. 자세한 내용은 OData 쿼리를 사용하는 샘플 보고서의 개요를 검토 하세요.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build' "
           &") "
            &"/groupby( "
                &"(TestSK, Test/TestName), "
                &"aggregate( "
                  &"ResultCount with sum as TotalCount, "
                  &"ResultDurationSeconds with sum as TotalDuration "
            &")) "
        &"/compute( "
    &"TotalDuration div TotalCount as AvgDuration) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData 쿼리

다음 OData 쿼리 코드를 사용하여 Power BI에서 쿼리를 사용하기 전에 쿼리를 수정하거나 테스트할 수 있습니다. 자세한 내용은 Power BI 및 OData 쿼리를 사용하는 커넥트 참조하세요.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build'
	)
/groupby(
	(TestSK, Test/TestName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultDurationSeconds with sum as TotalDuration
	))
/compute(
TotalDuration div TotalCount as AvgDuration)

릴리스 워크플로에 대한 테스트 기간

다음 쿼리를 사용하여 릴리스 워크플로가 있는 파이프라인에 대한 테스트 기간 보고서를 볼 수 있습니다.

Power BI 쿼리

아래에 나열된 Power BI 쿼리를 데이터> 비어 있는 쿼리 가져오기 창에 직접 붙여넣을 수 있습니다. 자세한 내용은 OData 쿼리를 사용하는 샘플 보고서의 개요를 검토 하세요.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Workflow), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultDurationSeconds with sum as TotalDuration "
                &")) "
            &"/compute( "
                &"TotalDuration div TotalCount as AvgDuration) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData 쿼리

다음 OData 쿼리 코드를 사용하여 Power BI에서 쿼리를 사용하기 전에 쿼리를 수정하거나 테스트할 수 있습니다. 자세한 내용은 Power BI 및 OData 쿼리를 사용하는 커넥트 참조하세요.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Workflow), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultDurationSeconds with sum as TotalDuration
	))
/compute(
TotalDuration div TotalCount as AvgDuration)

분기별로 필터링된 테스트 기간

특정 분기에 대한 파이프라인 테스트의 테스트 기간을 보려면 다음 쿼리를 사용합니다. 보고서를 만들려면 이 문서의 뒷부분에 지정된 것과 함께 다음 추가 단계를 수행합니다.

• 다음으로 확장 BranchBranch.BranchName
• Power BI 시각화 슬라이서 선택 및 슬라이서 필드에 필드 Branch.BranchName 추가
• 결과 요약을 확인해야 하는 슬라이서에서 분기 이름을 선택합니다.

슬라이서 사용에 대한 자세한 내용은 Power BI의 슬라이서를 참조하세요.

Power BI 쿼리

아래에 나열된 Power BI 쿼리를 데이터> 비어 있는 쿼리 가져오기 창에 직접 붙여넣을 수 있습니다. 자세한 내용은 OData 쿼리를 사용하는 샘플 보고서의 개요를 검토 하세요.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
        &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultDurationSeconds with sum as TotalDuration "
            &")) "
                &"/compute( "
            &"TotalDuration div TotalCount as AvgDuration) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData 쿼리

다음 OData 쿼리 코드를 사용하여 Power BI에서 쿼리를 사용하기 전에 쿼리를 수정하거나 테스트할 수 있습니다. 자세한 내용은 Power BI 및 OData 쿼리를 사용하는 커넥트 참조하세요.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((TestSK, Test/TestName, Branch/BranchName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultDurationSeconds with sum as TotalDuration
	))
/compute(
TotalDuration div TotalCount as AvgDuration)

테스트 파일로 필터링된 테스트 기간

특정 테스트 소유자가 소유한 테스트에 대한 파이프라인의 테스트 기간을 보려면 다음 쿼리를 사용합니다. 보고서를 만들려면 이 문서의 뒷부분에 정의된 내용과 함께 다음 추가 단계를 수행합니다.

• 다음으로 확장 TestTest.ContainerName
• Power BI 시각화 슬라이서 선택 및 슬라이서 필드에 필드 Test.ContainerName 추가
• 결과 요약을 확인해야 하는 슬라이서에서 테스트 파일을 선택합니다.

Power BI 쿼리

아래에 나열된 Power BI 쿼리를 데이터> 비어 있는 쿼리 가져오기 창에 직접 붙여넣을 수 있습니다. 자세한 내용은 OData 쿼리를 사용하는 샘플 보고서의 개요를 검토 하세요.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
        &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultDurationSeconds with sum as TotalDuration "
            &")) "
                &"/compute( "
            &"TotalDuration div TotalCount as AvgDuration) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData 쿼리

다음 OData 쿼리 코드를 사용하여 Power BI에서 쿼리를 사용하기 전에 쿼리를 수정하거나 테스트할 수 있습니다. 자세한 내용은 Power BI 및 OData 쿼리를 사용하는 커넥트 참조하세요.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((TestSK, Test/TestName, Test/ContainerName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultDurationSeconds with sum as TotalDuration
	))
/compute(
TotalDuration div TotalCount as AvgDuration)

테스트 소유자에 의해 필터링된 테스트 기간

특정 테스트 소유자가 소유한 테스트에 대한 파이프라인의 테스트 기간을 보려면 다음 쿼리를 사용합니다. 보고서를 만들려면 이 문서의 뒷부분에 정의된 내용과 함께 다음 추가 단계를 수행합니다.

• 다음으로 확장 TestTest.TestOwner
• Power BI 시각화 슬라이서 선택 및 슬라이서 필드에 필드 Test.TestOwner 추가
• 결과 요약을 확인해야 하는 슬라이서에서 테스트 소유자를 선택합니다.

Power BI 쿼리

아래에 나열된 Power BI 쿼리를 데이터> 비어 있는 쿼리 가져오기 창에 직접 붙여넣을 수 있습니다. 자세한 내용은 OData 쿼리를 사용하는 샘플 보고서의 개요를 검토 하세요.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
        &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultDurationSeconds with sum as TotalDuration "
            &")) "
                &"/compute( "
            &"TotalDuration div TotalCount as AvgDuration) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

OData 쿼리

다음 OData 쿼리 코드를 사용하여 Power BI에서 쿼리를 사용하기 전에 쿼리를 수정하거나 테스트할 수 있습니다. 자세한 내용은 Power BI 및 OData 쿼리를 사용하는 커넥트 참조하세요.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((TestSK, Test/TestName, Test/TestOwner), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultDurationSeconds with sum as TotalDuration
	))
/compute(
TotalDuration div TotalCount as AvgDuration)

대체 문자열 및 쿼리 분석

다음 문자열을 값으로 바꿉니다. 대괄호를 대체에 {} 포함하지 마세요. 예를 들어 조직 이름이 "Fabrikam"{organization}Fabrikam{Fabrikam}인 경우 .

• {organization} - 조직 이름
• {project} - 팀 프로젝트 이름
• {pipelinename} - 파이프라인 이름입니다. 예: Fabrikam hourly build pipeline
• {startdate} - 보고서를 시작할 날짜입니다. 형식: YYYY-MM-DDZ. 예: 2021-09-01Z 2021년 9월 1일을 나타냅니다. 따옴표나 대괄호로 묶지 말고 월과 날짜 둘 다에 두 숫자를 사용합니다.

쿼리 분석

다음 표에서는 쿼리의 각 부분을 설명합니다.

쿼리 파트

설명

---

$apply=filter(

Start filter() 절입니다.

Pipeline/PipelineName eq '{pipelineName}'

명명된 파이프라인에 대한 테스트 실행을 반환합니다.

And Date/Date ge {startdate}

반환 테스트는 지정된 날짜 또는 그 이후에 실행됩니다.

and Workflow eq 'Build'

워크플로에 대한 테스트 실행을 반환합니다 Build .

)

Close filter() 절입니다.

/groupby(

Start groupby() 절입니다.

(TestSK, Test/TestName),

테스트 이름으로 그룹화합니다.

aggregate(

필터 조건과 일치하는 다양한 테스트 실행 결과를 합산하는 시작 aggregate 절입니다.

ResultCount with sum as TotalCount,

총 테스트 실행 수를 .로 TotalCount계산합니다.

ResultDurationSeconds with sum as TotalDuration

모든 실행의 총 기간을 .로 합산 TotalDuration합니다.

))

닫 aggregate() 기 및 groupby() 절입니다.

/compute(

Start compute() 절입니다.

TotalDuration div TotalCount as AvgDuration

모든 테스트의 경우 총 기간을 총 실행 수로 나누어 평균 기간을 계산합니다.

)

Close compute() 절입니다.

(선택 사항) 쿼리 이름 바꾸기

기본 쿼리 레이블인 Query1의 이름을 좀 더 의미 있는 것으로 바꿀 수 있습니다. 쿼리 설정 창에서 새 이름을 입력하기만 하면됩니다.

Power BI에서 테스트 열 확장

Test 열을 확장하여 확장된 엔터티를 표시합니다Test.TestName. 열을 확장하면 레코드가 특정 필드로 평면화됩니다. 방법을 알아보려면 분석 데이터 변환을 참조 하여 Power BI 보고서를 생성하고 열을 확장합니다.

열 데이터 형식 변경

1. Power Query 편집기 열을 선택하고 TotalCount 변환 메뉴에서 데이터 형식을 선택한 다음 정수를 선택합니다.

2. 열 TotalDuration 및 AvgDuration 열을 선택하고 변환 메뉴에서 데이터 형식을 선택한 다음 10진수를 선택합니다.

데이터 형식 변경에 대한 자세한 내용은 분석 데이터 변환을 참조 하여 Power BI 보고서를 생성하고 열 데이터 형식을 변환합니다.

쿼리를 닫고 변경 내용 적용

모든 데이터 변환을 완료한 후 홈 메뉴에서 닫기 및 적용 을 선택하여 쿼리를 저장하고 Power BI의 보고서 탭으로 돌아갑니다.

테이블 보고서 만들기

1. Power BI의 시각화에서 테이블을 선택하고 필드를 열 영역으로 끌어서 놓습니다.

   

2. 열 섹션에 나열된 순서대로 다음 필드를 추가합니다 .

   • Test.TestName
   • TotalCount
   • AvgDuration

3. 마우스 AvgDuration 오른쪽 단추를 클릭하고 합계 대신 평균을 선택합니다.

보고서는 다음 이미지와 비슷해야 합니다.

테스트 작업 리소스

• Visual Studio 테스트 작업을 사용하여 병렬로 테스트 실행
• 모든 테스트 실행기에서 병렬로 테스트 실행
• TIA(테스트 영향 분석)를 사용하여 테스트 속도 향상
• 벗겨진 테스트 관리
• UI 테스트 고려 사항
• Azure Load Testing
• Azure Pipelines 작업 참조, 테스트 작업

관련된 문서

• Analytics에 대한 OData 쿼리 생성
• Power BI 및 OData 쿼리를 사용하는 커넥트
• Azure Pipelines에 대한 메타데이터 참조
• 샘플 보고서 및 빠른 참조 인덱스
• Power BI의 슬라이서