테스트 계획에서 자동화된 테스트 실행

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018

테스트 계획에서 테스트 사례를 자동화하고 Azure Test Plans 직접 실행합니다. 자동화된 테스트는 다음과 같은 이점을 제공합니다.

  • 빌드 또는 릴리스 워크플로에서 실행 중인 테스트에 정통하지 않을 수 있는 테스터를 위한 사용자에게 친숙한 프로세스입니다.
  • 필터 조건을 충족하는 모든 테스트가 실행되는 빌드 또는 릴리스 워크플로에서 예약된 테스트가 아닌 요청 시 선택한 테스트를 실행할 수 있는 유연성입니다.
  • 테스트 인프라 문제로 인해 실패한 몇 가지 테스트를 다시 실행하거나 실패한 테스트에 대한 수정 사항을 포함하는 새 빌드가 있습니다.

사전 요구 사항

자세한 내용은 수동 테스트 액세스 및 사용 권한을 참조하세요.

또한 다음이 필요합니다.

환경 설정

  1. Test Plans 페이지에서 테스트 계획을 선택하고 바로 가기 메뉴를 열고 테스트 계획 설정을 선택합니다.

    테스트 계획 설정 선택

  2. 테스트 계획 설정 대화 상자에서 테스트 이진 파일이 포함된 빌드를 생성하는 빌드 파이프라인을 선택합니다. 그런 다음 테스트할 특정 빌드 번호를 선택하거나 테스트가 실행되면 시스템에서 최신 빌드를 자동으로 사용하도록 할 수 있습니다.

    빌드 및 빌드 번호 선택

  3. Azure Test Plans테스트 계획에서 테스트를 실행하려면 Test Manager 템플릿에서 자동화된 테스트 실행에서 만든 릴리스 파이프라인이 필요합니다. 이 템플릿을 사용하여 만든 기존 릴리스 파이프라인이 있는 경우 해당 템플릿을 선택한 다음 테스트가 실행될 릴리스 파이프라인의 기존 단계를 선택합니다. 그렇지 않으면 대화 상자에서 새 만들기 링크를 선택하여 Visual Studio 테스트 작업이 이미 추가된 단일 단계를 포함하는 새 릴리스 파이프라인을 만듭니다.

    릴리스 파이프라인 선택 또는 새 파이프라인 만들기

    빌드 또는 릴리스 파이프라인에서 테스트 코드에 매개 변수를 전달할 어떻게 할까요? 있나요?

  4. 필요에 따라 릴리스 파이프라인 및 스테이지에 의미 있는 이름을 할당합니다.

  5. 에이전트 컴퓨터에 Visual Studio 테스트 플랫폼을 설치해야 합니다. Visual Studio가 에이전트 컴퓨터에 이미 설치된 경우 이 단계를 건너뛸 수 있습니다. 그렇지 않은 경우 파이프라인 정의에 Visual Studio 테스트 플랫폼 설치 관리자 작업을 추가해야 합니다.

  6. Visual Studio 테스트 태스크를 릴리스 파이프라인에 추가하고 다음과 같이 구성합니다.

    • Visual Studio 테스트 작업의 버전 2가 선택되었는지 확인합니다. 버전 번호는 작업 설정 패널의 왼쪽 위에 있는 드롭다운 목록에 표시됩니다.

      작업 버전 번호 설정 확인

    • 사용 중인 테스트 선택테스트 실행으로 설정되어 있는지 확인합니다. 이 설정은 무엇을 의미하나요?

      테스트 선택 방법 설정 확인

    • 테스트 플랫폼 버전 설정의 경우 도구 설치 관리자에서 설치를 선택합니다.

      설치 관리자 옵션 설정

    • 물리적 브라우저 또는 두꺼운 클라이언트에서 실행되는 UI 테스트가 있는 경우 에이전트가 자동 로그온을 사용하도록 설정된 대화형 프로세스로 실행되도록 설정되어 있는지 확인합니다. 빌드 또는 릴리스를 큐에 넣기 전에 에이전트를 대화형으로 실행하도록 설정해야 합니다.( 테스트 조합에 UI 테스트 포함 확인란이 대화형 모드에서 에이전트를 자동으로 구성하지 않음 - 오류를 방지하기 위해 에이전트를 적절하게 구성하기 위한 미리 알림으로만 사용됨).

    • 헤드리스 브라우저에서 UI 테스트를 실행하는 경우 대화형 프로세스 구성이 필요하지 않습니다.

    • 테스트 플랫폼이 프로비전되는 방법 및 Visual Studio 버전 또는 테스트 컴퓨터에 설치된 테스트 플랫폼의 위치를 선택합니다.

    • 테스트에 앱 URL 또는 데이터베이스 연결 문자열과 같은 입력 매개 변수 가 필요한 경우 빌드 아티팩트에서 관련 설정 파일을 선택합니다. 이 파일이 아티팩트에 포함되지 않은 경우 빌드 파이프라인에서 빌드 아티팩트 게시 작업을 사용하여 설정 파일을 삭제 위치에 게시할 수 있습니다. 아래 예제에서 애플리케이션 URL은 실행 설정 파일에 노출되며 재정의 테스트 실행 매개 변수 설정을 사용하여 스테이징 URL로 설정하도록 재정의됩니다.

      Visual Studio 테스트 태스크의 속성 지정

      Visual Studio 테스트 작업의 옵션 설정에 대한 자세한 내용은 Visual Studio 테스트 작업을 참조하세요.

  7. 에이전트 작업 항목을 선택하고 배포 큐가 테스트를 실행할 컴퓨터가 포함된 항목으로 설정되어 있는지 확인합니다. 테스트에 에이전트 풀의 특수 머신이 필요한 경우 런타임에 이를 선택하는 요구를 추가할 수 있습니다.

    에이전트 작업에 대한 속성 지정

    병렬 처리를 여러 실행으로 설정하고 에이전트 수를 지정하여 여러 에이전트에 테스트를 분산하여 테스트 시간을 최소화할 수 있습니다.

    참고

    IE, Firefox 또는 Chrome과 같은 물리적 브라우저에서 CodeUI 또는 Selenium과 같은 UI 테스트를 실행하는 경우 컴퓨터의 에이전트는 서비스가 아닌 대화형 모드로 실행되어야 합니다. 자세한 내용.

  8. 릴리스 파이프라인의 파이프라인 페이지에서 테스트 이진 파일이 포함된 빌드 파이프라인이 아티팩트 원본으로 이 릴리스 파이프라인에 연결되어 있는지 확인합니다.

    연결된 빌드 아티팩트 확인

  9. 릴리스 파이프라인을 저장합니다.

  10. 이 예제의 2단계에서 테스트 계획 설정 대화 상자에서 새로 만들기 를 선택한 경우 테스트 계획 설정이 포함된 브라우저 페이지로 돌아갑니다. 테스트 계획 설정 대화 상자에서 릴리스 파이프라인을 선택하고 방금 저장한 단계를 선택합니다.

    릴리스 파이프라인 및 스테이지 선택

자동화된 테스트 실행

  1. Test Plans 웹 포털에서 테스트 계획을 열고 자동화된 테스트가 포함된 테스트 도구 모음을 선택합니다.

  2. 실행할 테스트를 선택하고 실행 메뉴를 열고 테스트 실행을 선택합니다.

    테스트 실행 선택

    이러한 테스트에 대한 테스트 이진 파일은 빌드 파이프라인에서 생성된 빌드 아티팩트에서 사용할 수 있어야 합니다.

  3. 확인을 선택하여 테스트 프로세스를 시작합니다. 시스템에서는 자동화된 테스트만 선택되었는지(수동 테스트는 무시됨), 스테이지의 유효성을 검사하여 Visual Studio 테스트 작업이 있고 유효한 설정이 있는지 확인하고, 선택한 릴리스 파이프라인에 대한 릴리스를 만들 수 있는 사용자의 권한을 확인하고, 테스트 실행을 만든 다음, 선택한 단계로 릴리스 만들기를 트리거합니다.

    테스트 실행 시작

  4. 테스트 실행 보기를 선택하여 테스트 진행률을 보고 실패한 테스트를 분석합니다. 테스트 결과에는 오류 메시지, 스택 추적, 콘솔 로그 및 첨부 파일과 같은 실패한 테스트를 디버깅하기 위한 관련 정보가 있습니다.

  5. 테스트 실행이 완료되면 Azure Test Plans실행 페이지에 테스트 결과가 표시됩니다. 실행 요약 페이지에는 실행에 대한 개요가 표시됩니다.

    테스트 실행 요약 보기

    테스트를 실행하는 데 사용되는 릴리스 에 대한 링크가 있으므로 나중에 돌아와서 결과를 분석해야 하는 경우 테스트를 실행한 릴리스를 쉽게 찾을 수 있습니다. 릴리스 로그를 보기 위해 릴리스를 열려면 이 링크를 사용합니다.

    참고 : 자동 테스트 결과에는 파일을 수동으로 첨부할 수 없습니다.

    테스트가 실행되지 않는 경우 확인해야 하는 일반적인 오류 시나리오 또는 문제는 무엇인가요?

  6. 테스트 결과 페이지에는 테스트 실행의 각 테스트에 대한 결과가 나열됩니다. 테스트를 선택하여 오류 메시지, 스택 추적, 콘솔 로그 및 첨부 파일과 같은 실패한 테스트에 대한 디버깅 정보를 확인합니다.

    테스트 결과 세부 정보 보기

  7. Test Plans 페이지를 열고 테스트 실행이 완료된 후 테스트가 업데이트되는 경우 테스트 계획을 선택하여 테스트 상태를 확인합니다. 테스트를 선택하여 최근 테스트 결과를 확인합니다.

    테스트 계획 보기

FAQ

Q: Azure Test Plans 자동화된 테스트를 실행하는 데 필요한 권한은 무엇인가요?

프로젝트 참가자이거나 다음 권한이 있어야 합니다.

  • 릴리스 만들기
  • 릴리스 관리
  • 릴리스 단계 편집
  • 배포 관리

자세한 내용은 릴리스 파이프라인 및 릴리스 권한에 대한 사용 권한 설정을 참조 하세요.

Q: 테스트 실행의 특정 인스턴스에 대한 테스트 계획 수준에서 빌드 또는 스테이지 집합을 재정의할 수 있나요?

A: 예, 옵션과 함께 실행 명령을 사용하여 이 작업을 수행할 수 있습니다. 왼쪽 열에서 테스트 도구 모음의 바로 가기 메뉴를 열고 옵션을 사용하여 실행을 선택합니다.

옵션을 사용하여 실행 구성 대화 상자

옵션으로 실행 대화 상자에서 다음 값을 입력한 다음 확인을 선택합니다.

  • 테스트 유형 및 실행기: 릴리스 단계를 사용하여 자동화된 테스트를 선택합니다.

  • 빌드: 테스트 이진 파일이 있는 빌드를 선택합니다. 테스트 결과는 이 빌드와 연결됩니다.

  • 릴리스 파이프라인: 선택한 빌드 아티팩트 사용 가능한 릴리스 파이프라인 목록에서 파이프라인을 선택합니다.

  • 릴리스 단계: 릴리스 파이프라인에 구성된 단계의 이름을 선택합니다.

옵션 대화 상자를 사용하여 실행하도록 구성되었습니다.

Q: 릴리스 단계를 사용하여 테스트를 실행하는 이유는 무엇인가요?

A: Azure Pipelines는 아티팩트로 테스트 이진 파일을 가져오고 테스트를 실행하는 강력한 오케스트레이션 워크플로를 제공합니다. 이 워크플로는 예약된 테스트 워크플로에서 사용되는 것과 동일한 개념을 공유합니다. 즉, 예약된 워크플로에서 테스트를 실행하는 사용자는 쉽게 적응할 수 있습니다. 예를 들어 예약된 기존 테스트 릴리스 파이프라인을 복제합니다.

또 다른 주요 이점은 테스트를 실행하기 전과 후에 다양한 작업을 수행할 수 있도록 작업 카탈로그의 다양한 작업 집합을 사용할 수 있다는 것입니다. 예를 들어 테스트 데이터 준비 및 정리, 구성 파일 만들기 및 정리 등이 있습니다.

Q: Visual Studio 테스트 작업 버전 2에서 "테스트 실행"을 선택하면 어떻게 작동하나요?

A: 테스트 관리 하위 시스템은 테스트 실행 개체를 사용하여 실행을 위해 선택한 테스트 목록을 전달합니다. 테스트 태스크는 테스트 실행 식별자를 조회하고, 컨테이너 및 테스트 메서드 이름과 같은 테스트 실행 정보를 추출하고, 테스트를 실행하고, 테스트 실행 결과를 업데이트하고, 테스트 실행에서 테스트 결과와 연결된 테스트 지점을 설정합니다. 감사 관점에서 Visual Studio 작업은 기록 릴리스 및 테스트 실행 식별자에서 주문형 테스트 실행을 위해 제출된 테스트에 대한 추적을 제공합니다.

Q: 에이전트가 대화형 모드 또는 서비스로 실행되어야 하나요?

A:코딩된 UI 또는 Selenium 테스트와 같은 UI 테스트를 실행하는 경우 에이전트가 웹 브라우저를 시작할 수 있도록 테스트 컴퓨터의 에이전트가 서비스가 아닌 자동 로그온을 사용하도록 설정된 대화형 모드에서 실행되어야 합니다. PhantomJS와 같은 헤드리스 브라우저를 사용하는 경우 에이전트를 서비스 또는 대화형 모드로 실행할 수 있습니다. 빌드 및 릴리스 에이전트, Windows에 에이전트 배포에이전트 풀을 참조하세요.

Q: Selenium 테스트를 실행하는 방법에 대한 자세한 설명서는 어디에서 찾을 수 있나요?

A:Selenium 테스트 시작을 참조하세요.

Q: 동일한 테스트에 대해 여러 구성을 선택하면 어떻게 되나요?

A: 현재 주문형 워크플로는 구성을 인식하지 않습니다.

Q: 다른 빌드에서 제품 이진 파일을 다운로드하고 이진 파일을 테스트해야 하는 경우 어떻게 해야 하나요? 또는 Jenkins와 같은 원본에서 아티팩트 가져오기가 필요한 경우

A: 현재 기능은 Azure Pipelines 워크플로를 사용하여 주문형으로 테스트할 단일 팀 빌드에 최적화되어 있습니다. 사용자 피드백에 따라 Jenkins와 같은 비 Azure Pipelines 아티팩트 등 다중 아티팩트 릴리스에 대한 지원을 평가합니다.

Q: 이미 예약된 테스트 릴리스 파이프라인이 있습니다. 동일한 파이프라인을 다시 사용하여 주문형 테스트를 실행할 수 있나요, 아니면 위에 표시된 대로 새 파이프라인을 만들어야 하나요?

A: 다음과 같은 이유로 Azure Test Plans 주문형 자동화 테스트를 위해 별도의 릴리스 파이프라인 및 단계를 사용하는 것이 좋습니다.

  • 몇 가지 주문형 테스트를 실행할 때마다 앱을 배포하지 않을 수 있습니다. 예약된 테스트 단계는 일반적으로 제품을 배포한 다음 테스트를 실행하도록 설정됩니다.

  • 새 릴리스는 모든 주문형 실행에 대해 트리거됩니다. 매일 몇 가지 주문형 테스트 실행을 실행하는 테스터가 많은 경우 예약된 테스트 릴리스 파이프라인이 이러한 실행에 대한 릴리스로 오버로드될 수 있으므로 예약된 테스트 및 프로덕션에 배포가 포함된 파이프라인에 대해 트리거된 릴리스를 찾기가 어려울 수 있습니다.

  • 릴리스를 트리거한 항목을 추적할 수 있도록 테스트 실행 식별자를 입력으로 사용하여 Visual Studio 테스트 작업을 구성할 수 있습니다. Visual Studio 테스트 작업에서 "테스트 실행(주문형 실행)"을 선택하는 방법은 무엇인가요?

Q: Microsoft Test Manager에서 이러한 실행을 트리거하고 결과를 볼 수 있나요?

A: 아니요. Microsoft Test Manager는 Team Foundation 빌드에 대해 자동화된 테스트 실행을 지원하지 않습니다. Azure Pipelines 및 TFS에 대한 웹 기반 인터페이스에서만 작동합니다. 모든 새로운 수동 및 자동화된 테스트 제품 개발 투자는 웹 기반 인터페이스에 있습니다. Microsoft Test Manager에 대한 추가 개발은 계획되지 않습니다. Microsoft Test Manager 사용에 대한 지침을 참조하세요.

Q: 팀에 여러 테스터가 있습니다. 동일한 릴리스 파이프라인을 사용하여 다른 테스트 도구 모음 또는 테스트 계획의 테스트를 병렬로 실행할 수 있나요?

A: 다음과 같은 경우 동일한 릴리스 파이프라인을 사용하여 여러 테스트 실행을 병렬로 트리거할 수 있습니다.

  • 스테이지와 연결된 에이전트 풀에는 병렬 요청을 수용하기에 충분한 에이전트가 있습니다. 충분한 에이전트를 사용할 수 없는 경우 실행은 계속 트리거될 수 있지만 에이전트를 사용할 수 있을 때까지 릴리스는 처리를 위해 큐에 대기됩니다.

  • 병렬 작업을 사용하도록 설정하는 데 충분한 작업이 있습니다. 자세한 내용은 Azure Pipelines의 병렬 작업 또는 TFS의 병렬 작업을 참조하세요.

  • 테스터는 동일한 테스트를 병렬로 실행하지 않습니다. 이렇게 하면 실행 순서에 따라 결과를 덮어쓸 수 있습니다.

여러 다른 테스트 실행을 병렬로 실행할 수 있도록 하려면 여러 릴리스가 다음과 같이 배포되기를 기다리는 경우 동작 에 대한 Azure Pipelines 단계 트리거 옵션을 설정합니다.

  • 애플리케이션이 다른 원본에서 병렬로 실행되는 테스트를 지원하는 경우 이 옵션을 설정하여 동시에 여러 릴리스를 배포할 수 있도록 합니다.

  • 애플리케이션이 다른 원본에서 병렬로 실행되는 테스트를 지원하지 않는 경우 이 옵션을 한 번에 하나의 활성 배포만 허용하도록 설정합니다.

Q: 빌드 또는 릴리스 파이프라인에서 내 테스트 코드에 매개 변수를 전달할 어떻게 할까요? 있나요?

A: runsettings 파일을 사용하여 값을 테스트 코드에 매개 변수로 전달합니다. 예를 들어 여러 단계가 포함된 릴리스에서는 각 단계의 각 테스트 작업에 적절한 앱 URL을 전달할 수 있습니다. runsettings 파일 및 일치하는 매개 변수는 Visual Studio 테스트 태스크에서 지정해야 합니다.

빌드 또는 릴리스 파이프라인에서 코드를 테스트하는 매개 변수 전달

Q: 테스트가 실행되지 않는 경우 확인해야 하는 일반적인 오류 시나리오 또는 문제는 무엇인가요?

A: 다음과 같이 문제를 확인하고 해결합니다.

  • 빌드를 선택한 후에는 테스트를 실행하려는 릴리스 파이프라인 및 단계가 표시되지 않습니다.

    • 빌드를 생성하는 빌드 파이프라인이 릴리스 파이프라인의 아티 팩트 탭에서 기본 아티팩트로 연결되어 있는지 확인합니다.

  • 릴리스를 트리거할 수 있는 충분한 권한이 없다는 오류가 발생합니다.

  • 자동화된 테스트를 찾을 수 없다는 오류가 발생합니다.

    • 선택한 테스트의 자동화 상태를 확인합니다. 테스트 사례에 대한 작업 항목에서 이 작업을 수행하거나 Azure Test Plans열 옵션 링크를 사용하여 테스트 목록에 Automation 상태 열을 추가합니다. 수동 테스트 자동화에 대한 자세한 내용은 필수 구성 요소 섹션 을 참조하세요.

  • 내 테스트가 실행되지 않았고 릴리스 파이프라인이 올바르지 않다고 생각합니다.

    • 요약 실행 페이지의 링크를 사용하여 테스트를 실행하는 데 사용되는 릴리스 인스턴스에 액세스하고 릴리스 로그를 볼 수 있습니다.

  • 테스트가 오류 상태로 전환되거나 스테이지에 릴리스가 트리거된 후에도 "진행 중"으로 유지됩니다.

    • 선택한 릴리스 단계에 올바른 작업 및 버전이 선택되어 있는지 확인합니다. Visual Studio 테스트 태스크의 버전 2 이상을 사용해야 합니다. 작업의 버전 1 및 기능 테스트 실행 태스크는 지원되지 않습니다.

참고 항목