VSTest@2 - Tugas Visual Studio Test v2

Gunakan tugas ini untuk menjalankan pengujian unit dan fungsional (Selenium, Appium, pengujian antarmuka pengguna berkode, dll.) menggunakan runner Visual Studio Test (VSTest). Anda dapat menjalankan kerangka kerja pengujian yang memiliki adaptor pengujian Visual Studio. Contoh kerangka kerja adalah MSTest, xUnit, NUnit, Chutzpah (untuk tes JavaScript menggunakan QUnit, Mocha dan Jasmine), dll. Pengujian dapat didistribusikan pada beberapa agen menggunakan tugas ini (versi 2).

Sintaks

# Visual Studio Test v2
# Run unit and functional tests (Selenium, Appium, Coded UI test, etc.) using the Visual Studio Test (VsTest) runner. Test frameworks that have a Visual Studio test adapter such as MsTest, xUnit, NUnit, Chutzpah (for JavaScript tests using QUnit, Mocha and Jasmine), etc. can be run. Tests can be distributed on multiple agents using this task (version 2).
- task: VSTest@2
  inputs:
  # Test selection
    testSelector: 'testAssemblies' # 'testAssemblies' | 'testPlan' | 'testRun'. Required. Select tests using. Default: testAssemblies.
    testAssemblyVer2: # string. Required when testSelector = testAssemblies. Test files. 
    #testPlan: # string. Required when testSelector = testPlan. Test plan. 
    #testSuite: # string. Required when testSelector = testPlan. Test suite. 
    #testConfiguration: # string. Required when testSelector = testPlan. Test configuration. 
    #tcmTestRun: '$(test.RunId)' # string. Optional. Use when testSelector = testRun. Test Run. Default: $(test.RunId).
    searchFolder: '$(System.DefaultWorkingDirectory)' # string. Required. Search folder. Default: $(System.DefaultWorkingDirectory).
    #resultsFolder: '$(Agent.TempDirectory)\TestResults' # string. Test results folder. Default: $(Agent.TempDirectory)\TestResults.
    #testFiltercriteria: # string. Optional. Use when testSelector = testAssemblies. Test filter criteria. 
    #runOnlyImpactedTests: False # boolean. Optional. Use when testSelector = testAssemblies. Run only impacted tests. Default: False.
    #runAllTestsAfterXBuilds: '50' # string. Optional. Use when testSelector = testAssemblies && runOnlyImpactedTests = true. Number of builds after which all tests should be run. Default: 50.
    #uiTests: false # boolean. Test mix contains UI tests. Default: false.
  # Execution options
    #vstestLocationMethod: 'version' # 'version' | 'location'. Select test platform using. Default: version.
    #vsTestVersion: 'latest' # 'latest' | '17.0' | '16.0' | '15.0' | '14.0' | 'toolsInstaller'. Optional. Use when vstestLocationMethod = version. Test platform version. Default: latest.
    #vstestLocation: # string. Optional. Use when vstestLocationMethod = location. Path to vstest.console.exe. 
    #runSettingsFile: # string. Settings file. 
    #overrideTestrunParameters: # string. Override test run parameters. 
    #pathtoCustomTestAdapters: # string. Path to custom test adapters. 
    #runInParallel: False # boolean. Run tests in parallel on multi-core machines. Default: False.
    #runTestsInIsolation: False # boolean. Run tests in isolation. Default: False.
    #codeCoverageEnabled: False # boolean. Code coverage enabled. Default: False.
    #otherConsoleOptions: # string. Other console options. 
    #diagnosticsEnabled: false # boolean. Collect advanced diagnostics in case of catastrophic failures. Default: false.
    #collectDumpOn: 'onAbortOnly' # 'onAbortOnly' | 'always' | 'never'. Optional. Use when diagnosticsEnabled = true. Collect process dump and attach to test run report. Default: onAbortOnly.
    #rerunFailedTests: False # boolean. Rerun failed tests. Default: False.
    #rerunType: 'basedOnTestFailurePercentage' # 'basedOnTestFailurePercentage' | 'basedOnTestFailureCount'. Optional. Use when rerunFailedTests = true. Do not rerun if test failures exceed specified threshold. Default: basedOnTestFailurePercentage.
    #rerunFailedThreshold: '30' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailurePercentage. % failure. Default: 30.
    #rerunFailedTestCasesMaxLimit: '5' # string. Optional. Use when rerunFailedTests = true && rerunType = basedOnTestFailureCount. # of failed tests. Default: 5.
    #rerunMaxAttempts: '3' # string. Optional. Use when rerunFailedTests = true. Maximum # of attempts. Default: 3.
  # Advanced execution options
    #distributionBatchType: 'basedOnTestCases' # 'basedOnTestCases' | 'basedOnExecutionTime' | 'basedOnAssembly'. Batch tests. Default: basedOnTestCases.
    #batchingBasedOnAgentsOption: 'autoBatchSize' # 'autoBatchSize' | 'customBatchSize'. Optional. Use when distributionBatchType = basedOnTestCases. Batch options. Default: autoBatchSize.
    #customBatchSizeValue: '10' # string. Required when distributionBatchType = basedOnTestCases && batchingBasedOnAgentsOption = customBatchSize. Number of tests per batch. Default: 10.
    #batchingBasedOnExecutionTimeOption: 'autoBatchSize' # 'autoBatchSize' | 'customTimeBatchSize'. Optional. Use when distributionBatchType = basedOnExecutionTime. Batch options. Default: autoBatchSize.
    #customRunTimePerBatchValue: '60' # string. Required when distributionBatchType = basedOnExecutionTime && batchingBasedOnExecutionTimeOption = customTimeBatchSize. Running time (sec) per batch. Default: 60.
    #dontDistribute: False # boolean. Replicate tests instead of distributing when multiple agents are used in the job. Default: False.
  # Reporting options
    #testRunTitle: # string. Test run title. 
    #platform: # string. Build platform. 
    #configuration: # string. Build configuration. 
    #publishRunAttachments: true # boolean. Upload test attachments. Default: true.
    #failOnMinTestsNotRun: False # boolean. Fail the task if a minimum number of tests are not run. Default: False.
    #minimumExpectedTests: '1' # string. Optional. Use when failOnMinTestsNotRun = true. Minimum # of tests. Default: 1.

Input

testSelector - Pilih pengujian menggunakan
string. Wajib diisi. Nilai yang diizinkan: testAssemblies (Rakitan pengujian), testPlan (Rencana pengujian), testRun (Uji coba). Nilai default: testAssemblies.

• Rakitan pengujian: Menentukan satu atau beberapa rakitan pengujian yang berisi pengujian Anda. Anda dapat secara opsional menentukan kriteria filter untuk memilih hanya pengujian tertentu.
• Rencana pengujian: Menjalankan pengujian dari paket pengujian Anda yang memiliki metode pengujian otomatis yang terkait dengannya. Untuk mempelajari selengkapnya tentang cara mengaitkan pengujian dengan item kerja kasus pengujian, lihat Mengaitkan pengujian otomatis dengan kasus pengujian.
• Uji coba: Gunakan opsi ini saat Anda menyiapkan lingkungan untuk menjalankan pengujian dari paket pengujian. Opsi ini tidak boleh digunakan saat menjalankan pengujian dalam alur integrasi berkelanjutan/penyebaran berkelanjutan (CI/CD).

testAssemblyVer2 - Menguji file
string. Diperlukan saat testSelector = testAssemblies. Nilai default: **\bin\**\*test.dll\n**\bin\**\*tests.dll.

Menjalankan pengujian dari file yang ditentukan. Pengujian dan webtest yang diurutkan dapat dijalankan dengan menentukan .orderedtest file dan .webtest masing-masing. Untuk menjalankan .webtest, Visual Studio 2017 Pembaruan 4 atau yang lebih tinggi diperlukan. Jalur file relatif terhadap folder pencarian. Input ini mendukung beberapa baris pola minimatch.

# Example
- task: VSTest@2
  inputs:
    testSelector: 'testAssemblies'
    testAssemblyVer2: |
      **\*test*.dll
      !**\*TestAdapter.dll
      !**\obj\**

testPlan - Rencana pengujian
string. Diperlukan saat testSelector = testPlan.

Menentukan rencana pengujian yang berisi rangkaian pengujian dengan kasus pengujian otomatis.

testSuite - Rangkaian pengujian
string. Diperlukan saat testSelector = testPlan.

Menentukan satu atau beberapa rangkaian pengujian yang berisi kasus pengujian otomatis. Item kerja kasus pengujian harus dikaitkan dengan metode pengujian otomatis.

testConfiguration - Konfigurasi pengujian
string. Diperlukan saat testSelector = testPlan.

Menentukan konfigurasi pengujian.

tcmTestRun - Menguji eksekusi
string. Opsional. Gunakan saat testSelector = testRun. Nilai default: $(test.RunId).

Menentukan pilihan berbasis eksekusi pengujian yang digunakan saat memicu eksekusi pengujian otomatis dari rencana pengujian. Opsi ini tidak dapat digunakan untuk menjalankan pengujian dalam alur CI/CD.

searchFolder - folder Search
string. Wajib diisi. Nilai default: $(System.DefaultWorkingDirectory).

Menentukan folder untuk mencari rakitan pengujian.

resultsFolder - Folder hasil pengujian
string. Nilai default: $(Agent.TempDirectory)\TestResults.

Menentukan folder untuk menyimpan hasil pengujian. Saat menggunakan direktori default, direktori dibersihkan di akhir eksekusi alur. Direktori hasil akan selalu dibersihkan di awal vstest tugas sebelum pengujian dijalankan. Jalur folder relatif, jika disediakan, akan dianggap relatif terhadap $(Agent.TempDirectory).

testFiltercriteria - Menguji kriteria filter
string. Pilihan. Gunakan saat testSelector = testAssemblies.

Menentukan kriteria tambahan untuk memfilter pengujian dari rakitan pengujian. Misalnya: Priority=1|Name=MyTestMethod. Pelajari tentang opsi baris perintah.

runOnlyImpactedTests - Jalankan hanya pengujian yang terkena dampak
boolean. Opsional. Gunakan saat testSelector = testAssemblies. Nilai default: False.

Secara otomatis menentukan dan menjalankan pengujian yang diperlukan untuk memvalidasi perubahan kode. Pelajari tentang menggunakan Analisis Dampak Pengujian.

runAllTestsAfterXBuilds - Jumlah build setelah semua pengujian harus dijalankan
string. Pilihan. Gunakan saat testSelector = testAssemblies && runOnlyImpactedTests = true. Nilai default: 50.

Menentukan jumlah build yang akan dijalankan sebelum semua pengujian dijalankan secara otomatis. Analisis Dampak Pengujian menyimpan pemetaan antara kasus pengujian dan kode sumber. Disarankan untuk meregenerasi pemetaan dengan menjalankan semua pengujian secara teratur.

uiTests - Campuran pengujian berisi pengujian UI
boolean. Nilai default: false.

Untuk menjalankan pengujian UI, pastikan bahwa agen diatur untuk berjalan dalam mode interaktif dengan Autologon diaktifkan. Menyiapkan agen untuk berjalan secara interaktif harus dilakukan sebelum mengantre build/rilis. Mencentang kotak ini tidak mengonfigurasi agen dalam mode interaktif secara otomatis. Opsi ini berfungsi sebagai pengingat untuk mengonfigurasi agen dengan tepat untuk menghindari kegagalan. Agen Windows yang dihosting dari kumpulan VS 2015 dan 2017 dapat digunakan untuk menjalankan pengujian UI.

vstestLocationMethod - Pilih platform pengujian menggunakan
string. Nilai yang diizinkan: version, location (Lokasi tertentu). Nilai default: version.

Menentukan platform pengujian mana yang akan digunakan.

vsTestVersion - Menguji versi platform
string. Pilihan. Gunakan saat vstestLocationMethod = version. Nilai yang diizinkan: latest, 17.0 (Visual Studio 2022), 16.0 (Visual Studio 2019), 15.0 (Visual Studio 2017), 14.0 (Visual Studio 2015), toolsInstaller (Diinstal oleh Alat Penginstal). Nilai default: latest.

Menentukan versi Uji Visual Studio yang akan digunakan. Jika yang terbaru ditentukan, input ini memilih versi terbaru (dari daftar nilai yang diizinkan) yang diinstal. Untuk menjalankan pengujian tanpa memerlukan Visual Studio pada agen, gunakan opsi penginstal Alat yang Diinstal oleh . Pastikan untuk menyertakan tugas Alat Penginstal Platform Uji Visual Studio untuk memperoleh platform pengujian dari NuGet.

vstestLocation - Jalur ke vstest.console.exe
string. Pilihan. Gunakan saat vstestLocationMethod = location.

Menentukan jalur ke VSTest.

runSettingsFile - File pengaturan
string.

Menentukan jalur ke file atau testsettings yang runsettings akan digunakan dengan pengujian. Untuk Visual Studio 15.7 dan yang lebih tinggi, gunakan runsettings untuk semua jenis pengujian. Pelajari selengkapnya tentang mengonversi .testsettings file menjadi .runsettings file.

overrideTestrunParameters - Mengesampingkan parameter uji coba
string.

Mengambil alih parameter yang ditentukan di bagian TestRunParametersrunsettings file atau bagian Propertiestestsettings file. Misalnya: -key1 value1 -key2 value2. Catatan: Properti yang ditentukan dalam testsettings file dapat diakses melalui TestContext menggunakan Visual Studio 2017 (pembaruan 4 atau lebih tinggi).

pathtoCustomTestAdapters - Jalur ke adaptor pengujian kustom
string.

Menentukan jalur direktori ke adaptor pengujian kustom. Adaptor yang berada di folder yang sama dengan rakitan pengujian ditemukan secara otomatis.

runInParallel - Menjalankan pengujian secara paralel pada komputer multi-inti
boolean. Nilai default: False.

Jika diatur ke true, pengujian dijalankan secara paralel dan memanfaatkan inti komputer yang tersedia. Ini akan menggantikan MaxCpuCount jika ditentukan dalam file Anda runsettings . Pelajari selengkapnya tentang bagaimana pengujian dijalankan secara paralel.

runTestsInIsolation - Menjalankan pengujian dalam isolasi
boolean. Nilai default: False.

Menjalankan pengujian dalam proses yang terisolasi. Ini kemungkinan menyebabkan lebih sedikit kesalahan dalam proses pengujian vstest.console.exe, tetapi pengujian mungkin berjalan lebih lambat. Opsi ini saat ini tidak dapat digunakan saat berjalan dengan pengaturan pekerjaan multi-agen.

codeCoverageEnabled - Cakupan kode diaktifkan
boolean. Nilai default: False.

Mengumpulkan informasi cakupan kode dari uji coba.

otherConsoleOptions - Opsi konsol lainnya
string.

Opsi konsol lain yang dapat diteruskan ke vstest.console.exe.

Opsi ini tidak didukung dan akan diabaikan saat menjalankan pengujian menggunakan pengaturan paralel Multi-agen dari pekerjaan agen, saat menjalankan pengujian menggunakan opsi Uji paket atau Uji coba , atau saat opsi batching kustom dipilih. Opsi dapat ditentukan menggunakan file pengaturan sebagai gantinya.

distributionBatchType - Pengujian batch
string. Nilai yang diizinkan: basedOnTestCases (Berdasarkan jumlah pengujian dan agen), basedOnExecutionTime (Berdasarkan waktu pengujian yang berjalan sebelumnya), basedOnAssembly (Berdasarkan rakitan pengujian). Nilai default: basedOnTestCases.

Batch adalah sekelompok pengujian. Batch pengujian menjalankan pengujiannya secara bersamaan, dan hasilnya diterbitkan untuk batch. Jika pekerjaan di mana tugas berjalan diatur untuk menggunakan beberapa agen, setiap agen mengambil batch pengujian yang tersedia untuk dijalankan secara paralel. Batch dapat dijalankan:

berdasarkan jumlah tes dan agen. Batching sederhana berdasarkan jumlah pengujian dan agen yang berpartisipasi dalam uji coba.

berdasarkan waktu pengujian yang berjalan sebelumnya. Batching ini mempertimbangkan waktu berjalan sebelumnya untuk membuat batch pengujian di mana setiap batch memiliki waktu berjalan yang kira-kira sama.

berdasarkan rakitan pengujian. Pengujian dari assembly di-batch bersama-sama.

batchingBasedOnAgentsOption - Opsi batch
string. Pilihan. Gunakan saat distributionBatchType = basedOnTestCases. Nilai yang diizinkan: autoBatchSize (Secara otomatis menentukan ukuran batch), customBatchSize (Tentukan ukuran batch). Nilai default: autoBatchSize.

Menentukan batching sederhana berdasarkan jumlah pengujian dan agen yang berpartisipasi dalam uji coba. Ketika ukuran batch ditentukan secara otomatis, setiap batch berisi (total number of tests / number of agents) pengujian. Jika ukuran batch ditentukan, setiap batch akan berisi jumlah pengujian yang ditentukan.

customBatchSizeValue - Jumlah pengujian per batch
string. Diperlukan saat distributionBatchType = basedOnTestCases && batchingBasedOnAgentsOption = customBatchSize. Nilai default: 10.

Menentukan ukuran batch.

batchingBasedOnExecutionTimeOption - Opsi batch
string. Pilihan. Gunakan saat distributionBatchType = basedOnExecutionTime. Nilai yang diizinkan: autoBatchSize (Secara otomatis menentukan waktu batch), customTimeBatchSize (Tentukan waktu berjalan per batch). Nilai default: autoBatchSize.

Batching ini mempertimbangkan waktu berjalan sebelumnya untuk membuat batch pengujian di mana setiap batch memiliki waktu berjalan yang kira-kira sama. Pengujian yang berjalan cepat akan di-batch bersama-sama, sementara pengujian yang berjalan lebih lama mungkin milik batch terpisah. Ketika opsi ini digunakan dengan pengaturan pekerjaan multi-agen, total waktu pengujian dikurangi menjadi minimum.

customRunTimePerBatchValue - Waktu berjalan (dtk) per batch
string. Diperlukan saat distributionBatchType = basedOnExecutionTime && batchingBasedOnExecutionTimeOption = customTimeBatchSize. Nilai default: 60.

Menentukan waktu berjalan (dalam detik) per batch.

dontDistribute - Mereplikasi pengujian alih-alih mendistribusikan ketika beberapa agen digunakan dalam pekerjaan
boolean. Nilai default: False.

Memilih opsi ini tidak akan mendistribusikan pengujian di seluruh agen saat tugas berjalan dalam pekerjaan multi-agen. Masing-masing pengujian yang dipilih akan diulang pada setiap agen. Opsi ini tidak berlaku ketika pekerjaan agen dikonfigurasi untuk berjalan tanpa paralelisme atau dengan opsi multi-konfigurasi.

testRunTitle - Judul uji coba
string.

Menentukan nama untuk uji coba.

platform - Bangun platform
string.

Menentukan platform build tempat pengujian harus dilaporkan. Jika Anda telah menentukan variabel untuk platform dalam tugas build Anda, gunakan dengan input ini.

configuration - Konfigurasi build
string.

Menentukan konfigurasi build tempat pengujian harus dilaporkan. Jika Anda telah menentukan variabel untuk konfigurasi dalam tugas build Anda, gunakan dengan input ini.

publishRunAttachments - Mengunggah lampiran pengujian
boolean. Nilai default: true.

Memilih ikut atau tidak menerbitkan lampiran tingkat eksekusi.

failOnMinTestsNotRun - Gagalkan tugas jika jumlah minimum pengujian tidak dijalankan.
boolean. Nilai default: False.

Gagal tugas jika jumlah minimum pengujian tidak dijalankan. Ini mungkin berguna jika ada perubahan pada input tugas atau dependensi adaptor pengujian yang mendasar hanya menyebabkan subset pengujian yang diinginkan ditemukan.

minimumExpectedTests - Minimum # tes
string. Pilihan. Gunakan saat failOnMinTestsNotRun = true. Nilai default: 1.

Menentukan jumlah minimum pengujian yang akan dijalankan agar tugas berhasil. Total pengujian yang dijalankan dihitung sebagai jumlah tes yang lulus, gagal, dan dibatalkan.

diagnosticsEnabled - Mengumpulkan diagnostik tingkat lanjut jika terjadi kegagalan bencana
boolean. Nilai default: false.

Mengumpulkan data diagnostik untuk memecahkan masalah kegagalan bencana, seperti crash pengujian. Ketika opsi ini dicentang, file XML urutan dihasilkan dan dilampirkan ke uji coba. File urutan berisi informasi tentang urutan di mana pengujian telah berjalan, sehingga pengujian pelaku potensial dapat diidentifikasi.

collectDumpOn - Mengumpulkan cadangan proses dan melampirkan ke laporan uji coba
string. Pilihan. Gunakan saat diagnosticsEnabled = true. Nilai yang diizinkan: onAbortOnly (Hanya dibatalkan), always, never. Nilai default: onAbortOnly.

Mengumpulkan cadangan mini yang dapat digunakan untuk analisis lebih lanjut.

• onAbortOnly - cadangan mini hanya akan dikumpulkan ketika uji coba dibatalkan.
• Selalu - mini dump akan selalu dikumpulkan terlepas dari apakah uji coba selesai atau tidak.
• Never - mini dump tidak akan dikumpulkan terlepas dari apakah uji coba selesai atau tidak.

rerunFailedTests - Menjalankan ulang pengujian yang gagal
boolean. Nilai default: False.

Menjalankan ulang tes yang gagal hingga lulus atau hingga jumlah maksimum upaya tercapai.

rerunType - Jangan jalankan ulang jika kegagalan pengujian melebihi ambang yang ditentukan
string. Pilihan. Gunakan saat rerunFailedTests = true. Nilai yang diizinkan: basedOnTestFailurePercentage (% kegagalan), basedOnTestFailureCount (# tes yang gagal). Nilai default: basedOnTestFailurePercentage.

Menghindari menjalankan ulang pengujian ketika tingkat kegagalan melewati ambang yang ditentukan. Ini berlaku jika masalah lingkungan menyebabkan kegagalan besar-besaran. Anda dapat menentukan persentase kegagalan atau jumlah pengujian yang gagal sebagai ambang batas.

rerunFailedThreshold - % gagal
string. Opsional. Gunakan saat rerunFailedTests = true && rerunType = basedOnTestFailurePercentage. Nilai default: 30.

Menghindari menjalankan ulang pengujian ketika persentase kasus pengujian yang gagal melewati ambang yang ditentukan. Ini berlaku jika masalah lingkungan menyebabkan kegagalan besar-besaran.

rerunFailedTestCasesMaxLimit - # dari tes yang gagal
string. Pilihan. Gunakan saat rerunFailedTests = true && rerunType = basedOnTestFailureCount. Nilai default: 5.

Menghindari menjalankan ulang pengujian ketika jumlah kasus pengujian yang gagal melewati batas yang ditentukan. Ini berlaku jika masalah lingkungan menyebabkan kegagalan besar-besaran.

rerunMaxAttempts - Maksimum # dari upaya
string. Pilihan. Gunakan saat rerunFailedTests = true. Nilai default: 3.

Menentukan berapa kali maksimum pengujian yang gagal harus dicoba kembali. Jika pengujian lolos sebelum jumlah maksimum upaya tercapai, pengujian tidak akan dijalankan kembali.

Opsi kontrol tugas

Semua tugas memiliki opsi kontrol selain input tugas mereka. Untuk informasi selengkapnya, lihat Opsi kontrol dan properti tugas umum.

Variabel output

Tidak ada.

Keterangan

Gunakan tugas ini untuk menjalankan pengujian unit dan fungsional (Selenium, Appium, pengujian UI Berkode, dan lainnya) menggunakan runner Visual Studio Test. Seiring dengan pengujian berbasis MSTest, kerangka kerja pengujian yang memiliki adaptor pengujian Visual Studio juga dapat dijalankan, seperti xUnit, NUnit, atau Chutzpah.

Menguji bahwa kerangka kerja inti .NET target dapat dijalankan dengan menentukan nilai kerangka kerja target yang sesuai dalam file .runsettings.

Pengujian dapat didistribusikan pada beberapa agen menggunakan versi 2 dari tugas ini. Untuk informasi selengkapnya, lihat Menjalankan pengujian secara paralel menggunakan tugas Pengujian Visual Studio.

Memeriksa prasyarat

Jika Anda menggunakan agen yang dihost sendiri Windows, prasyarat ini harus diinstal:

• .NET Framework 4.6.2 atau versi yang lebih baru

Permintaan

Agen harus memiliki kemampuan berikut:

vstest

Permintaan vstest dapat dipenuhi dengan dua cara:

1. Visual Studio diinstal pada mesin agen.
2. Dengan menggunakan tugas Alat Penginstal Platform Uji Visual Studio dalam definisi alur.

Bagaimana cara menjalankan pengujian yang menggunakan TestCase sebagai sumber data?

Untuk menjalankan pengujian otomatis yang menggunakan TestCase sebagai sumber data, berikut ini diperlukan:

1. Anda harus memiliki Visual Studio 2017.6 atau lebih tinggi pada mesin agen. Tugas Penginstal Platform Uji Visual Studio tidak dapat digunakan untuk menjalankan pengujian yang menggunakan TestCase sebagai sumber data.
2. Buat PAT yang diotorisasi untuk cakupan "Item Kerja (penuh)".
3. Tambahkan variabel build atau rilis aman yang disebut Test.TestCaseAccessToken dengan nilai yang diatur ke PAT yang dibuat di langkah sebelumnya.

Saya mengalami masalah saat menjalankan pengujian xUnit dan NUnit berbasis data dengan beberapa opsi tugas. Apakah ada batasan yang diketahui?

Pengujian berbasis data yang menggunakan kerangka kerja pengujian xUnit dan NUnit memiliki beberapa batasan yang diketahui dan tidak dapat digunakan dengan opsi tugas berikut:

1. Jalankan ulang tes yang gagal.
2. Mendistribusikan pengujian pada beberapa agen dan opsi batching.
3. Analisis Dampak Pengujian.

Batasan di atas adalah karena bagaimana adaptor untuk kerangka kerja pengujian ini menemukan dan melaporkan pengujian berbasis data.

Apakah tugas VSTest mendukung pengujian yang berjalan yang menargetkan beberapa kerangka kerja target sekaligus?

Ya, mulai dari versi 17.3 VSTest memang mendukung pengujian yang berjalan yang menargetkan beberapa kerangka kerja target pada satu waktu. Sebelum itu, ini tidak dimungkinkan karena keterbatasan dari sisi platform VSTest .

Jika Anda ingin menjalankan pengujian yang termasuk dalam beberapa kerangka kerja target, Anda harus menginstal versi VSTest yang kompatibel melalui Alat Penginstal Platform Uji Visual Studio dan mengatur vsTestVersion ke untuk toolsInstaller menggunakannya.

Saat menerbitkan hasil pengujian, mendapatkan kesalahan ini: Gagal menerbitkan hasil pengujian: Prioritas Tidak Valid ditentukan?

Kesalahan ini terjadi jika salah satu metode pengujian memiliki prioritas yang ditetapkan di atas 255, perbaiki prioritas metode pengujian dalam kode dan jalankan pengujian lagi. Anda dapat meninjau file trx yang dihasilkan untuk melihat semua pengujian yang memiliki prioritas lebih besar dari 255.

Persyaratan

Persyaratan	Deskripsi
Jenis alur	YAML, Build klasik, Rilis klasik
Berjalan pada	Agen, DeploymentGroup
Permintaan	Agen yang dihost sendiri harus memiliki kemampuan yang cocok dengan tuntutan berikut untuk menjalankan pekerjaan yang menggunakan tugas ini: vstest
Kemampuan	Tugas ini tidak memenuhi tuntutan untuk tugas berikutnya dalam pekerjaan.
Pembatasan perintah	Apa pun
Variabel yang dapat diatur	Apa pun
Versi agen	2.103.0 atau lebih tinggi
Kategori tugas	Uji