Tinjau hasil pengujian

  • Artikel

Layanan Azure DevOps | Azure DevOps Server 2022 - Azure DevOps Server 2019

Pengujian otomatis dapat dikonfigurasi untuk dijalankan sebagai bagian dari build atau rilis untuk berbagai bahasa. Laporan pengujian memberikan cara yang efektif dan konsisten untuk melihat hasil pengujian yang dijalankan menggunakan kerangka kerja pengujian yang berbeda, untuk mengukur kualitas alur, meninjau keterlacakan, memecahkan masalah kegagalan, dan mendorong kepemilikan kegagalan. Selain itu, ini menyediakan banyak kemampuan pelaporan tingkat lanjut yang dieksplorasi di bagian berikut.

Anda juga dapat melakukan analisis hasil pengujian yang lebih mendalam dengan menggunakan Analytics Service. Untuk contoh penggunaan ini dengan alur build dan penyebaran Anda, lihat Menganalisis hasil pengujian.

Baca glosarium untuk memahami terminologi laporan pengujian.

Hasil pengujian yang diterbitkan dapat dilihat di tab Pengujian dalam ringkasan build atau rilis .

Hasil pengujian surface di tab Pengujian

Hasil pengujian dapat muncul di tab Pengujian menggunakan salah satu opsi berikut:

  • Hasil pengujian yang disimpulkan secara otomatis. Secara default, alur Anda dapat secara otomatis menyimpulkan output pengujian untuk beberapa runner pengujian populer. Ini dilakukan dengan mengurai log kesalahan yang dihasilkan selama operasi build dan kemudian memeriksa tanda tangan kegagalan pengujian. Saat ini, Azure DevOps mendukung bahasa berikut dan runner pengujian untuk secara otomatis menyimpulkan hasil pengujian:

  • Uji tugas eksekusi. Tugas eksekusi pengujian bawaan seperti Visual Studio Test yang secara otomatis menerbitkan hasil pengujian ke alur, atau lainnya seperti Ant, Maven, Gulp, Grunt, dan Xcode yang menyediakan kemampuan ini sebagai opsi dalam tugas.

  • Terbitkan tugas Hasil Pengujian. Tugas yang menerbitkan hasil pengujian ke Azure Pipelines atau TFS saat pengujian dijalankan menggunakan pilihan runner Anda, dan hasilnya tersedia dalam salah satu format hasil pengujian yang didukung.

  • API. Hasil pengujian yang diterbitkan langsung dengan menggunakan API Manajemen Pengujian.

Informasi uji permukaan di luar tab Pengujian

Tab Pengujian menyediakan ringkasan terperinci tentang eksekusi pengujian. Ini berguna dalam melacak kualitas alur, serta untuk memecahkan masalah kegagalan. Azure DevOps juga menyediakan cara lain untuk menampilkan informasi pengujian:

  • Dasbor menyediakan visibilitas kemajuan tim Anda. Tambahkan satu atau beberapa widget yang menampilkan informasi terkait pengujian:

  • Analitik pengujian memberikan wawasan yang kaya tentang hasil pengujian yang diukur selama jangka waktu tertentu. Ini dapat membantu mengidentifikasi area bermasalah dalam pengujian Anda dengan menyediakan data seperti pengujian gagal teratas, dan banyak lagi.

Melihat hasil pengujian dalam build

Ringkasan build menyediakan tampilan garis waktu dari langkah-langkah kunci yang dijalankan dalam build. Jika pengujian dijalankan dan dilaporkan sebagai bagian dari build, tonggak pencapaian pengujian muncul dalam tampilan garis waktu. Tonggak pencapaian pengujian memberikan ringkasan hasil pengujian sebagai ukuran persentase lulus bersama dengan indikator kegagalan dan pembatalaian jika ada.

Lihat pengujian dalam tampilan garis waktu build

Melihat hasil pengujian dalam rilis

Dalam tampilan alur, Anda dapat melihat semua tahapan dan pengujian terkait. Tampilan ini memberikan ringkasan hasil pengujian sebagai ukuran persentase lulus bersama dengan indikator kegagalan dan pembatalihan jika ada. Indikator ini sama seperti dalam tampilan garis waktu build, memberikan pengalaman yang konsisten di seluruh build dan rilis.

Melihat pengujian dalam tampilan kanvas rilis

Tab Pengujian

Ringkasan build dan rilis memberikan detail eksekusi pengujian. Pilih Ringkasan pengujian untuk melihat detail di tab Pengujian . Halaman ini memiliki bagian berikut

  • Ringkasan: menyediakan metrik kuantitatif utama untuk eksekusi pengujian seperti jumlah pengujian total, pengujian yang gagal, persentase lulus, dan banyak lagi. Ini juga memberikan indikator perubahan diferensial dibandingkan dengan eksekusi sebelumnya.

  • Hasil: mencantumkan semua pengujian yang dijalankan dan dilaporkan sebagai bagian dari build atau rilis saat ini. Tampilan default hanya menunjukkan pengujian yang gagal dan dibatalkan untuk fokus pada pengujian yang memerlukan perhatian. Namun, Anda dapat memilih hasil lain menggunakan filter yang disediakan.

  • Detail: Daftar pengujian yang dapat Anda urutkan, kelompokkan, cari, dan filter untuk menemukan hasil pengujian yang Anda butuhkan.

Tab Tampilkan pengujian

Pilih eksekusi atau hasil pengujian apa pun untuk melihat panel detail yang menampilkan informasi tambahan yang diperlukan untuk pemecahan masalah seperti pesan kesalahan, pelacakan tumpukan, lampiran, item kerja, tren historis, dan lainnya.

Tab Tampilkan detail

Tip

Jika Anda menggunakan tugas Visual Studio Test untuk menjalankan pengujian, output diagnostik yang dicatat dari pengujian (menggunakan salah satu metode Console.WriteLine, Trace.WriteLine, atau TestContext.WriteLine), akan muncul sebagai lampiran untuk pengujian yang gagal.

Kemampuan tab Pengujian berikut membantu meningkatkan pengalaman produktivitas dan pemecahan masalah.

Memfilter hasil pengujian besar

Seiring waktu, pengujian bertambah dan, untuk aplikasi besar, dapat dengan mudah tumbuh hingga puluhan ribu pengujian. Untuk aplikasi ini dengan sangat banyak pengujian, mungkin sulit untuk menavigasi melalui hasil untuk mengidentifikasi kegagalan pengujian, mengaitkan akar penyebab, atau mendapatkan kepemilikan masalah. Filter memudahkan untuk menavigasi dengan cepat ke hasil pengujian minat Anda. Anda dapat memfilter Nama Pengujian, Hasil (gagal, lulus, dan banyak lagi), File Pengujian (file yang menyimpan pengujian) dan Pemilik (untuk file pengujian). Semua kriteria filter bersifat kumulatif.

Memfilter kumpulan hasil pengujian besar

Selain itu, dengan beberapa opsi Pengelompokan seperti Uji coba, File pengujian, Prioritas, Persyaratan, dan lainnya, Anda dapat mengatur tampilan Hasil persis seperti yang Anda butuhkan.

Menguji manajemen utang dengan bug

Untuk mengelola utang pengujian Anda untuk pengujian yang gagal atau berjalan lama, Anda dapat membuat bug atau menambahkan data ke bug yang ada dan semua melihat semua item kerja terkait di tab item kerja.

Pengalaman pemecahan masalah imersif

Pesan kesalahan dan jejak tumpukan bersifat panjang dan membutuhkan real estat yang cukup untuk melihat detail selama pemecahan masalah. Untuk memberikan pengalaman pemecahan masalah imersif, tampilan Detail dapat diperluas ke tampilan halaman penuh sambil tetap dapat melakukan operasi yang diperlukan dalam konteks, seperti pembuatan bug atau asosiasi persyaratan untuk hasil pengujian yang dipilih.

Tampilan panel halaman penuh

Pemecahan masalah data untuk Kegagalan pengujian

Untuk kegagalan pengujian, pesan kesalahan dan jejak tumpukan tersedia untuk pemecahan masalah. Anda juga dapat melihat semua lampiran yang terkait dengan kegagalan pengujian di tab Lampiran .

Menguji manajemen utang

Anda dapat membuat atau menambahkan ke bug yang ada untuk mengelola utang pengujian untuk kegagalan atau pengujian jangka panjang. Tab Item Kerja merinci semua bug dan persyaratan yang terkait dengan Pengujian untuk membantu Anda menganalisis dampak persyaratan serta mengetahui status dan siapa yang mengerjakan bug.

Riwayat eksekusi pengujian dapat memberikan wawasan yang bermakna tentang keandalan atau performa pengujian. Saat memecahkan masalah kegagalan, penting untuk mengetahui bagaimana pengujian telah dilakukan di masa lalu. Tab Pengujian menyediakan riwayat pengujian dalam konteks dengan hasil pengujian. Informasi riwayat pengujian diekspos secara progresif dimulai dengan alur build saat ini ke cabang lain, atau tahap saat ini ke tahap lain, untuk membangun dan merilis masing-masing.

Melihat tren historis

Menampilkan eksekusi pengujian yang sedang berlangsung

Pengujian, seperti integrasi dan pengujian fungsional, dapat berjalan untuk waktu yang lama. Oleh karena itu, penting untuk melihat status eksekusi pengujian saat ini atau mendekati real-time pada waktu tertentu. Bahkan untuk kasus di mana pengujian berjalan dengan cepat, berguna untuk mengetahui status hasil pengujian yang relevan sedini mungkin; terutama ketika kegagalan terjadi. Tampilan yang sedang berlangsung menghilangkan kebutuhan untuk menunggu eksekusi pengujian selesai. Hasil tersedia hampir real-time saat eksekusi berlangsung, membantu Anda mengambil tindakan lebih cepat. Anda dapat men-debug kegagalan, mengajukan bug, atau membatalkan alur.

Tampilan rilis sedang berlangsung

Catatan

Fitur ini saat ini tersedia untuk build dan rilis, menggunakan tugas Visual Studio Test dalam pekerjaan Multi Agent. Ini akan tersedia untuk pekerjaan Agen Tunggal dalam rilis mendatang.

Tampilan di bawah ini menunjukkan ringkasan pengujian yang sedang berlangsung dalam rilis, melaporkan jumlah total pengujian dan jumlah kegagalan pengujian pada titik waktu tertentu. Kegagalan pengujian tersedia untuk pemecahan masalah, membuat bug, atau untuk mengambil tindakan lain yang sesuai.

Tampilan ringkasan sedang berlangsung

Lihat hasil pengujian yang dirangkum

Selama eksekusi pengujian, pengujian mungkin menghasilkan beberapa instans atau pengujian yang berkontribusi pada hasil keseluruhan. Beberapa contohnya adalah, pengujian yang dieksekusi ulang, pengujian yang terdiri dari kombinasi pengujian lain yang diurutkan (pengujian yang diurutkan) atau pengujian yang memiliki instans yang berbeda berdasarkan parameter input (pengujian berbasis data).

Karena pengujian ini terkait, pengujian harus dilaporkan bersama dengan hasil keseluruhan yang berasal dari instans atau pengujian individu. Hasil pengujian ini dilaporkan sebagai hasil pengujian ringkasan di tab Pengujian :

  • Menjalankan ulang pengujian yang gagal: Kemampuan untuk menjalankan ulang pengujian yang gagal tersedia dalam versi terbaru tugas Visual Studio Test . Selama eksekusi ulang, beberapa upaya dapat dilakukan untuk pengujian yang gagal, dan setiap kegagalan dapat memiliki akar penyebab yang berbeda karena perilaku pengujian yang tidak deterministik. Laporan pengujian memberikan tampilan gabungan untuk semua upaya eksekusi ulang, bersama dengan hasil pengujian keseluruhan sebagai unit ringkasan. Selain itu API Manajemen Pengujian sekarang mendukung kemampuan untuk menerbitkan dan mengkueri hasil pengujian yang dirangkum.

    Menjalankan ulang pengujian yang gagal

  • Pengujian berbasis data: Mirip dengan eksekusi ulang pengujian yang gagal, semua perulangan pengujian berbasis data dilaporkan dalam pengujian tersebut dalam tampilan ringkasan. Tampilan ringkasan juga tersedia untuk pengujian yang diurutkan (.orderedtest di Visual Studio).

    Pengujian berbasis data

Catatan

Metrik di bagian ringkasan pengujian, seperti jumlah total pengujian, lulus, gagal, atau lainnya dihitung menggunakan tingkat akar hasil pengujian yang dirangkum.

Menampilkan pengujian yang dibatalkan

Eksekusi pengujian dapat dibatalkan karena beberapa alasan seperti kode pengujian yang buruk, kesalahan dalam sumber yang sedang diuji, atau masalah lingkungan. Terlepas dari alasan batalnya, penting untuk dapat mendiagnosis perilaku dan mengidentifikasi akar penyebabnya. Pengujian yang dibatalkan dan eksekusi pengujian dapat dilihat bersama dengan eksekusi yang selesai di tab Pengujian .

Lihat pengujian yang dihentikan.

Catatan

Fitur ini saat ini tersedia untuk build dan rilis, menggunakan tugas Visual Studio Test dalam pekerjaan Multi Agent atau menerbitkan hasil pengujian menggunakan TEST Management API. Ini akan tersedia untuk pekerjaan Agen Tunggal dalam rilis mendatang.

Hasil pengujian yang disimpulkan secara otomatis

Azure DevOps dapat secara otomatis menyimpulkan output pengujian yang berjalan di alur Anda untuk beberapa kerangka kerja pengujian yang didukung. Laporan pengujian yang disimpulkan secara otomatis ini tidak memerlukan konfigurasi spesifik alur Anda, dan merupakan cara tanpa upaya untuk mulai menggunakan Pelaporan Pengujian.

Contoh Laporan Pengujian yang Disimpulkan Secara Otomatis

Lihat daftar runner yang hasil pengujiannya disimpulkan secara otomatis.

Karena hanya metadata pengujian terbatas yang ada dalam laporan yang disimpulkan seperti itu, metadata tersebut terbatas dalam fitur dan kemampuan. Fitur berikut ini tidak tersedia untuk laporan pengujian yang disimpulkan:

  • Mengelompokkan hasil pengujian menurut file pengujian, pemilik, prioritas, dan bidang lainnya
  • Mencari dan memfilter hasil pengujian
  • Periksa detail tes yang lulus
  • Pratinjau lampiran apa pun yang dihasilkan selama pengujian dalam UI web itu sendiri
  • Kaitkan kegagalan pengujian dengan bug baru, atau lihat daftar item kerja terkait untuk kegagalan ini
  • Lihat analitik build-on-build untuk pengujian di Alur

Catatan

Beberapa runner seperti Mocha memiliki beberapa reporter konsol bawaan seperti dot-matrix dan progress-bar. Jika Anda telah mengonfigurasi output konsol non-default untuk runner pengujian, atau Anda menggunakan reporter kustom, Azure DevOps tidak akan dapat menyimpulkan hasil pengujian. Ini hanya dapat menyimpulkan hasil dari reporter default .

Bantuan dan dukungan