Mengelola tes berlemak

Azure DevOps

Produktivitas bagi pengembang bergantung pada kemampuan pengujian untuk menemukan masalah nyata dengan kode yang sedang dikembangkan atau diperbarui secara tepat waktu dan dapat diandalkan. Tes flaky menghadirkan hambatan untuk menemukan masalah nyata, karena kegagalan sering kali tidak terkait dengan perubahan yang diuji. Tes berlemak adalah pengujian yang memberikan hasil yang berbeda, seperti lulus atau gagal, bahkan ketika tidak ada perubahan dalam kode sumber atau lingkungan eksekusi. Tes flaky juga berdampak pada kualitas kode yang dikirim.

Catatan

Fitur ini hanya tersedia di Layanan Azure DevOps. Biasanya, fitur baru diperkenalkan di layanan cloud terlebih dahulu, lalu tersedia secara lokal di versi utama berikutnya atau pembaruan Azure DevOps Server. Untuk mempelajari selengkapnya, lihat Garis Waktu Fitur Azure DevOps.

Tujuan dari membawa manajemen pengujian yang tidak merata dalam produk adalah untuk mengurangi rasa sakit pengembang yang disebabkan oleh tes yang tidak merata dan memenuhi seluruh alur kerja. Manajemen pengujian Flaky memberikan manfaat berikut.

• Deteksi - Deteksi otomatis uji cacat dengan eksekusi ulang atau ekstensibilitas untuk menyambungkan metode deteksi kustom Anda sendiri

• Manajemen flakkiness - Setelah pengujian ditandai sebagai flaky, data tersedia untuk semua alur untuk cabang tersebut

• Laporkan tes berlapis - Kemampuan untuk memilih apakah Anda ingin mencegah kegagalan build yang disebabkan oleh tes yang tidak merata, atau menggunakan tag berlapis hanya untuk pemecahan masalah

• Resolusi - Pembuatan bug manual atau penandaan manual dan tes tanpa tanda sebagai lamban berdasarkan analisis Anda

• Tutup loop - Reset tes flaky sebagai hasil dari resolusi bug / input manual

Aktifkan manajemen uji flaky

Untuk mengonfigurasi manajemen pengujian yang tidak memihak, pilih Pengaturan proyek, dan pilih Manajemen pengujian di bagian Alur .

Geser tombol Aktif/Nonaktif ke Aktif.

Pengaturan default untuk semua proyek adalah menggunakan pengujian yang tidak nyaman untuk pemecahan masalah.

Deteksi pengujian flaky

Manajemen pengujian Flaky mendukung sistem dan deteksi kustom.

• Deteksi sistem: Deteksi cacat dalam produk menggunakan data eksekusi ulang pengujian. Deteksinya adalah melalui menjalankan ulang tugas VSTest dari kemampuan pengujian yang gagal atau mencoba kembali tahap dalam alur. Anda dapat memilih alur tertentu dalam proyek yang ingin Anda deteksi pengujiannya tidak mencukupi.

  Catatan

  Setelah pengujian ditandai sebagai lapis, data tersedia untuk semua alur untuk cabang tersebut untuk membantu pemecahan masalah di setiap alur.

• Deteksi kustom: Anda dapat mengintegrasikan mekanisme deteksi flaky Anda sendiri dengan Azure Pipelines dan menggunakan kemampuan pelaporan. Dengan deteksi kustom, Anda perlu memperbarui metadata hasil pengujian untuk pengujian yang tidak menentu. Untuk detailnya, lihat Hasil Pengujian, Data Meta Hasil - Perbarui REST API.

Opsi pengujian flaky

Opsi pengujian Flaky menentukan bagaimana pengujian berlapis tersedia dalam pelaporan pengujian serta kemampuan resolusi, seperti yang dijelaskan di bagian berikut.

Manajemen dan pelaporan pengujian flaky

Pada halaman Manajemen pengujian di bawah Opsi pengujian Flaky, Anda dapat mengatur opsi tentang bagaimana pengujian yang tidak nyaman disertakan dalam laporan Ringkasan Pengujian. Data pengujian flaky untuk pengujian yang lulus dan gagal tersedia dalam hasil Pengujian. Tag Flaky membantu Anda mengidentifikasi tes yang tidak jelas. Secara default, pengujian flaky disertakan dalam Ringkasan Pengujian. Namun, jika Anda ingin memastikan kegagalan pengujian tidak gagal dalam alur Anda, Anda dapat memilih untuk tidak menyertakannya dalam ringkasan pengujian Anda dan menekan kegagalan pengujian. Opsi ini memastikan pengujian berlapis (baik lulus maupun gagal) dihapus dari persentase pass dan ditampilkan dalam Pengujian yang tidak dilaporkan, seperti yang ditunjukkan pada cuplikan layar berikut.

Catatan

Laporan Ringkasan pengujian hanya diperbarui untuk tugas Pengujian Visual Studio dan tugas Terbitkan Hasil Pengujian. Anda mungkin perlu menambahkan skrip kustom untuk menekan kegagalan pengujian yang tidak mencolok untuk skenario lain.

Tes yang ditandai sebagai lapis

Anda dapat menandai atau membatalkan tanda pengujian sebagai tidak tes berdasarkan analisis atau konteks, dengan memilih Flaky (atau UnFlaky, tergantung pada apakah pengujian sudah ditandai sebagai cacat.)

Ketika pengujian ditandai dengan lamban atau tidak lapis dalam alur, tidak ada perubahan yang dilakukan dalam alur saat ini. Hanya pada eksekusi tes di masa mendatang adalah pengaturan flaky yang diubah yang dievaluasi. Pengujian yang ditandai sebagai flaky memiliki tag flaky yang ditandai di antarmuka pengguna.

Bantuan dan dukungan

• Lihat halaman pemecahan masalah kami
• Dapatkan saran tentang Stack Overflow, dan dapatkan dukungan melalui Komunitas Pengembang

Artikel terkait

• Tinjau hasil pengujian
• Tugas Uji Visual Studio
• Tugas Terbitkan Hasil Pengujian
• Hasil Pengujian, Hasil Meta Data - Perbarui REST API