Menjalankan pengujian otomatis dari paket uji

  • Artikel

Layanan Azure DevOps | Azure DevOps Server 2022 - Azure DevOps Server 2019

Otomatiskan kasus pengujian dalam paket pengujian Anda dan jalankan langsung dari Azure Test Plans. Pengujian otomatis memberi Anda manfaat berikut:

  • Proses yang mudah digunakan untuk penguji yang mungkin tidak berpengalaman dengan menjalankan pengujian di alur kerja Build atau Release.
  • Fleksibilitas untuk menjalankan pengujian yang dipilih sesuai permintaan, daripada pengujian terjadwal di alur kerja Build atau Rilis tempat semua pengujian memenuhi kriteria filter dijalankan.
  • Kemampuan untuk menjalankan ulang beberapa pengujian yang gagal karena masalah infrastruktur pengujian, atau Anda memiliki build baru yang mencakup perbaikan untuk pengujian yang gagal.

Prasyarat

  • Anda harus tersambung ke proyek. Jika Anda belum memiliki proyek, buat proyek.
  • Anda harus ditambahkan ke proyek. Untuk ditambahkan, Tambahkan pengguna ke proyek atau tim.
  • Untuk melihat atau menjalankan pengujian manual atau otomatis, Anda harus memiliki akses Dasar atau yang lebih tinggi.

Untuk mempelajari selengkapnya, lihat Akses dan izin pengujian manual.

  • Anda juga harus memiliki item berikut.
    • Paket pengujian yang berisi pengujian otomatis Anda yang terkait dengan metode pengujian otomatis menggunakan Visual Studio 2017 atau Visual Studio 2015 atau yang lebih lama.
    • Alur build yang menghasilkan build yang berisi biner pengujian.
    • Aplikasi yang akan diuji. Anda dapat menyebarkan aplikasi sebagai bagian dari alur kerja build dan rilis dan juga menggunakannya untuk pengujian sesuai permintaan.
    • Izin untuk membuat dan mengelola rilis, mengedit lingkungan rilis, dan mengelola penyebaran. Untuk informasi selengkapnya, lihat Mengatur izin untuk alur rilis dan Izin rilis.

Menyiapkan lingkungan Anda

  1. Di halaman Uji Paket , pilih paket pengujian Anda, buka menu pintasan, lalu pilih Pengaturan paket pengujian.

    Cuplikan layar memperlihatkan memilih Pengaturan paket Uji.

  2. Dalam dialog Pengaturan paket pengujian, pilih alur build yang menghasilkan build yang berisi biner pengujian. Anda kemudian dapat memilih nomor build tertentu untuk diuji, atau membiarkan sistem secara otomatis menggunakan build terbaru saat pengujian dijalankan.

    Cuplikan layar memperlihatkan memilih nomor build dan build.

  3. Anda memerlukan alur rilis yang dibuat dari templat Jalankan pengujian otomatis dari Test Manager untuk menjalankan pengujian dari rencana pengujian di Azure Test Plans. Jika Anda memiliki alur rilis yang sudah ada yang dibuat menggunakan templat ini, pilih lalu pilih tahap yang ada di alur rilis untuk eksekusi pengujian. Jika tidak, pilih Buat baru dalam dialog untuk membuat alur rilis baru yang berisi satu tahap dengan tugas Uji Visual Studio yang sudah ditambahkan.

    Cuplikan layar memperlihatkan memilih alur rilis atau membuat alur baru.

    Bagaimana cara meneruskan parameter ke kode pengujian saya dari alur build atau rilis?

  4. Tetapkan nama yang bermakna ke alur dan tahap rilis sesuai kebutuhan.

  5. Jika Visual Studio sudah diinstal pada komputer agen, lewati langkah ini. Jika tidak, tambahkan tugas Penginstal Platform Uji Visual Studio ke definisi alur.

  6. Tambahkan tugas Visual Studio Test ke alur rilis dan konfigurasikan sebagai berikut:

    • Verifikasi bahwa versi 2 dari tugas Uji Visual Studio dipilih. Nomor versi ditampilkan di daftar drop-down panel pengaturan tugas.

      Cuplikan layar memperlihatkan pemeriksaan pengaturan nomor versi tugas.

    • Verifikasi bahwa Pilih pengujian menggunakan diatur ke Uji eksekusi. Apa arti pengaturan ini?

      Cuplikan layar memperlihatkan memeriksa pengaturan metode pemilihan pengujian.

    • Untuk pengaturan Versi platform pengujian, pilih Diinstal oleh Alat Penginstal.

      Cuplikan layar memperlihatkan pengaturan opsi penginstal.

    • Jika Anda memiliki pengujian UI yang berjalan pada browser fisik atau klien tebal, pastikan bahwa agen diatur untuk berjalan sebagai proses interaktif dengan autologon diaktifkan. Anda harus menyiapkan agen agar berjalan secara interaktif sebelum mengantre build atau rilis. Kotak centang Uji campuran berisi pengujian UI tidak mengonfigurasi agen dalam mode interaktif secara otomatis - hanya digunakan sebagai pengingat untuk mengonfigurasi agen dengan tepat untuk menghindari kegagalan.

    • Jika Anda menjalankan pengujian UI di browser headless, konfigurasi proses interaktif tidak diperlukan.

    • Pilih bagaimana platform pengujian disediakan, dan versi Visual Studio atau lokasi platform pengujian yang diinstal pada mesin pengujian.

    • Jika pengujian Anda memerlukan parameter input seperti URL aplikasi atau string koneksi database, pilih file pengaturan yang relevan dari artefak build. Anda dapat menggunakan tugas Terbitkan artefak build di alur build Anda untuk menerbitkan file pengaturan di lokasi drop jika file ini tidak disertakan dalam artefak. Dalam contoh berikut, URL aplikasi diekspos dalam file pengaturan eksekusi, dan ditimpa untuk mengaturnya ke URL penahapan menggunakan pengaturan Ganti parameter eksekusi pengujian.

      Cuplikan layar memperlihatkan menentukan properti untuk tugas Uji Visual Studio.

      Untuk informasi tentang pengaturan opsi tugas Visual Studio Test, lihat tugas Visual Studio Test.

  7. Pilih item pekerjaan Agen dan verifikasi bahwa antrean penyebaran diatur ke yang berisi komputer tempat Anda ingin menjalankan pengujian. Jika pengujian Anda memerlukan komputer khusus dari kumpulan agen, Anda dapat menambahkan permintaan yang dipilih saat runtime.

    Cuplikan layar memperlihatkan menentukan properti untuk pekerjaan Agen.

    Anda mungkin dapat meminimalkan waktu pengujian dengan mendistribusikan pengujian di beberapa agen dengan mengatur Paralelisme ke Beberapa eksekusi dan menentukan jumlah agen.

    Catatan

    Jika Anda menjalankan pengujian UI seperti CodeUI atau Selenium pada browser fisik seperti IE, Firefox, atau Chrome, agen pada mesin harus berjalan dalam mode interaktif dan bukan sebagai layanan. Detail lebih lanjut.

  8. Di halaman Alur alur rilis, verifikasi bahwa alur build yang berisi biner pengujian ditautkan ke alur rilis ini sebagai sumber artefak.

    Cuplikan layar memperlihatkan verifikasi artefak build yang ditautkan.

  9. Simpan alur rilis.

  10. Jika Anda memilih Buat baru dalam dialog Pengaturan paket pengujian di langkah 2 dari contoh ini, kembali ke halaman browser yang berisi pengaturan paket pengujian Anda. Dalam dialog Pengaturan paket pengujian, pilih alur rilis dan tahap yang Anda simpan.

    Cuplikan layar memperlihatkan memilih alur dan tahap rilis.

Jalankan pengujian otomatis

  1. Di portal web Paket Pengujian, buka paket pengujian dan pilih rangkaian pengujian yang berisi pengujian otomatis.

  2. Pilih pengujian yang ingin Anda jalankan, buka menu Jalankan , lalu pilih Jalankan pengujian.

    Cuplikan layar memperlihatkan memilih Jalankan pengujian.

    Biner pengujian untuk pengujian ini harus tersedia dalam artefak build yang dihasilkan oleh alur build Anda.

  3. Pilih OK untuk memulai proses pengujian. Sistem memeriksa bahwa hanya pengujian otomatis yang dipilih (pengujian manual apa pun diabaikan), memvalidasi tahap untuk memastikan tugas Pengujian Visual Studio ada dan memiliki pengaturan yang valid, memeriksa izin pengguna untuk membuat rilis untuk alur rilis yang dipilih, membuat uji coba, lalu memicu pembuatan rilis ke tahap yang dipilih.

    Cuplikan layar memperlihatkan memulai eksekusi pengujian.

  4. Pilih Lihat uji coba untuk melihat kemajuan pengujian dan menganalisis pengujian yang gagal. Hasil pengujian memiliki informasi yang relevan untuk penelusuran kesalahan pengujian yang gagal seperti pesan kesalahan, jejak tumpukan, log konsol, dan lampiran.

  5. Setelah eksekusi pengujian selesai, halaman Jalankan Paket Pengujian Azure menunjukkan hasil pengujian. Halaman Eksekusi ringkasan memperlihatkan gambaran umum eksekusi.

    Cuplikan layar memperlihatkan ringkasan uji coba.

    Ada tautan ke Rilis yang digunakan untuk menjalankan pengujian, yang memudahkan untuk menemukan rilis yang menjalankan pengujian jika Anda perlu kembali nanti dan menganalisis hasilnya. Gunakan juga tautan ini jika Anda ingin membuka rilis untuk melihat log rilis.

Catatan

Lampiran file secara manual tidak didukung untuk hasil pengujian otomatis.

Apa skenario kesalahan umum atau masalah yang harus saya perhatikan jika pengujian saya tidak berjalan?

  1. Halaman Hasil pengujian mencantumkan hasil untuk setiap pengujian dalam eksekusi pengujian. Pilih pengujian untuk melihat informasi penelusuran kesalahan untuk pengujian yang gagal seperti pesan kesalahan, pelacakan tumpukan, log konsol, dan lampiran.

    Cuplikan layar memperlihatkan menampilkan detail hasil pengujian.

  2. Buka halaman Rencana Pengujian dan pilih rencana pengujian untuk melihat status pengujian Anda jika pengujian diperbarui setelah eksekusi pengujian selesai. Pilih pengujian untuk melihat hasil pengujian terbaru.

    Cuplikan layar memperlihatkan menampilkan rencana pengujian.

FAQ

Lihat tanya jawab umum (FAQ) tentang Azure Test Plans berikut ini.

T: Izin apa yang saya perlukan untuk menjalankan pengujian otomatis dari Azure Test Plans?

A: Anda harus menjadi Kontributor Proyek, atau memiliki izin berikut:

  • Membuat rilis
  • Mengelola rilis
  • Edit tahap rilis
  • Mengelola penyebaran

Untuk informasi selengkapnya, lihat Mengatur izin untuk alur rilis dan Izin rilis.

T: Dapatkah saya mengambil alih build atau set tahapan pada tingkat rencana pengujian untuk instans eksekusi pengujian tertentu?

A: Ya, Anda dapat melakukan ini menggunakan perintah Jalankan dengan opsi . Buka menu pintasan untuk rangkaian pengujian di kolom kiri dan pilih Jalankan dengan opsi.

Cuplikan layar memperlihatkan mengonfigurasi dialog Jalankan dengan opsi.

Masukkan nilai berikut dalam dialog Jalankan dengan opsi lalu pilih OK:

  • Jenis pengujian dan runner: Pilih Pengujian otomatis menggunakan Tahap Rilis.
  • Build: Pilih build yang memiliki biner pengujian. Hasil pengujian dikaitkan dengan build ini.
  • Alur Rilis: Pilih alur dari daftar alur rilis yang dapat menggunakan artefak build yang dipilih.
  • Tahap Rilis: Pilih nama tahap yang dikonfigurasi dalam alur rilis Anda.

Cuplikan layar memperlihatkan dialog Jalankan dengan opsi yang dikonfigurasi.

T: Mengapa menggunakan tahap rilis untuk menjalankan pengujian?

A: Azure Pipelines menawarkan alur kerja orkestrasi yang menarik untuk mendapatkan biner pengujian sebagai artefak dan menjalankan pengujian. Alur kerja ini berbagi konsep yang sama dengan yang digunakan dalam alur kerja pengujian terjadwal, yang berarti pengguna yang menjalankan pengujian dalam alur kerja terjadwal merasa mudah untuk beradaptasi; misalnya, dengan mengkloning alur rilis pengujian terjadwal yang ada.

Manfaat utama lainnya adalah ketersediaan serangkaian tugas yang kaya dalam katalog tugas yang memungkinkan berbagai aktivitas dilakukan sebelum dan sesudah menjalankan pengujian. Contohnya termasuk menyiapkan dan membersihkan data pengujian, membuat dan membersihkan file konfigurasi, dan banyak lagi.

T: Bagaimana cara memilih "Uji coba" di tugas Uji Visual Studio versi 2 berfungsi?

J: Subsistem Manajemen pengujian menggunakan objek uji coba untuk meneruskan daftar pengujian yang dipilih untuk eksekusi. Tugas pengujian mencari pengidentifikasi uji coba, mengekstrak informasi eksekusi pengujian seperti nama metode kontainer dan pengujian, menjalankan pengujian, memperbarui hasil uji coba, dan mengatur titik pengujian yang terkait dengan hasil pengujian dalam uji coba. Dari perspektif audit, tugas Visual Studio menyediakan jejak dari rilis historis dan pengidentifikasi uji coba ke pengujian yang dikirimkan untuk eksekusi pengujian sesuai permintaan.

T: Haruskah agen berjalan dalam mode interaktif atau sebagai layanan?

A: Jika Anda menjalankan pengujian UI seperti pengujian UI atau Selenium yang dikodekan, agen pada mesin pengujian harus berjalan dalam mode interaktif dengan autologon diaktifkan, bukan sebagai layanan, untuk memungkinkan agen meluncurkan browser web. Jika Anda menggunakan browser headless seperti PhantomJS, agen dapat dijalankan sebagai layanan atau dalam mode interaktif. Untuk informasi selengkapnya, lihat Membangun dan merilis agen, Menyebarkan agen di Windows, dan Kumpulan agen.

T: Di mana saya dapat menemukan dokumentasi terperinci tentang cara menjalankan tes Selenium?

A: Lihat Memulai pengujian Selenium.

T: Apa yang terjadi jika saya memilih beberapa konfigurasi untuk pengujian yang sama?

A: Saat ini, alur kerja sesuai permintaan tidak sadar konfigurasi.

T: Bagaimana jika saya perlu mengunduh biner produk dan menguji biner dari build yang berbeda? Atau jika saya perlu mendapatkan artefak dari sumber seperti Jenkins?

J: Kemampuan saat ini dioptimalkan untuk satu build tim yang akan diuji sesuai permintaan menggunakan alur kerja Azure Pipelines. Kami mengevaluasi dukungan untuk rilis multi-artefak, termasuk artefak Alur non-Azure seperti Jenkins, berdasarkan umpan balik pengguna.

T: Saya sudah memiliki alur rilis pengujian terjadwal. Dapatkah saya menggunakan kembali alur yang sama untuk menjalankan pengujian sesuai permintaan, atau haruskah saya membuat alur baru?

A: Kami sarankan Anda menggunakan alur dan tahap rilis terpisah untuk pengujian otomatis sesuai permintaan dari Azure Test Plans karena:

  • Anda mungkin tidak ingin menyebarkan aplikasi setiap kali Anda ingin menjalankan beberapa pengujian sesuai permintaan. Tahap pengujian terjadwal biasanya disiapkan untuk menyebarkan produk dan kemudian menjalankan pengujian.

  • Rilis baru dipicu untuk setiap eksekusi sesuai permintaan. Jika Anda memiliki banyak penguji yang menjalankan beberapa eksekusi pengujian sesuai permintaan setiap hari, alur rilis pengujian terjadwal Anda dapat kelebihan beban dengan rilis untuk eksekusi ini, sehingga sulit untuk menemukan rilis yang memicu alur yang berisi pengujian dan penyebaran terjadwal ke produksi.

  • Anda mungkin ingin mengonfigurasi tugas Uji Visual Studio dengan pengidentifikasi Uji eksekusi sebagai input sehingga Anda dapat melacak apa yang memicu rilis. Untuk informasi selengkapnya, lihat Bagaimana cara memilih "Uji eksekusi (untuk eksekusi sesuai permintaan)" di tugas Pengujian Visual Studio berfungsi?.

T: Dapatkah saya memicu eksekusi ini dan melihat hasilnya di Microsoft Test Manager?

J: Tidak. Microsoft Test Manager tidak mendukung menjalankan pengujian otomatis terhadap build Team Foundation. Ini hanya berfungsi di antarmuka berbasis web untuk Azure Pipelines. Semua investasi pengembangan produk pengujian manual dan otomatis baru berada di antarmuka berbasis web. Tidak ada pengembangan lebih lanjut yang direncanakan untuk Microsoft Test Manager. Lihat Panduan tentang penggunaan Microsoft Test Manager.

T: Saya memiliki beberapa penguji di tim saya. Dapatkah mereka menjalankan pengujian dari rangkaian pengujian atau rencana pengujian yang berbeda secara paralel menggunakan alur rilis yang sama?

A: Mereka dapat menggunakan alur rilis yang sama untuk memicu beberapa eksekusi pengujian secara paralel jika:

  • Kumpulan agen yang terkait dengan tahap memiliki agen yang cukup untuk memenuhi permintaan paralel. Jika agen yang memadai tidak tersedia, eksekusi masih dapat dipicu tetapi merilis antrean untuk diproses hingga agen tersedia.

  • Anda memiliki pekerjaan yang memadai untuk mengaktifkan pekerjaan paralel. Untuk informasi selengkapnya, lihat Pekerjaan paralel di Azure Pipelines atau Pekerjaan paralel di TFS.

  • Penguji tidak menjalankan pengujian yang sama secara paralel. Melakukannya dapat menyebabkan hasil ditimpa tergantung pada urutan eksekusi.

Untuk mengaktifkan beberapa eksekusi pengujian yang berbeda untuk dijalankan secara paralel, atur opsi pemicu tahap Azure Pipelines untuk perilaku saat beberapa rilis menunggu untuk disebarkan sebagai berikut:

  • Jika aplikasi Anda mendukung pengujian yang berjalan secara paralel dari sumber yang berbeda, atur opsi ini ke Izinkan beberapa rilis disebarkan secara bersamaan.

  • Jika aplikasi Anda tidak mendukung pengujian yang berjalan secara paralel dari sumber yang berbeda, atur opsi ini ke Izinkan hanya satu penyebaran aktif pada satu waktu.

T: Bagaimana cara meneruskan parameter ke kode pengujian saya dari alur build atau rilis?

A: Gunakan file runsettings untuk meneruskan nilai sebagai parameter ke kode pengujian Anda. Misalnya, dalam rilis yang berisi beberapa tahap, Anda dapat meneruskan URL aplikasi yang sesuai ke setiap tugas pengujian di masing-masing tahap. File runsetting dan parameter yang cocok harus ditentukan dalam tugas Uji Visual Studio.

Cuplikan layar memperlihatkan parameter passing untuk menguji kode dari alur build atau rilis.

T: Apa skenario kesalahan umum atau masalah yang harus saya cari jika pengujian saya tidak berjalan?

A: Periksa dan atasi masalah sebagai berikut:

  • Alur dan tahap rilis tempat saya ingin menjalankan pengujian tidak ditampilkan setelah saya memilih build.

    • Pastikan alur build yang menghasilkan build ditautkan sebagai artefak utama di tab Artefak dari alur rilis .

  • Saya mendapatkan kesalahan bahwa saya tidak memiliki izin yang memadai untuk memicu rilis.

    • Konfigurasikan Izin Buat rilis dan Kelola penyebaran untuk pengguna di menu Keamanan alur rilis. Lihat Izin rilis.

  • Saya mendapatkan kesalahan bahwa tidak ada tes otomatis yang ditemukan.

    • Periksa status otomatisasi pengujian yang dipilih. Lakukan dalam item kerja untuk kasus pengujian, atau gunakan tautan Opsi kolom di Azure Test Plans untuk menambahkan kolom status Automation ke daftar pengujian. Untuk informasi selengkapnya, lihat bagian prasyarat.

  • Tes saya tidak dijalankan, dan saya menduga alur rilis salah.

    • Gunakan tautan di halaman Jalankan ringkasan untuk mengakses instans rilis yang digunakan untuk menjalankan pengujian, dan melihat log rilis.

  • Pengujian saya masuk ke status kesalahan, atau tetap "sedang berlangsung" bahkan setelah rilis ke tahap dipicu.

    • Periksa apakah tahap rilis yang Anda pilih memiliki tugas dan versi yang benar dipilih. Anda harus menggunakan tugas Visual Studio Test versi 2 atau yang lebih tinggi. Tugas versi 1, dan tugas Jalankan Pengujian Fungsional, tidak didukung.