Test planlarından otomatikleştirilmiş testleri çalıştırma

• Test türü ve çalıştırıcı:Release Stage kullanarak otomatikleştirilmiş testler'i seçin.

• Derleme:Test ikililerini olan derlemeyi seçin. Test sonuçları bu derlemeyle ilişkilendirilecek.

• Yayın İşlemHattı: Seçilen derleme yapıtını tüketen yayın işlem hatları listesinden bir işlem hattı seçin.

• Yayın Aşaması:Yayın işlem hattında yapılandırılan aşamanın adını seçin.

S: Testleri çalıştırmak için neden yayın aşamalarını kullanasınız?

C: Azure Pipelines yapıt olarak test ikililerini almak ve testleri çalıştırmak için cazip bir düzenleme iş akışı sunar. Bu iş akışı, zamanlanmış test iş akışında kullanılan kavramların aynısını paylaşıyor; başka bir anlama da zamanlanmış iş akışında test çalıştıran kullanıcıların kolayca uyarlanabilir olduğunu; Örneğin, mevcut bir zamanlanmış test yayın işlem hattını klonlama.

Bir diğer önemli avantajı, görev kataloğunda testleri çalıştırmadan önce ve çalıştırdikten sonra bir dizi etkinlik gerçekleştirilecek zengin bir görev kümesi kullanılabilirliğidir. Örnek olarak test verilerini hazırlama ve temizleme, yapılandırma dosyaları oluşturma ve temizleme ve daha fazlası örnek olarak verilmiştir.

S: Test görevi sürüm 2'de "Test Visual Studio" seçme nasıl çalışır?

A: Test yönetimi alt sistemi, yürütme için seçilen testlerin listesini geçmek üzere test çalıştırma nesnesini kullanır. Test görevi test çalıştırması tanımlayıcısını okur, kapsayıcı ve test yöntemi adları gibi test yürütme bilgilerini ayıklar, testleri çalıştırır, test çalıştırması sonuçlarını günceller ve test çalıştırması içinde test sonuçlarıyla ilişkili test noktalarını ayarlar. Denetim açısından bakıldığında, Visual Studio görevi geçmiş sürümlerden ve test çalıştırması tanımlayıcılarından isteğe bağlı test yürütme için gönderilen testlere bir izleme sağlar.

S: Aracı etkileşimli modda mı yoksa hizmet olarak mı çalışmalı?

A: Kodlanmış UI veya Selenium testleri gibi UI testleri çalıştırdıysanız, aracının bir web tarayıcısı başlatmasına izin vermek için test makinelerinde aracı bir hizmet olarak değil otomatik oturum açma etkin etkileşimli modda çalışıyor olmalıdır. HeadJSgibi başsız bir tarayıcı kullanıyorsanız, aracı bir hizmet olarak veya etkileşimli modda çalıştırabilirsiniz. Bkz. Derleme ve sürüm aracıları,aracıyı Windowsve Aracı havuzlarına dağıtma.

S: Selenium testlerini çalıştırma hakkında ayrıntılı belgeleri nerede bulamıyorum?

A:Selenium Kullanmaya başlayın test etme hakkında bilgi için bkz..

S: Aynı test için birden çok yapılandırma seçerim ne olur?

A: Şu anda isteğe bağlı iş akışı yapılandırmaya bağlı değildir.

S: Farklı derlemelerden ürün ikililerini ve test ikililerini indirmem gerekirse ne olur? Veya Jenkins gibi bir kaynaktan yapıtlar elde etmek gerekirse?

A: Geçerli özellik, tek bir ekip derlemesi için, tek bir iş akışı kullanılarak isteğe bağlı olarak test Azure Pipelines iyileştirilmiştir. Kullanıcı geri bildirimine göre Jenkins gibi yapıtlar gibi Azure Pipelines yapıtlar da dahil olmak üzere çok yapıtlı sürüm desteğini değerlendireceğiz.

S: Zaten zamanlanmış bir test yayın işlem hattım var. Aynı işlem hattını isteğe bağlı test çalıştırmak için yeniden kullanabilir miyim, yoksa yukarıda gösterildiği gibi yeni bir işlem hattı oluşturmalı musunuz?

A: Aşağıdakiler nedeniyle, farklı sürümlerden isteğe bağlı otomatikleştirilmiş test için ayrı bir yayın işlem hattı Azure Test Plans öneririz:

• Birkaç isteğe bağlı test çalıştırmak istediğiniz her sefer uygulamayı dağıtmak istemeyebilirsiniz. Zamanlanmış test aşamaları genellikle ürünü dağıtacak ve ardından testleri çalıştıracak şekilde ayarlanır.

• Yeni çıkanlar her isteğe bağlı çalıştırma için tetiklenir. Her gün birkaç isteğe bağlı test çalıştırması yürüten çok sayıda testçiniz varsa, zamanlanmış test yayın işlem hattınız bu çalıştırmaların yayınları ile aşırı yüklenerek, zamanlanmış test ve üretime dağıtım içeren işlem hattı için tetiklenen sürümler bulmanızı zorlaştırabilirsiniz.

• Sürümü tetikleyen şeyi Visual Studio için Test çalıştırması tanımlayıcısını giriş olarak test Visual Studio Test görevini yapılandırmak istiyor olabilirsiniz. Test görevi nasıl çalışır? altında "Test çalıştırması (isteğe bağlı çalıştırmalar için)" Visual Studio bakın.

S: Bu çalıştırmaları tetikler ve sonuçları Microsoft Test Yöneticisi?

A: No. Microsoft Test Yöneticisi, Team Foundation derlemelerinde otomatikleştirilmiş test çalıştırmayı desteklemez. Yalnızca Azure Pipelines ve TFS için web tabanlı arabirimde çalışır. Tüm yeni el ile ve otomatik test ürün geliştirme yatırımları web tabanlı arabirimde olacak. Daha fazla geliştirme plan Microsoft Test Yöneticisi. Bkz. Kullanım Microsoft Test Yöneticisi kılavuzu.

S: Ekibimde birden çok testçi var. Aynı yayın işlem hattını kullanarak farklı test paketleri veya test planlarından testleri paralel olarak çalıştırarak çalıştırabilirsiniz.

A: Aşağıdaki durumlarla paralel olarak birden fazla test çalıştırması tetiklemek için aynı yayın işlem hattını kullanabilirler:

• Aşamayla ilişkilendirilmiş aracı havuzu, paralel istekleri karşılamak için yeterli aracılara sahiptir. Yeterli aracı yoksa, çalıştırmalar yine de tetiklenir, ancak sürümler aracılar kullanılabilir olana kadar iş için kuyruğa eklenir.

• Paralel işleri etkinleştirmek için yeterli işleriniz var. Daha fazla bilgi için Azure Pipelinesbkz. TFS'de paralel işler veya paralel işler.

• Testçiler aynı testleri paralel olarak çalıştırmaz. Bunu yapmak, yürütme sırasına bağlı olarak sonuçların üzerine yazılabilir.

Birden çok farklı test çalıştırmalarının paralel olarak yürütül Azure Pipelines, birden çok sürüm dağıtılmasını beklerken davranış için Azure Pipelines aşama tetikleyicisi seçeneğini aşağıdaki gibi ayarlayın:

• Uygulamanız farklı kaynaklardan paralel olarak çalıştırılan testleri destekliyorsa, bu seçeneği Aynı anda birden çok sürümün dağıtılmasına izin ver olarak ayarlayın.

• Uygulamanız farklı kaynaklardan paralel olarak çalışan testleri desteklemezse, bu seçeneği Aynı anda yalnızca bir etkin dağıtıma izin ver olarak ayarlayın.

S: Nasıl yaparım? veya yayın işlem hattından test koduma parametre mi aktarabilirsiniz?

A: Değerleri test kodunuza parametre olarak geçmek için runsettings dosyası kullanın. Örneğin, çeşitli aşamalar içeren bir yayında, her bir test görevlerinin her biri için uygun uygulama URL'sini geçebilirsiniz. Runsettings dosyası ve eşleşen parametreler, test Visual Studio belirtilmelidir.

S: Testlerim çalıştırılamayacaksa göz atacak tipik hata senaryoları veya sorunları nedir?

A: Sorunları aşağıdaki gibi kontrol edin ve çözebilirsiniz:

• Testleri çalıştırmak istediğim yayın işlem hattı ve aşama, derlemeyi seçdikten sonra gösterilmez.

  • Derlemeyi üreten derleme işlem hattının yayın işlem hattının Artifacts yapıt olarak bağlı olduğundan emin olun.

• Bir sürümü tetiklemek için yeterli iznim olmadığını hata alıyorum.

  • Yayın işlem hattınınGüvenlik menüsünde Kullanıcı için Yayın oluşturma ve Dağıtımları yönetme izinlerini yapılandırma. Bkz. Sürüm izinleri.

• Otomatikleştirilmiş test bulunamadı hatası alıyorum.

  • Seçilen testlerin otomasyon durumunu kontrol edin. Bunu test çalışması için iş öğesinde gerçekleştirin veya Otomasyon durumu sütununu test listesine eklemek Azure Test Plans sütun seçenekleri bağlantısını kullanın. El ile yapılan testleri otomatikleşme hakkında bilgi için önkullar bölümüne bakın.

• Testlerim yürütülmedi ve yayın işlem hattının yanlış olduğunu biliyorum.

  • Testleri çalıştırmak için kullanılan sürüm örneğine erişmek ve yayın günlüklerini görüntülemek için Çalıştırma özeti sayfasındaki bağlantıyı kullanın.

• Testlerim hata durumuna gider veya aşamaya yayın tetiklendiğinde bile "devam ediyor" olarak kalır.

  • Seçtiğiniz yayın aşamasında doğru görevin ve sürümün seçili olup olmadığını denetleyin. Test görevinin 2. veya daha Visual Studio gerekir. Görevin sürüm 1'i ve İşlevsel Testleri Çalıştır görevi desteklenmiyor.

Ayrıca Bkz.

• Otomatikleştirilmiş testleri test çalışmalarıyla ilişkilendirme
• Otomatikleştirilmiş test sonuçlarını gereksinimlerle ilişkilendirme
• Sürekli test senaryoları ve özellikleri

Azure Test Plans | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018 | TFS 2017

Test planlarınızı otomatikleştirin ve doğrudan Azure Test Plans. Otomatikleştirilmiş testler size aşağıdaki avantajları sağlar:

• Derleme veya Yayın iş akışlarında testleri çalıştırma hakkında bilgili olmayan testçiler için kolay bir süreç.
• Filtre ölçütlerine uyan tüm testlerin çalıştırlandığı Derleme veya Yayın iş akışlarında zamanlanmış test yerine, seçilen testleri isteğe bağlı olarak çalıştırma esnekliği.
• Test altyapısı sorunları nedeniyle başarısız olan birkaç testi yeniden çalıştırabilme özelliği veya başarısız testlerin düzeltmelerini içeren yeni bir derlemeye sahipsiniz.

Önkoşullar

• Bir projeye bağlanmanız gerekir. Henüz bir projeniz yoksa bir tane oluşturun.
• Bir projeye eklenmeniz gerekir. Eklenmek için, Bir projeye veya ek takıma kullanıcı ekleyin.
• El ile veya otomatikleştirilmiş testleri görüntülemek veya çalıştırmak için Temel erişime veya daha yüksek bir erişime sahipsiniz.

Daha fazla bilgi için bkz. El ile test erişimi ve izinleri.

Ayrıca, şunları da gerekir:

• Visual Studio 2017 veya 2015veya önceki bir sürümde kullanarak otomatikleştirilmiş test yöntemleriyle ilişkilendirilmiş otomatik testlerinizi içeren bir test Visual Studio planı.
• Test ikililerini içeren derlemeler oluşturan derleme işlem hattı.
• Sınanacak uygulama. Uygulamayı derleme ve yayın iş akışının bir parçası olarak dağıtabilir ve isteğe bağlı test için de kullanabilirsiniz.
• Sürümler oluşturma ve yönetme, bir yayın ortamını düzenleme ve dağıtımı yönetme izinleri. Daha fazla bilgi için bkz. yayın işlem hatları ve Sürüm izinleriiçin izinleri ayarlama .

Ortamınızı ayarlama

1. Test Plans sayfasında, test planınızı seçin, kısayol menüsünü açın ve test planı ayarları' nı seçin.

   

2. Test planı ayarları iletişim kutusunda, test ikililerini içeren derlemeler üreten derleme işlem hattını seçin. Test etmek için belirli bir yapı numarası seçebilir veya testler çalıştırıldığında sistemin otomatik olarak en son derlemeyi kullanmasına izin verebilirsiniz.

   

3. Azure Test Plans test planlarından testleri çalıştırmak için Test Yöneticisi şablonundan otomatikleştirilmiş testlerin çalıştır ' dan oluşturulmuş bir yayın işlem hattına ihtiyacınız olacaktır. Bu şablon kullanılarak oluşturulmuş bir yayın işlem hattına sahipseniz, bunu seçin ve sonra testlerin yürütüleceği sürüm ardışık düzeninde mevcut aşamayı seçin. aksi takdirde, Visual Studio Test görevi zaten eklenmiş olan tek bir aşama içeren yeni bir yayın işlem hattı oluşturmak için iletişim kutusunda yeni oluştur bağlantısını seçin.

   

   Nasıl yaparım? bir derleme veya yayın ardışık düzeninde parametreleri test kodum 'a geçirsin mi?

4. Sürüm ardışık düzenine anlamlı adlar atayın ve gereken şekilde aşamayı yapın.

5. aracı bilgisayara yüklemek için Visual Studio Test platformunun olması gerekir. aracı bilgisayarda Visual Studio zaten yüklüyse, bu adımı atlayabilirsiniz. aksi takdirde, Visual Studio Test platformu yükleyicisi görevini işlem hattı tanımına eklemeniz gerekir.

6. Visual Studio Test görevini sürüm ardışık düzenine ekleyin ve aşağıdaki gibi yapılandırın:

   • Visual Studio Test görevinin sürüm 2 ' nin seçildiğini doğrulayın. Sürüm numarası, görev ayarları bölmesinin sol üst kısmındaki açılan listede gösterilir.

     

   • Kullanarak testleri Seç ' in test çalıştırmasıolarak ayarlandığını doğrulayın. Bu ayar ne anlama geliyor?

     

   • Test platformu sürümü ayarı Için, Araçlar yükleyicisi tarafından yüklenen' ı seçin.

     

   • Fiziksel tarayıcılarda veya KALıN istemcilerdeçalışan UI testleriniz varsa, aracının otomatik oturum açma özelliği etkinken etkileşimli bir işlem olarak çalışacak şekilde ayarlandığından emin olun. Bir aracıyı etkileşimli olarak çalışacak şekilde ayarlamak, derlemeyi veya yayını kuyruğa almadan önce yapılmalıdır ( test karışımını Kullanıcı Arabirimi testleri içerir onay kutusu aracıyı etkileşimli modda otomatik olarak yapılandırmaz. Bu, aracıyı hatalardan kaçınmak üzere uygun bir şekilde yapılandırmak için bir anımsatıcı olarak kullanılır).

   • Gözetimsiz bir TARAYıCıDAUI testleri çalıştırıyorsanız etkileşimli işlem yapılandırması gerekli değildir.

   • test platformunun nasıl sağlandığını ve Visual Studio sürümünü veya test makinelerinde yüklü olan test platformunun konumunu seçin

   • Testlerinizin uygulama URL 'Leri veya veritabanı bağlantı dizeleri gibi giriş parametrelerine ihtiyacı varsa, yapı yapılarından ilgili ayarlar dosyasını seçin. Bu dosya yapıtlara dahil edilmediğinden, ayarlar dosyasını bırakma konumunda yayımlamak için derleme işlem hattınızdaki yapı yapılarını Yayımla görevlerini kullanabilirsiniz. Aşağıda gösterilen örnekte, uygulama URL 'SI çalışma ayarları dosyasında gösterilir ve test çalıştırma parametrelerini geçersiz kıl ayarını kullanarak BIR hazırlama URL 'sine ayarlamak için geçersiz kılınır.

     

     Visual Studio test görevinin seçenek ayarları hakkında daha fazla bilgi için, bkz. Visual Studio test görevi.

7. Aracı iş öğesini seçin ve dağıtım sırasının, testleri çalıştırmak istediğiniz makineleri içeren bir makineye ayarlandığını doğrulayın. Testleriniz, aracı havuzundan özel makineler gerektiriyorsa, çalışma zamanında bunları seçmeyecek talepler ekleyebilirsiniz.

   

   Birden çok aracıya paralellikayarlayarak ve aracı sayısını belirterek test sürelerini en aza indirgemenize olanak sağlayabilirsiniz.

   Not

   IE, Firefox veya Chrome gibi fiziksel tarayıcılarda Codeuı veya Selenium gibi UI testleri çalıştırıyorsanız, makinelerdeki aracının hizmet olarak değil etkileşimli modda çalışıyor olması gerekir. Daha fazla ayrıntı.

8. Yayın işlem hattının ardışık düzen sayfasında, test ikililerini içeren derleme işlem hattının, yapıt kaynağı olarak bu sürüm ardışık düzenine bağlandığını doğrulayın.

   

9. Yayın ardışık düzenini kaydedin.

10. Bu örnekte adım 2 ' de test planı ayarları iletişim kutusunda Yeni oluştur ' u seçerseniz, test planı ayarlarınızı içeren tarayıcı sayfasına dönün. Test planı ayarları iletişim kutusunda, yeni kaydettiğiniz serbest bırakma işlem hattını ve aşamayı seçin.

    

Otomatikleştirilmiş testleri çalıştırma

1. Test Plans web portalında, test planını açın ve otomatikleştirilmiş testleri içeren bir Test paketi seçin.

2. Çalıştırmak istediğiniz test (ler) i seçin, Çalıştır menüsünü açın ve Testi Çalıştır' ı seçin.

   

   Bu testlerin test ikilileri, derleme işlem hattınızda oluşturulan yapı yapılarında kullanılabilir olmalıdır.

3. Test işlemini başlatmak için Tamam ' ı seçin. sistem yalnızca otomatik testlerin seçili olduğunu denetler (tüm el ile testler yoksayılır), Visual Studio Test görevinin mevcut olduğundan ve geçerli ayarlara sahip olduğundan emin olmak için, kullanıcının seçili sürüm ardışık düzeni için bir yayın oluşturma iznini denetler, bir Test çalıştırması oluşturur, sonra seçili aşamada bir yayın oluşturmayı tetikler.

   

4. Test ilerlemesini görüntülemek ve başarısız testleri çözümlemek için test çalıştırmasını görüntüle ' yi seçin. Test sonuçları hata iletisi, yığın izlemesi, konsol günlükleri ve ekler gibi başarısız testlerin hata ayıklaması için ilgili bilgileri sağlar.

5. test yürütmesi tamamlandıktan sonra, Azure Test Plansçalıştırmaları sayfasında test sonuçları gösterilir. Çalıştırma özeti sayfasında, çalıştırmaya ilişkin bir genel bakış gösterilir.

   

   Testleri çalıştırmak için kullanılan sürüme bir bağlantı vardır. Bu, daha sonra geri dönüp sonuçları analiz etmeniz gerektiğinde testleri çalıştıran sürümü bulmayı kolaylaştırır. Yayın günlüklerini görüntülemek için yayını açmak istiyorsanız da bu bağlantıyı kullanın.

   Not : otomatik test sonuçları için dosyaların el ile eklenmesi desteklenmez.

   Sınamalarım çalıştırılmadığım takdirde oluşan tipik hata senaryoları veya sorunlar nelerdir?

6. Test sonuçları sayfası, Test çalıştırmasında her bir test için sonuçları listeler. Hata iletisi, yığın izlemesi, konsol günlükleri ve ekler gibi başarısız testlerin hata ayıklama bilgilerini görmek için bir test seçin.

   

7. test yürütme tamamlandıktan sonra testler güncelleştirilirse, testlerin durumunu görmek için Test Plans sayfasını açın ve test planını seçin. Son test sonuçlarını görmek için bir test seçin.

   

SSS

S: Azure Test Plans otomatik testleri çalıştırmak için hangi izinlere ihtiyacım var?

Project katılımcısı olmanız ya da aşağıdaki izinlere sahip olmanız gerekir:

• Yayınlar oluştur
• Yayınları Yönet
• Yayın aşamasını Düzenle
• Dağıtımı yönetme

Daha fazla bilgi için bkz. yayın işlem hatları ve Sürüm izinleriiçin izinleri ayarlama .

S: belirli bir test çalıştırması örneği için test planı düzeyinde derleme veya aşama kümesini geçersiz kılabilir miyim?

Y : Evet, bunu, Seçeneklerle çalıştır komutunu kullanarak yapabilirsiniz. Sol sütundaki test paketinin kısayol menüsünü açın ve Seçeneklerle çalıştır' ı seçin.

Seçeneklerle Çalıştır iletişim kutusunda aşağıdaki değerleri girin ve ardından Tamam' ı seçin: