Test planlarından otomatikleştirilmiş testleri çalıştırma

Azure Test Plans | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018 | TFS 2017

Test planlarınızda test çalışmalarını otomatikleştirin ve doğrudan buradan çalıştırın Azure Test Plans :

  • , Derleme veya yayın iş akışlarında testleri çalıştırmaya uygun olmayan Sınayıcılar için Kullanıcı dostu bir işlem sağlar.

  • , Filtre ölçütlerini karşılayan tüm testlerin çalıştırıldığı derleme veya yayın iş akışlarında zamanlanan test yerine, seçili testleri isteğe bağlı olarak çalıştırma esnekliği sağlar.

  • Test altyapısı sorunları nedeniyle başarısız olan birkaç testi yeniden çalıştırmak istediğinizde veya başarısız testler için düzeltmeler içeren yeni bir derlemeniz varsa yararlıdır.

Şunlar gerekir:

ayrıca, bir Project katkıda bulunan ya da aşağıdaki izinlere sahip olmanız gerekir:

  • Yayınlar oluştur
  • Yayınları Yönet
  • Yayın ortamını Düzenle
  • Dağıtımı yönetme

Daha fazla bilgi için bkz. yayın işlem hatları ve Sürüm izinleri için izinleri ayarlama .

Ortamınızı ayarlama

  1. Test planları sayfasında the Test Plans web portal. , test planınızı seçin, kısayol menüsünü açın ve test planı ayarları' nı seçin.

    Test planı ayarlarını seçme

  2. Test planı ayarları iletişim kutusunda, test ikililerini içeren derlemeler üreten derleme işlem hattını seçin. Test etmek için belirli bir yapı numarası seçebilir veya testler çalıştırıldığında sistemin otomatik olarak en son derlemeyi kullanmasına izin verebilirsiniz.

    Derleme ve derleme numarasını seçme

  3. İçindeki test planlarından testleri çalıştırmak için Test Yöneticisi şablonundan otomatikleştirilmiş testlerin Çalıştır ' dan oluşturulmuş bir yayın işlem hattına ihtiyacınız olacaktır Azure Test Plans . Bu şablon kullanılarak oluşturulmuş bir yayın işlem hattına sahipseniz, bunu seçin ve sonra testlerin yürütüleceği sürüm ardışık düzeninde mevcut aşamayı seçin. aksi takdirde, Visual Studio Test görevi zaten eklenmiş olan tek bir aşama içeren yeni bir yayın işlem hattı oluşturmak için iletişim kutusunda yeni oluştur bağlantısını seçin.

    Yayın işlem hattı seçme veya yeni bir tane oluşturma

    Nasıl yaparım? bir derleme veya yayın ardışık düzeninde parametreleri test kodum 'a geçirsin mi?

  4. Sürüm ardışık düzenine anlamlı adlar atayın ve gereken şekilde aşamayı yapın.

  5. aracı bilgisayara yüklemek için Visual Studio Test platformunun olması gerekir. aracı bilgisayarda Visual Studio zaten yüklüyse, bu adımı atlayabilirsiniz. aksi takdirde, Visual Studio Test platformu yükleyicisi görevini işlem hattı tanımına eklemeniz gerekir.

  6. Visual Studio Test görevini sürüm ardışık düzenine ekleyin ve aşağıdaki gibi yapılandırın:

    • Visual Studio Test görevinin sürüm 2 ' nin seçildiğini doğrulayın. Sürüm numarası, görev ayarları bölmesinin sol üst kısmındaki açılan listede gösterilir.

      Görev sürüm numarası ayarı denetleniyor

    • Kullanarak testleri Seç ' in test çalıştırması olarak ayarlandığını doğrulayın. Bu ayar ne anlama geliyor?

      Test seçimi yöntemi ayarı denetleniyor

    • Test platformu sürümü ayarı Için, Araçlar yükleyicisi tarafından yüklenen' ı seçin.

      Yükleyici seçeneğini ayarlama

    • Fiziksel tarayıcılarda veya KALıN istemcilerde çalışan UI testleriniz varsa, aracının otomatik oturum açma özelliği etkinken etkileşimli bir işlem olarak çalışacak şekilde ayarlandığından emin olun. Bir aracıyı etkileşimli olarak çalışacak şekilde ayarlamak, derlemeyi veya yayını kuyruğa almadan önce yapılmalıdır ( test karışımını Kullanıcı Arabirimi testleri içerir onay kutusu aracıyı etkileşimli modda otomatik olarak yapılandırmaz. Bu, aracıyı hatalardan kaçınmak üzere uygun bir şekilde yapılandırmak için bir anımsatıcı olarak kullanılır).

    • Gözetimsiz bir TARAYıCıDA UI testleri çalıştırıyorsanız etkileşimli işlem yapılandırması gerekli değildir.

    • test platformunun nasıl sağlandığını ve Visual Studio sürümünü veya test makinelerinde yüklü olan test platformunun konumunu seçin

    • Testlerinizin uygulama URL 'Leri veya veritabanı bağlantı dizeleri gibi giriş parametrelerine ihtiyacı varsa, yapı yapılarından ilgili ayarlar dosyasını seçin. Bu dosya yapıtlara dahil edilmediğinden, ayarlar dosyasını bırakma konumunda yayımlamak için derleme işlem hattınızdaki yapı yapılarını Yayımla görevlerini kullanabilirsiniz. Aşağıda gösterilen örnekte, uygulama URL 'SI çalışma ayarları dosyasında gösterilir ve test çalıştırma parametrelerini geçersiz kıl ayarını kullanarak BIR hazırlama URL 'sine ayarlamak için geçersiz kılınır.

      Visual Studio Test görevi için özellikleri belirtme

      Visual Studio test görevinin seçenek ayarları hakkında daha fazla bilgi için, bkz. Visual Studio test görevi.

  7. Aracı iş öğesini seçin ve dağıtım sırasının, testleri çalıştırmak istediğiniz makineleri içeren bir makineye ayarlandığını doğrulayın. Testleriniz, aracı havuzundan özel makineler gerektiriyorsa, çalışma zamanında bunları seçmeyecek talepler ekleyebilirsiniz.

    Aracı işi için özellikleri belirtme

    Birden çok aracıya paralellik ayarlayarak ve aracı sayısını belirterek test sürelerini en aza indirgemenize olanak sağlayabilirsiniz.

    Not

    IE, Firefox veya Chrome gibi fiziksel tarayıcılarda Codeuı veya Selenium gibi UI testleri çalıştırıyorsanız, makinelerdeki aracının hizmet olarak değil etkileşimli modda çalışıyor olması gerekir. Daha fazla ayrıntı.

  8. Yayın işlem hattının ardışık düzen sayfasında, test ikililerini içeren derleme işlem hattının, yapıt kaynağı olarak bu sürüm ardışık düzenine bağlandığını doğrulayın.

    Bağlı derleme yapıtları doğrulanıyor

  9. Yayın ardışık düzenini kaydedin.

  10. Bu örnekte adım 2 ' de test planı ayarları iletişim kutusunda Yeni oluştur ' u seçerseniz, test planı ayarlarınızı içeren tarayıcı sayfasına dönün. Test planı ayarları iletişim kutusunda, yeni kaydettiğiniz serbest bırakma işlem hattını ve aşamayı seçin.

    Yayın ardışık düzenini ve aşamayı seçme

Otomatikleştirilmiş testleri çalıştırma

  1. İçinde the Test Plans web portal. , test planını açın ve otomatikleştirilmiş testleri içeren bir test paketi seçin.

  2. Çalıştırmak istediğiniz test (ler) i seçin, Çalıştır menüsünü açın ve Testi Çalıştır' ı seçin.

    Çalıştırma testi seçiliyor

    Bu testlerin test ikilileri, derleme işlem hattınızda oluşturulan yapı yapılarında kullanılabilir olmalıdır.

  3. Test işlemini başlatmak için Tamam ' ı seçin. sistem yalnızca otomatik testlerin seçili olduğunu denetler (tüm el ile testler yoksayılır), Visual Studio Test görevinin mevcut olduğundan ve geçerli ayarlara sahip olduğundan emin olmak için, kullanıcının seçili sürüm ardışık düzeni için bir yayın oluşturma iznini denetler, bir Test çalıştırması oluşturur, sonra seçili aşamada bir yayın oluşturmayı tetikler.

    Test yürütmesi başlatılıyor

  4. Test ilerlemesini görüntülemek ve başarısız testleri çözümlemek için test çalıştırmasını görüntüle ' yi seçin. Test sonuçları hata iletisi, yığın izlemesi, konsol günlükleri ve ekler gibi başarısız testlerin hata ayıklaması için ilgili bilgileri sağlar.

  5. Test yürütmesi tamamlandıktan sonra, öğesinin çalıştırmalar sayfasında Azure Test Plans test sonuçları gösterilir. Çalıştırma özeti sayfasında, çalıştırmaya ilişkin bir genel bakış gösterilir.

    Test çalıştırması özetini görüntüleme

    Testleri çalıştırmak için kullanılan sürüme bir bağlantı vardır. Bu, daha sonra geri dönüp sonuçları analiz etmeniz gerektiğinde testleri çalıştıran sürümü bulmayı kolaylaştırır. Yayın günlüklerini görüntülemek için yayını açmak istiyorsanız da bu bağlantıyı kullanın.

    Not : otomatik test sonuçları için dosyaların el ile eklenmesi desteklenmez.

    Sınamalarım çalıştırılmadığım takdirde oluşan tipik hata senaryoları veya sorunlar nelerdir?

  6. Test sonuçları sayfası, Test çalıştırmasında her bir test için sonuçları listeler. Hata iletisi, yığın izlemesi, konsol günlükleri ve ekler gibi başarısız testlerin hata ayıklama bilgilerini görmek için bir test seçin.

    Test sonuçları ayrıntılarını görüntüleme

  7. test yürütme tamamlandıktan sonra testler güncelleştirilirse, testlerin durumunu görmek için Test Plans sayfasını açın ve test planını seçin. Son test sonuçlarını görmek için bir test seçin.

    Test planını görüntüleme

SSS

S: Azure Test Plans otomatik testleri çalıştırmak için hangi izinlere ihtiyacım var?

Project katılımcısı olmanız ya da aşağıdaki izinlere sahip olmanız gerekir:

  • Yayınlar oluştur
  • Yayınları Yönet
  • Yayın aşamasını Düzenle
  • Dağıtımı yönetme

Daha fazla bilgi için bkz. yayın işlem hatları ve Sürüm izinleri için izinleri ayarlama .

S: belirli bir test çalıştırması örneği için test planı düzeyinde derleme veya aşama kümesini geçersiz kılabilir miyim?

Y : Evet, bunu, Seçeneklerle çalıştır komutunu kullanarak yapabilirsiniz. Sol sütundaki test paketinin kısayol menüsünü açın ve Seçeneklerle çalıştır' ı seçin.

Seçeneklerle Çalıştır iletişim kutusunu yapılandırma

Seçeneklerle Çalıştır iletişim kutusunda aşağıdaki değerleri girin ve ardından Tamam' ı seçin:

  • Test türü ve Çalıştırıcısı: yayın aşamasını kullanarak otomatikleştirilmiş testleri seçin.

  • Oluştur: test ikililerini içeren derlemeyi seçin. Bu derleme, test sonuçlarına ilişkilendirilecektir.

  • Yayın Işlem hattı: Seçili yapı yapıtı kullanabilen yayın işlem hatları listesinden bir işlem hattı seçin.

  • Yayın aşaması: yayın ardışık düzeninde yapılandırılan aşamanın adını seçin.

Seçenekler ile Çalıştır iletişim kutusu yapılandırıldı.

S: testleri çalıştırmak için neden serbest bırakma aşamaları kullanılmalıdır?

y : Azure Pipelines, test ikililerini yapıtlar olarak almak ve testleri çalıştırmak için etkileyici bir düzenleme iş akışı sunar. Bu iş akışı, zamanlanmış test iş akışında kullanılan kavramları paylaşır, ancak zamanlanan iş akışında testleri çalıştıran kullanıcıların uyarlanabilmesi kolay bulduğu anlamına gelir; Örneğin, var olan bir zamanlanmış test sürümü ardışık düzenini kopyalayarak.

Diğer bir deyişle, görev kataloğunda, testleri çalıştırmadan önce ve sonra gerçekleştirilecek bir dizi etkinliği etkinleştiren zengin bir görev kümesinin kullanılabilirliği vardır. Test verilerini hazırlamaya, temizlemeye, yapılandırma dosyalarını oluşturmaya ve temizlemeye ve daha fazlasını içeren örneklere örnek olarak verilebilir.

s: Visual Studio test görevi sürüm 2 ' de "Test çalıştırmasını" seçme nasıl çalışır?

Y : Test yönetimi alt sistemi, yürütme için seçilen testlerin listesini geçirmek için test çalıştırması nesnesini kullanır. Test görevi, test çalıştırması tanımlayıcısını arar, kapsayıcı ve test yöntemi adları gibi test yürütme bilgilerini ayıklar, testleri çalıştırır, test çalıştırması sonuçlarını güncelleştirir ve Test çalıştırmasında test sonuçlarıyla ilişkili test noktalarını ayarlar. denetim perspektifinden, Visual Studio görevi geçmiş sürümlerden ve test çalıştırması tanımlayıcılarından isteğe bağlı test yürütmesi için gönderilen testlerin bir izlemesini sağlar.

S: aracı etkileşimli modda mı, yoksa bir hizmet olarak mı çalışıyor?

Y : KODLANMıŞ UI veya Selenium testleri gibi UI testleri çalıştırıyorsanız, test makinelerindeki Aracı, aracının bir Web tarayıcısı açmasına izin vermek için otomatik oturum açma etkin, hizmet olarak değil etkileşimli modda çalışıyor olmalıdır. Hayali Tomjsgibi bir gözetimsiz tarayıcı kullanıyorsanız, aracı bir hizmet olarak veya etkileşimli modda çalıştırılabilir. bkz. yapı ve sürüm aracıları, Windows aracı dağıtmave aracı havuzları.

S: Selenium testlerinin nasıl çalıştırılabileceği hakkında ayrıntılı belgeler nerede bulabilirim?

Y : Bkz. Selenium sınamasını kullanmaya başlama.

S: aynı test için birden çok yapılandırma seçdiğimde ne olur?

Y : Şu anda isteğe bağlı iş akışı yapılandırma duyarlı değildir.

S: farklı derlemelerden ürün ikili dosyalarını ve test ikililerini indirmem gerekiyorsa ne yapmalıyım? Jenkins gibi bir kaynaktan yapıtlar almam gerekiyor mu?

Y : geçerli yetenek, bir Azure Pipelines iş akışı kullanılarak isteğe bağlı olarak test edilecek tek bir takım derlemesi için iyileştirilmiştir. jenkins gibi Azure Pipelines olmayan yapılar dahil olmak üzere, kullanıcı geri bildirimlerine bağlı olarak çok yapıtı yayınlar için destek değerlendiyoruz.

S: zaten zamanlanmış bir test sürümü ardışık düzeni var. Testi isteğe bağlı olarak çalıştırmak için aynı işlem hattını yeniden kullanabilir miyim veya yukarıda gösterildiği gibi yeni bir işlem hattı oluşturmem gerekir mi?

Y : Azure Test Plans için, isteğe bağlı otomatik test için ayrı bir sürüm işlem hattı ve aşama kullanmanızı öneririz, çünkü:

  • Birkaç isteğe bağlı testi çalıştırmak istediğiniz her seferinde uygulamayı dağıtmak isteyebilirsiniz. Zamanlanan test aşamaları genellikle ürünü dağıtmak ve ardından testleri çalıştırmak için ayarlanır.

  • Her isteğe bağlı çalışma için yeni yayınlar tetiklenir. Her gün birkaç isteğe bağlı test çalıştırmasını çalıştıran çok sayıda test edicsahipseniz, zamanlanmış test sürümü işlem hatlarınız Bu çalıştırmaların sürümleriyle aşırı yüklenebilir, böylece zamanlanan test ve üretime dağıtım içeren işlem hattı için tetiklenen yayınlar bulmayı zorlaştırır.

  • yayını tetiklemeyi takip edebilmeniz için bir test çalıştırma tanımlayıcısı ile Visual Studio test görevini bir giriş olarak yapılandırmak isteyebilirsiniz. Visual Studio test görevinin çalışma alanında "test çalıştırmasını (isteğe bağlı çalıştırmalar için)" seçmekonusuna bakın.

S: Bu çalıştırmaları tetikleyebilir ve sonuçları Microsoft Test Yöneticisi görüntüleyebilir miyim?

Y : Eşleşen. Microsoft Test Yöneticisi, Team Foundation yapılarına karşı otomatikleştirilmiş testlerin çalıştırılmasını desteklemez. yalnızca Azure Pipelines ve TFS için web tabanlı arabirimde çalışmaktadır. Tüm yeni el ile ve otomatikleştirilmiş test ürün geliştirme yatırımları Web tabanlı arabirimde olacaktır. Microsoft Test Yöneticisi için başka bir geliştirme planlanmadı. Microsoft Test Yöneticisi kullanımı hakkındaki kılavuzabakın.

S: ekibimde birden çok test edicim var. Aynı yayın ardışık düzenini kullanarak farklı test paketlerinden veya test planlarından testleri paralel olarak çalıştırabilir mi?

Y : Aynı yayın işlem hattını kullanarak birden çok test çalıştırmasını paralel olarak tetikleyebilirsiniz:

  • Aşamalarıyla ilişkili aracı havuzunda paralel istekler için yeterli aracı yok. Yeterli aracı yoksa, çalıştırmalar yine de tetiklenebilir, ancak aracılar kullanılabilir olana kadar işlemler işlenmek üzere sıraya alınır.

  • Paralel işleri etkinleştirmek için yeterli iş var. daha fazla bilgi için bkz. Azure Pipelines veya TFS 'de paralel işler.

  • Test ediciler aynı testleri paralel olarak çalıştırmaz. Bunun yapılması, yürütme sırasına bağlı olarak sonuçların üzerine yazılmasına neden olabilir.

birden çok farklı test çalıştırmasını paralel olarak yürütülecek şekilde etkinleştirmek için, birden çok yayın dağıtılması beklendikten sonra, Azure Pipelines aşama tetikleyicisi seçeneğini davranış için ayarlayın:

  • Uygulamanız farklı kaynaklardan paralel olarak çalışan testleri destekliyorsa, bu seçeneği birden çok yayının aynı anda dağıtılmasına izin vermek için ayarlayın.

  • Uygulamanız farklı kaynaklardan paralel olarak çalışan testleri desteklemiyorsa, aynı anda yalnızca bir etkin dağıtıma izin vermek için bu seçeneği ayarlayın.

S Nasıl yaparım?: bir derleme veya yayın ardışık düzeninde parametreleri test kodum 'a geçirsin mi?

Y: değerleri test kodunuza parametre olarak geçirmek için bir runsettings dosyası kullanın. Örneğin, birkaç aşama içeren bir yayında, her birindeki her bir test görevlerine uygun uygulama URL 'sini geçirebilirsiniz. runsettings dosyası ve eşleşen parametrelerin Visual Studio Test görevindebelirtilmesi gerekir.

Derleme veya yayın işlem hattından test koduna parametreleri geçirme

S: Testlerimin çalıştırılmamaları halinde hangi tipik hata senaryoları veya görünmem gerekir?

Y : Sorunları şu şekilde denetleyin ve çözün:

  • Derlemeyi seçtikten sonra testleri çalıştırmak istediğim yayın ardışık düzeni ve aşaması gösterilmez.

    • derlemeyi oluşturan derleme işlem hattının, yayın işlem hattının Artifacts sekmesinde birincil yapıt olarak bağlı olduğundan emin olun.

  • Bir yayını tetiklemek için yeterli izne sahip olmadığım bir hata alıyorum.

    • Yayın işlem hattının güvenlik menüsünde Kullanıcı Için yayınları oluştur ve dağıtımları Yönet izinlerini yapılandırın. Bkz. Sürüm izinleri.

  • Otomatikleştirilmiş testlerin bulunamadığını belirten bir hata alıyorum.

    • Seçili testlerin Otomasyon durumunu denetleyin. bunu, test çalışması için iş öğesinde yapın veya otomasyon durumu sütununu test listesine eklemek için Azure Test Plans sütun seçenekleri bağlantısını kullanın. El ile testleri otomatikleştirme hakkında bilgi için Önkoşullar bölümüne bakın.

  • Sınamalarım çalıştırılmadı ve yayın ardışık düzeninin yanlış olduğundan şüphelendim.

    • Testleri çalıştırmak için kullanılan yayın örneğine erişmek için Özet Çalıştır sayfasındaki bağlantıyı kullanın ve yayın günlüklerini görüntüleyin.

  • Testlerim hata durumuna gider veya aşamadaki yayın tetiklendikten sonra bile "devam ediyor" olarak kalır.

    • Seçtiğiniz yayın aşamasının doğru görevin ve sürümün seçili olup olmadığını denetleyin. Visual Studio Test görevinin 2 veya sonraki bir sürümünü kullanmanız gerekir. Görevin sürüm 1 ' i ve Işlevsel Testleri Çalıştır görevi desteklenmez.

Ayrıca Bkz.

Yardım ve destek

Geliştirici Hesabı aracılığıyla tüm sorunları Community ve ile ilgili öneriler Stack Overflow.