Teszteredmények áttekintése

Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019

Az automatizált tesztek konfigurálhatók úgy, hogy különböző nyelvek buildjének vagy kiadásának részeként fussanak. A tesztjelentések hatékony és konzisztens módot biztosítanak a különböző tesztelési keretrendszerek használatával végrehajtott tesztek eredményeinek megtekintésére a folyamat minőségének méréséhez, a nyomon követhetőség áttekintéséhez, a hibák elhárításához és a hibák tulajdonjogának meghajtásához. Emellett számos speciális jelentéskészítési funkciót is kínál, a következő szakaszokban.

A teszteredmények mélyebb elemzését az Analytics Service használatával is elvégezheti. Példa a buildelési és üzembehelyezési folyamatok használatára: Teszteredmények elemzése.

Olvassa el a szószedetet a tesztjelentés terminológiájának megértéséhez.

A közzétett teszteredmények a Tesztek lapon tekinthetők meg egy összeállítási vagy kiadási összegzésben.

Surface-teszteredmények a Tesztek lapon

A teszteredmények az alábbi lehetőségek egyikével jeleníthetők meg a Tesztek lapon:

• Automatikusan kikövetkező teszteredmények. Alapértelmezés szerint a folyamat automatikusan ki tudja következtetni néhány népszerű tesztfuttató tesztkimenetét. Ehhez elemezni kell a buildelési művelet során létrehozott hibanaplókat, majd ellenőrizni kell a tesztelési hibák aláírását. Az Azure DevOps jelenleg a következő nyelveket és tesztfuttatókat támogatja a teszteredmények automatikus következtetéséhez:

  • JavaScript – Mocha, Jest és Jasmine

  • Python – Unittest

    Feljegyzés

    Ez a kikövetkező tesztjelentés korlátozott felhasználói élmény. A teljesen formázott tesztjelentésekben elérhető funkciók némelyike nem található meg itt (további részletek). Javasoljuk, hogy tegyen közzé egy teljesen formázott tesztjelentést a folyamatok teljes tesztelési és Elemzések élményének eléréséhez. Lásd még:

  • Teljesen formázott tesztjelentések közzététele JavaScript-tesztfuttatók számára

  • Teljesen formázott tesztjelentések közzététele Python-tesztfuttatók számára

• Végrehajtási feladatok tesztelése. Olyan beépített tesztvégrehajtási feladatok, mint például a Visual Studio Test, amely automatikusan közzéteszi a teszteredményeket a folyamaton, vagy más, például az Ant, a Maven, a Gulp, a Grunt és az Xcode, amelyek ezt a lehetőséget biztosítják a feladaton belül.

• Teszteredmények közzététele feladat. A teszteredményeket az Azure Pipelinesban vagy a TFS-ben közzétevő feladat, amikor a teszteket az Ön által választott futó használatával hajtják végre, és az eredmények a támogatott teszteredmény-formátumok bármelyikében elérhetők.

• API(k). Közvetlenül a Test Management API(k) használatával közzétett teszteredmények.

A Surface tesztinformációi a Tesztek lapon kívül

A Tesztek lap részletes összefoglalást nyújt a teszt végrehajtásáról. Ez hasznos a folyamat minőségének nyomon követésében, valamint a hibák elhárításában. Az Azure DevOps más módszereket is kínál a tesztinformációk felszínre hozásához:

• Az irányítópulton látható a csapat előrehaladása. Adjon hozzá egy vagy több widgetet, amelyek a teszteléssel kapcsolatos információkat felszínre helyezik:

  • Követelmények minősége
  • Teszteredmények trendje
  • Üzembe helyezés állapota

• A test analytics részletes betekintést nyújt az adott időszakban mért teszteredményekbe. Segíthet azonosítani a teszt problémás területeit olyan adatok megadásával, mint a leggyakoribb sikertelen tesztek stb.

Teszteredmények megtekintése buildben

A build összefoglalása idősoros nézetet biztosít a buildben végrehajtott fő lépésekről. Ha a teszteket a build részeként hajtották végre és jelentették, egy teszt mérföldkő jelenik meg az ütemterv nézetben. A tesztelési mérföldkő a teszteredmények összegzését adja meg a sikerességi százalék mértékeként, valamint a hibákra és a megszakításokra vonatkozó mutatókat, ha ezek léteznek.

Teszteredmények megtekintése a kiadásban

A folyamatnézetben megtekintheti az összes fázist és a kapcsolódó teszteket. A nézet a teszteredmények összegzését tartalmazza a sikerességi százalék mértékeként, valamint a hibák és megszakítások mutatóit, ha ezek léteznek. Ezek a mutatók megegyeznek a build idővonalának nézetével, így egységes felhasználói élményt nyújt a buildelés és a kiadás során.

Tesztek lap

A buildelési és a kiadási összefoglalók a tesztvégrehajtás részleteit is ismertetik. A Tesztek lap részleteinek megtekintéséhez válassza a Teszt összegzése lehetőséget. Ezen a lapon a következő szakaszok találhatók:

• Összegzés: a tesztelés végrehajtásához szükséges főbb mennyiségi metrikákat tartalmazza, például a teljes tesztszámot, a sikertelen teszteket, a sikerességi arányt és egyebeket. Emellett különbségmutatókat is biztosít a változásról az előző végrehajtáshoz képest.

• Eredmények: felsorolja az aktuális build vagy kiadás részeként végrehajtott és jelentett összes tesztet. Az alapértelmezett nézet csak a sikertelen és megszakított teszteket jeleníti meg, hogy a figyelmet igénylő tesztekre összpontosíthasson. A megadott szűrőkkel azonban más eredményeket is választhat.

• Részletek: A szükséges teszteredmények kereséséhez rendezhető, csoportosítható, kereshető és szűrhető tesztek listája.

A tesztfuttatások vagy eredmények kiválasztásával megtekintheti a hibaelhárításhoz szükséges további információkat megjelenítő részletek panelt, például a hibaüzenetet, a veremkövetést, a mellékleteket, a munkaelemeket, az előzmény trendet stb.

Tipp.

Ha a Visual Studio Tesztelési feladatával futtat teszteket, a tesztekből naplózott diagnosztikai kimenet (a Console.WriteLine, a Trace.WriteLine vagy a TestContext.WriteLine metódusok bármelyikével) mellékletként jelenik meg egy sikertelen teszthez.

A Tesztek lap alábbi képességei segítenek a hatékonyság növelésében és a hibaelhárításban.

Nagy teszteredmények szűrése

Idővel a tesztek felhalmozódnak, és a nagy alkalmazások esetében könnyen több tízezer tesztre nőhetnek. A nagyon sok teszttel rendelkező alkalmazások esetében nehéz lehet az eredmények között navigálni a tesztelési hibák azonosításához, a kiváltó okok társításához vagy a problémák tulajdonjogának megállapításához. A szűrők megkönnyítik a kívánt teszteredmények gyors navigálását. Szűrhet a tesztnévre, az eredményre(sikertelen, átadott stb.), a tesztfájlokra (tesztfájlokat tartalmazó fájlokra) és a tulajdonosra (tesztfájlok esetében). Az összes szűrőfeltétel kumulatív jellegű.

Emellett több csoportosítási lehetőséggel, például tesztfuttatással, tesztfájllal, prioritással, követelménysel és egyebekkel is pontosan a kívánt módon rendszerezheti az Eredmények nézetet.

Adósságkezelés tesztelése hibákkal

Ha szeretné kezelni a sikertelen vagy hosszú ideig futó tesztekre vonatkozó teszttartozását, létrehozhat egy hibát, vagy hozzáadhat adatokat a meglévő hibához, és az összes kapcsolódó munkaelemet megtekintheti a munkaelem lapon.

Modern hibaelhárítási élmény

A hibaüzenetek és a veremnyomok hosszadalmasak, és a hibaelhárítás során elegendő ingatlanra van szükségük a részletek megtekintéséhez. A modern hibaelhárítási élmény érdekében a Részletek nézet teljes oldalnézetre bővíthető, miközben a szükséges műveleteket a környezetben is végrehajthatja, például hibalétrehozást vagy követelménytársítást a kiválasztott teszteredményhez.

A tesztelési hiba adatainak hibaelhárítása

A tesztelési hibák esetén a hibaüzenetek és a veremkövetések elérhetők a hibaelhárításhoz. A tesztelési hibához társított összes mellékletet a Mellékletek lapon is megtekintheti.

Adósságkezelés tesztelése

Létrehozhat vagy hozzáadhat egy meglévő hibát a hibák vagy a hosszú ideig futó tesztek tesztelési adósságának kezeléséhez. A Munkaelemek lap részletesen ismerteti a teszthez társított hibákat és követelményeket, hogy segítsen elemezni a követelmény hatását, valamint az állapotot és azt, hogy ki dolgozik a hibán.

Trendek tesztelése előzményadatokkal

A tesztvégrehajtás előzményei értelmes betekintést nyújtanak a tesztek megbízhatóságába vagy teljesítményébe. A hibák elhárítása során érdemes tudni, hogy egy teszt hogyan történt a múltban. A Tesztek lap a teszteredményekkel kontextusban tartalmazza a tesztelőzményeket. A tesztelőzmények adatai progresszív módon lesznek közzétéve, kezdve az aktuális buildelési folyamattal más ágakhoz, vagy az aktuális szakaszhoz más szakaszokhoz a buildeléshez és a kiadáshoz.

Folyamatban lévő tesztek végrehajtásának megtekintése

A tesztek, például az integrációs és funkcionális tesztek hosszú ideig futtathatók. Ezért fontos, hogy a tesztvégrehajtás aktuális vagy közel valós idejű állapotát bármikor láthassa. Még azokban az esetekben is hasznos, ha a tesztek gyorsan futnak, érdemes a lehető leghamarabb megismerni a megfelelő teszteredmény(ek) állapotát; különösen akkor, ha hibák lépnek fel. A folyamatban lévő nézet szükségtelenné teszi a tesztelés végrehajtásának befejezését. Az eredmények közel valós időben érhetők el a végrehajtás előrehaladtával, így gyorsabban végezhet műveleteket. Hibakeresést, hibakeresést vagy a folyamat megszakítását végezheti el.

Feljegyzés

A funkció jelenleg a buildeléshez és a kiadáshoz is elérhető, a Visual Studio Test feladattal egy Multi Agent-feladatban. Az együgynök-feladatokhoz egy későbbi kiadásban lesz elérhető.

Az alábbi nézet egy kiadás folyamatban lévő tesztjének összegzését mutatja be, amely egy adott időpontban jelenti a teljes tesztszámot és a tesztelési hibák számát. A teszthibák hibaelhárításra, hiba(ok) létrehozására vagy egyéb megfelelő műveletek végrehajtására használhatók.

Összesített teszteredmények megtekintése

A teszt végrehajtása során a teszt több példányt vagy tesztet is eredményezhet, amelyek hozzájárulnak az általános eredményhez. Ilyenek például az újrafuttatott tesztek, az egyéb tesztek (rendezett tesztek) rendezett kombinációjából álló tesztek vagy a bemeneti paraméteren (adatvezérelt teszteken) alapuló különböző példányokkal rendelkező tesztek.

Mivel ezek a tesztek kapcsolódnak egymáshoz, az egyes példányokból vagy tesztekből származó általános eredményekkel együtt kell őket jelenteni. Ezek a teszteredmények összesített teszteredményként jelennek meg a Tesztek lapon:

• Sikertelen tesztek újrafuttatása: A sikertelen tesztek újrafuttatásának lehetősége a Visual Studio tesztfeladat legújabb verziójában érhető el. Az újrafuttatás során több kísérlet is lehetséges egy sikertelen teszthez, és minden egyes hiba más kiváltó oka lehet a teszt nem determinisztikus viselkedése miatt. A tesztjelentések kombinált nézetet biztosítanak az újrafuttatási kísérletekhez, valamint az összesített teszteredményt összegzett egységként. Emellett a Test Management API(k) mostantól támogatják az összesített teszteredmények közzétételét és lekérdezését.

  

• Adatvezérelt tesztek: A sikertelen tesztek újrafuttatásához hasonlóan az adatvezérelt tesztek összes iterációja az adott teszt alatt összesített nézetben lesz jelentve. Az összegzett nézet rendezett tesztekhez is elérhető (.orderedtest a Visual Studióban).

  

Feljegyzés

A tesztösszegző szakaszban szereplő metrikákat, például a tesztek teljes számát, az átadott, a sikertelen vagy egyéb metrikát az összegzett teszteredmény gyökérszintje alapján számítjuk ki.

Megszakított tesztek megtekintése

A tesztelés végrehajtása több okból is megszakadhat, például hibás tesztkód, a tesztelés alatt álló forrás hibái vagy környezeti problémák miatt. Függetlenül a megszakítás okától, fontos, hogy képes legyen diagnosztizálni a viselkedést, és azonosítani a kiváltó okot. A megszakított tesztek és tesztfuttatások a Befejezett futtatások mellett a Tesztek lapon tekinthetők meg.

Feljegyzés

A funkció jelenleg a buildeléshez és a kiadáshoz is elérhető, a Visual Studio Teszt feladatának használatával egy Multi Agent-feladatban, vagy teszteredményeket tehet közzé a Test Management API(k) használatával. Az együgynök-feladatokhoz egy későbbi kiadásban lesz elérhető.

Automatikusan kikövetkező teszteredmények

Az Azure DevOps képes automatikusan kikövetkeztetni a folyamatokban futó tesztek kimenetét néhány támogatott tesztelési keretrendszer esetében. Ezek az automatikusan kikövetkeztetett tesztjelentések nem igényelnek konkrét konfigurációt a folyamatokhoz, és zéró erőfeszítést igényelnek a Tesztjelentés használatának megkezdéséhez.

Tekintse meg azoknak a futóknak a listáját, amelyekre a teszteredmények automatikusan következtetnek.

Mivel csak korlátozott tesztelési metaadatok találhatók az ilyen következtetéssel rendelkező jelentésekben, a funkciók és képességek korlátozottak. A következő funkciók nem érhetők el a késleltetett tesztjelentésekhez:

• A teszteredmények csoportosítása tesztfájl, tulajdonos, prioritás és egyéb mezők szerint
• A teszteredmények keresése és szűrése
• Az átadott tesztek részleteinek ellenőrzése
• A webes felhasználói felületen végzett tesztek során létrehozott mellékletek előnézete
• Teszthiba társítása új hibával, vagy a hibához társított munkaelemek listája
• Build-alapú elemzések a folyamatokban való teszteléshez

Feljegyzés

Egyes futók, például a Mocha több beépített konzol-riporter, például pont-mátrix és progress-bar. Ha nem alapértelmezett konzolkimenetet konfigurált a tesztfuttatóhoz, vagy egyéni riportert használ, az Azure DevOps nem fogja tudni kikövetkeztetni a teszteredményeket. Csak az alapértelmezett riporter eredményeiből következtethet.

Kapcsolódó cikkek

• A teszteredmények elemzése
• Nyomkövetési teszt követelményei
• A kód lefedettségi eredményeinek áttekintése

Súgó és támogatás

• Tekintse meg a hibaelhárítási oldalt
• Kérjen tanácsot a Stack Overflow-ról, és kérjen támogatást a fejlesztői közösségen keresztül