Pelyhes tesztek mintajelentése

Cikk
01/10/2024

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

Az alábbi képen látható módon létrehozhat egy jelentést, amely felsorolja a tesztfeladatokat tartalmazó folyamatfuttatásokban előforduló pelyhes teszteket. A pikkelyes teszt olyan teszt, amely különböző eredményeket biztosít, például átengedi vagy meghiúsul, még akkor is, ha a forráskódban vagy a végrehajtási környezetben nincs változás. A pelyhes tesztek engedélyezéséről további információt a pelyhes tesztek kezelése című témakörben talál. A tesztek folyamathoz való hozzáadásáról a cikk későbbi részében, a Feladaterőforrások tesztelése című szakaszban talál további információt.

Képernyőkép a Flaky Tests Table jelentésről.

A cikkben megadott lekérdezésekkel hozza létre a következő jelentéseket:

Pelyhes tesztek a buildelési munkafolyamathoz
Pelyhes tesztek a kiadási munkafolyamathoz
Egy adott ág pelyhes tesztjei
Pelyhes tesztek egy adott tesztfájlhoz
Egy adott teszttulajdonos pelyhes tesztjei.

Fontos

Az Elemzési szolgáltatás OData-hírcsatornájának Power BI-integrációja és hozzáférése általánosan elérhető az Azure DevOps Serviceshez, valamint az Azure DevOps Server 2020- és újabb verzióihoz. A cikkben szereplő minta lekérdezések csak az Azure DevOps Server 2020 és újabb verzióira érvényesek, és a 3.0-s vagy újabb verziótól függnek. Javasoljuk, hogy használja ezeket a lekérdezéseket, és küldjön nekünk visszajelzést.

Előfeltételek

Az Analytics-adatok megtekintéséhez és a szolgáltatás lekérdezéséhez egy alapszintű hozzáféréssel rendelkező vagy annál nagyobb hozzáférésű projekt tagjának kell lennie. Alapértelmezés szerint minden projekttag rendelkezik az Analytics lekérdezéséhez és az Analytics-nézetek meghatározásához szükséges engedélyekkel.
A szolgáltatás- és szolgáltatás-engedélyezéssel, valamint az általános adatkövetési tevékenységekkel kapcsolatos egyéb előfeltételekről az Analytics eléréséhez szükséges engedélyek és előfeltételek című témakörben olvashat.

Feljegyzés

Ez a cikk feltételezi, hogy OData-lekérdezésekkel olvasta a mintajelentések áttekintését, és alapszintű ismeretekkel rendelkezik a Power BI-ról.

Minta lekérdezések

Az entitáskészlet alábbi lekérdezéseivel TestResultsDaily különböző, de hasonló folyamatfoltos tesztjelentéseket hozhat létre. Az TestResultsDaily entitáskészlet napi pillanatkép-aggregátumot biztosít a TestResult végrehajtásokról, teszt szerint csoportosítva.

Feljegyzés

A szűrési vagy jelentéskészítési célokra elérhető tulajdonságok meghatározásához tekintse meg a Test Plans Analytics metaadat-referenciáit és az Azure Pipelines metaadat-referenciáit. Szűrheti a lekérdezéseket, vagy visszaadhatja a tulajdonságokat egy Property adott vagy egy adott értékkel elérhető értékek EntityTypeNavigationPropertyBinding Path bármelyikével EntitySet. Mindegyik EntitySet egy EntityType. Ha többet szeretne megtudni az egyes értékek adattípusáról, tekintse át a megfelelő EntityTypemetaadatokat.

Pelyhes tesztek buildelési munkafolyamathoz

Az alábbi lekérdezésekkel megtekintheti a buildelési munkafolyamatok pelyhes tesztjeit.

Power BI-lekérdezés
OData-lekérdezés

Az alábbi Power BI-lekérdezést közvetlenül az Adat-üres> lekérdezés lekérése ablakba illessze be. További információkért tekintse át a mintajelentések áttekintését OData-lekérdezésekkel.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName} "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlaykRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

A következő OData-lekérdezési kóddal módosíthatja vagy tesztelheti a lekérdezést, mielőtt a Power BI-ban használaná. További információ: Csatlakozás Power BI- és OData-lekérdezések használatával.

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build'
	)
/groupby(
	(TestSK, Test/TestName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
	(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate
)

Pelyhes tesztek a kiadási munkafolyamathoz

A következő lekérdezésekkel megtekintheti a kiadási munkafolyamatok pelyhes tesztjeit.

Power BI-lekérdezés
OData-lekérdezés

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Workflow), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Workflow), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Elágaztatás szerint szűrt pelyhes tesztek

Egy adott ághoz tartozó folyamat sikertelen tesztjeinek megtekintéséhez használja az alábbi lekérdezéseket. A jelentés létrehozásához hajtsa végre a következő további lépéseket a cikk későbbi részében megadottakkal együtt.

Bontsa ki Branch a Branch.BranchName
Válassza a Power BI-vizualizáció szeletelőjét, és adja hozzá a mezőt Branch.BranchName a szeletelő mezőihez
Válassza ki azt az ágnevet a szeletelőből, amelynek az eredmény összegzését meg kell jelenítenie.

A szeletelők használatáról további információt a Szeletelők a Power BI-ban című témakörben talál.

Power BI-lekérdezés
OData-lekérdezés

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate}
	And Workflow eq 'Build')
/groupby((TestSK, Test/TestName, Branch/BranchName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Tesztfájl alapján szűrt pelyhes tesztek

Egy folyamat és egy adott tesztfájl pelyhes tesztjeinek megtekintéséhez használja az alábbi lekérdezéseket. A jelentés létrehozásához hajtsa végre a következő további lépéseket a cikk későbbi részében meghatározottakkal együtt.

Bontsa ki Test a Test.ContainerName
Válassza a Power BI-vizualizáció szeletelőjét, és adja hozzá a mezőt Test.ContainerName a szeletelő mezőihez
Válassza ki annak a szeletelőnek a tárolónevét, amelynek az eredmény összegzését meg kell jelenítenie.

Power BI-lekérdezés
OData-lekérdezés

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/ContainerName), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Teszttulajdonos által szűrt pelyhes tesztek

Egy adott teszttulajdonos tulajdonában lévő folyamatok és tesztek Flaky-tesztjeinek megtekintéséhez használja az alábbi lekérdezéseket. A jelentés létrehozásához hajtsa végre a következő további lépéseket a cikk későbbi részében meghatározottakkal együtt.

Bontsa ki Test a Test.TestOwner
Válassza a Power BI-vizualizáció szeletelőjét, és adja hozzá a mezőt Test.TestOwner a szeletelő mezőihez
Válassza ki a teszt tulajdonosát abból a szeletelőből, amelyhez meg kell tekintenie az eredmények összegzését.

Power BI-lekérdezés
OData-lekérdezés

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter(
	Pipeline/PipelineName eq '{pipelineName}'
	And Date/Date ge {startdate})
/groupby((TestSK, Test/TestName, Test/TestOwner), 
	aggregate(
	ResultCount with sum as TotalCount,
	ResultPassCount with sum as PassedCount,
	ResultFailCount with sum as FailedCount,
	ResultNotExecutedCount with sum as NotExecutedCount,
	ResultNotImpactedCount with sum as NotImpactedCount,
	ResultFlakyCount with sum as FlakyCount))
/filter(FlakyCount gt 0)
/compute(
(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate)

Helyettesítési sztringek és lekérdezések lebontása

Cserélje le a következő sztringeket az értékekkel. Ne tartalmazzon szögletes zárójeleket {} a helyettesítéssel. Ha például a szervezet neve "Fabrikam", cserélje le a Fabrikamhelyére {organization} a nem {Fabrikam}.

{organization} - A szervezet neve
{project} – A csapat projektneve
{pipelinename} - A folyamat neve. Példa: Fabrikam hourly build pipeline
{startdate} - A jelentés indításának dátuma. Formátum: YYYYY-MM-DDZ. Példa: 2021-09-01Z 2021. szeptember 1. Ne foglaljon össze idézőjeleket vagy szögletes zárójeleket, és használjon két számjegyet mind a hónap, mind a dátum esetében.

Lekérdezések lebontása

Az alábbi táblázat a lekérdezés egyes részeit ismerteti.

Lekérdezési rész

Leírás

$apply=filter(

Start filter() záradék.

Pipeline/PipelineName eq '{pipelineName}'

A megadott folyamat tesztfuttatásainak visszaadása.

and CompletedOn/Date ge {startdate}

A visszaadott teszt a megadott dátumon vagy után fut.

and Workflow eq 'Build'

Munkafolyamat tesztfuttatásainak visszaadása Build .

)

Zárja be filter() a záradékot.

/groupby(

Start groupby() záradék.

(TestSK, Test/TestName),

Csoportosítás a teszt neve alapján.

aggregate(

Start aggregate záradék a szűrőfeltételnek megfelelő tesztfuttatások kiszámításához.

ResultCount with sum as TotalCount,

A tesztfuttatások teljes számának megszámlálása a következőképpen TotalCount: .

ResultPassCount with sum as PassedCount,

Az átadott tesztfuttatások teljes számának megszámlálása a következőként PassedCount: .

ResultFailCount with sum as FailedCount,

A sikertelen tesztfuttatások teljes számának megszámlálása a következőként FailedCount: .

ResultNotExecutedCount with sum as NotExecutedCount

A nem végrehajtott tesztfuttatások teljes számának megszámlálása a következőként NotExecutedCount: .

ResultNotImpactedCount with sum as NotImpactedCount,

A nem érintett tesztfuttatások teljes számának megszámlálása a következőképpen NotImpactedCount: .

ResultFlakyCount with sum as FlakyCount

A pelyhes tesztfuttatások teljes számának megszámlálása a következőképpen FlakyCount: .

))

Bezárás aggregate() és groupby() záradékok.

/filter(FlakyCount gt 0)

Csak azokat a teszteket szűrje ki, amelyek legalább egyszer pelyhesek voltak.

/compute(

Start compute() záradék.

(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate

Az összes pelyhes teszthez számítsa ki a FlakyRate.

)

Zárja be compute() a záradékot.

(Nem kötelező) Lekérdezés átnevezése

Az alapértelmezett lekérdezéscímkét (Query1) átnevezheti valami értelmesebbre. Egyszerűen adjon meg egy új nevet a Lekérdezés Gépház panelen.

Képernyőkép a Power BI lekérdezési menüjének beállításairól, a lekérdezés átnevezéséről.

A Tesztelés oszlop kibontása a Power BI-ban

Bontsa ki az Test oszlopot a kibontott entitás Test.TestNamemegjelenítéséhez. Ha kibontja az oszlopot, a rekordot adott mezőkké alakítja. Ha szeretné megtudni, hogyan hozhat létre Power BI-jelentéseket, bontsa ki az oszlopokat, olvassa el a Transform Analytics-adatokat.

Oszlop adattípusának módosítása

A Power Query-szerkesztő válassza ki a TotalCount, , PassedCountFailedCount, NotExecutedCount, , NotImpactedCountés FlakyCount oszlopokat; válassza az Adattípus lehetőséget az Átalakítás menüből, majd válassza a Teljes szám lehetőséget.
Jelölje ki az FlakyRate oszlopot; válassza az Adattípus lehetőséget az Átalakítás menüben, majd válassza a Tizedes tört elemet.

Az adattípus módosításáról a Power BI-jelentések létrehozásához készült Transform Analytics-adatok, oszlop adattípus átalakítása című témakörben olvashat bővebben.

Zárja be a lekérdezést, és alkalmazza a módosításokat

Miután elvégezte az összes adatátalakítást, válassza a Kezdőlap menü Bezárás &alkalmaz elemét a lekérdezés mentéséhez és a Power BI Jelentés lapjára való visszatéréshez.

A Tábla jelentés létrehozása

A Power BI Vizualizációk területén válassza a Táblázat lehetőséget, és húzza a mezőket az Oszlopok területre.
Adja hozzá a következő mezőket az Oszlopok szakaszhoz a felsorolt sorrendben.
- Test.TestName
- TotalCount
- PassedCount
- FailedCount
- FlakyCount
- FlakyRate

A jelentésnek az alábbi képhez hasonlóan kell kinéznie.

Képernyőkép a Minta Pelyhes tesztek tábla jelentéséről.

Share via

Pelyhes tesztek mintajelentése

Előfeltételek

Minta lekérdezések

Pelyhes tesztek buildelési munkafolyamathoz

Pelyhes tesztek a kiadási munkafolyamathoz

Elágaztatás szerint szűrt pelyhes tesztek

Tesztfájl alapján szűrt pelyhes tesztek

Teszttulajdonos által szűrt pelyhes tesztek

Helyettesítési sztringek és lekérdezések lebontása

Lekérdezések lebontása

(Nem kötelező) Lekérdezés átnevezése

A Tesztelés oszlop kibontása a Power BI-ban

Oszlop adattípusának módosítása

Zárja be a lekérdezést, és alkalmazza a módosításokat

A Tábla jelentés létrehozása

Tevékenységerőforrások tesztelése

Visszajelzés

Visszajelzés

További források

Share via

Pelyhes tesztek mintajelentése

Előfeltételek

Minta lekérdezések

Pelyhes tesztek buildelési munkafolyamathoz

Pelyhes tesztek a kiadási munkafolyamathoz

Elágaztatás szerint szűrt pelyhes tesztek

Tesztfájl alapján szűrt pelyhes tesztek

Teszttulajdonos által szűrt pelyhes tesztek

Helyettesítési sztringek és lekérdezések lebontása

Lekérdezések lebontása

(Nem kötelező) Lekérdezés átnevezése

A Tesztelés oszlop kibontása a Power BI-ban

Oszlop adattípusának módosítása

Zárja be a lekérdezést, és alkalmazza a módosításokat

A Tábla jelentés létrehozása

Tevékenységerőforrások tesztelése

Kapcsolódó cikkek

Visszajelzés

Visszajelzés

További források