Test Analytics

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

Het bijhouden van de testkwaliteit in de loop van de tijd en het verbeteren van testmateriaal is essentieel voor het onderhouden van een gezonde DevOps-pijplijn. Testanalyse biedt bijna realtime inzicht in uw testgegevens voor builds en releases. Het helpt de efficiëntie van uw pijplijn te verbeteren door terugkerende problemen met hoge impactkwaliteit te identificeren.

Notitie

Testanalyses zijn momenteel alleen beschikbaar met Azure Pipelines.

Lees de woordenlijst om de terminologie van testrapporten te begrijpen.

Installeer indien nodig de Analytics-extensie

Zie De Analytics Marketplace-extensie voor meer informatie.

Testanalyses voor builds weergeven

Gebruik het rapport top mislukte tests om teams te helpen bij het vinden en oplossen van tests die regelmatig of af en toe mislukken. Het buildoverzicht bevat de pagina Analyse waarop dit rapport wordt gehost. De weergave op het hoogste niveau biedt een overzicht van de testpassingsfrequentie en de resultaten voor de geselecteerde build-pijplijn, voor de opgegeven periode. Het standaardbereik is 14 dagen.

Testanalyses voor releases weergeven

Voor tests die worden uitgevoerd als onderdeel van de release, opent u testanalyses via de koppeling Analyse in de rechterbovenhoek. Net als bij build biedt de samenvatting een geaggregeerde weergave van de testpassingsfrequentie en de resultaten voor de opgegeven periode.

Testfouten

Open een build- of releaseoverzicht om het rapport met de meest mislukte tests weer te geven. Dit rapport biedt een gedetailleerd overzicht van de belangrijkste mislukte tests in de pijplijn, samen met de details van de fout.

De gedetailleerde weergave bevat twee secties:

• Samenvatting: biedt belangrijke kwantitatieve metrische gegevens voor de tests die zijn uitgevoerd in build of release gedurende de opgegeven periode. In de standaardweergave worden gegevens gedurende 14 dagen weergegeven.

  • Slagingspercentage en resultaten: toont het slagingspercentage, samen met de verdeling van tests over verschillende resultaten.

    

  • Mislukte tests: biedt een duidelijk aantal tests die tijdens de opgegeven periode zijn mislukt. In het bovenstaande voorbeeld zijn 986 testfouten afkomstig van 124 tests.

    

  • Grafiekweergave: Een trend van het totale aantal testfouten en de gemiddelde slagingspercentage op elke dag van de opgegeven periode.

    

• Resultaten: lijst met de belangrijkste mislukte tests op basis van het totale aantal fouten. Helpt bij het identificeren van problematische tests en laat u inzoomen op een gedetailleerd overzicht van de resultaten.

  

Groepstestfouten

De rapportweergave kan op verschillende manieren worden geordend met behulp van de optie groeperen op . Het groeperen van testresultaten kan diepgaande inzichten bieden in verschillende aspecten van de belangrijkste mislukte tests. In het onderstaande voorbeeld worden de testresultaten gegroepeerd op basis van de testbestanden waartoe ze behoren. Het toont de testbestanden en hun respectieve bijdrage aan het totaal van testfouten gedurende de opgegeven periode, zodat u eenvoudig uw volgende stappen kunt identificeren en prioriteren. Daarnaast worden voor elk testbestand de tests weergegeven die bijdragen aan deze fouten.

Inzoomen op afzonderlijke tests

Nadat u een of meer tests hebt geïdentificeerd in de sectie Details , selecteert u de afzonderlijke test die u wilt analyseren. Dit biedt een inzoomweergave van de geselecteerde test met een gestapeld diagram van verschillende resultaten, zoals geslaagde of mislukte exemplaren van de test, voor elke dag in de opgegeven periode. Met deze weergave kunt u verborgen patronen afleiden en dienovereenkomstig acties ondernemen.

De bijbehorende rasterweergave bevat alle exemplaren van uitvoering van de geselecteerde test tijdens die periode.

Foutanalyse

Als u een foutanalyse wilt uitvoeren voor hoofdoorzaken, kiest u een of meer exemplaren van testuitvoering in de inzoomweergave om de foutdetails in de context te bekijken.

Verborgen patronen afleiden

Bij het bekijken van de testfouten voor één exemplaar van uitvoering, is het vaak moeilijk om een patroon af te leiden. In het onderstaande voorbeeld zijn de testfouten opgetreden tijdens een specifieke periode. Als u dit weet, kan dit helpen het bereik van het onderzoek te beperken.

Een ander voorbeeld zijn tests die niet-deterministisch gedrag vertonen (vaak aangeduid als flaky tests). Als u een afzonderlijk exemplaar van testuitvoering bekijkt, krijgt u mogelijk geen zinvolle inzichten in het gedrag. Het observeren van trends in de uitvoering van tests gedurende een periode kan u echter helpen verborgen patronen af te stellen en u te helpen de fouten op te lossen.

Rapportinformatiebron

De bron van informatie voor testanalyses is de set gepubliceerde testresultaten voor de build- of release-pijplijn. Deze resultaten worden gedurende een bepaalde periode verzameld en vormen de basis van de uitgebreide inzichten die testanalyse biedt.

Help en ondersteuning

• Zie onze pagina voor probleemoplossing
• Krijg advies over Stack Overflow en krijg ondersteuning via de Ontwikkelaarscommunity