Definiera redundanskriterier för belastningstester med hjälp av Azure Load Testing

I den här artikeln får du lära dig hur du definierar villkor för fel eller automatiskt stopp för dina belastningstester med Azure Load Testing. Med kriterium för fel kan du definiera prestanda- och kvalitetsförväntningar för ditt program under belastning. Azure Load Testing stöder olika klientmått för att definiera felkriterier, till exempel felfrekvens eller svarstid. Med kriterier för automatisk stopp kan du automatiskt stoppa belastningstestet när felfrekvensen överskrider ett visst tröskelvärde.

Förutsättningar

• Ett Azure-konto med en aktiv prenumeration. Om du inte har någon Azure-prenumeration skapar du ett kostnadsfritt konto innan du börjar.
• En Azure-belastningstestningsresurs. Om du behöver skapa en Azure Load Testing-resurs kan du läsa snabbstarten Skapa och köra ett belastningstest.

Felvillkor för belastningstest

Felvillkor för belastningstest är villkor för mått på klientsidan som testet ska uppfylla. Du definierar testvillkor på belastningstestnivå i Azure Load Testing. Ett belastningstest kan ha ett eller flera testvillkor. När minst ett av testvillkoren utvärderas till sant får belastningstestet statusen misslyckad .

Du kan definiera testkriterier på två nivåer. Ett belastningstest kan kombinera kriterier på olika nivåer.

• På belastningstestnivån. Till exempel för att säkerställa att den totala felprocenten inte överskrider ett tröskelvärde.
• På JMeter-begärandenivån (JMeter sampler). Du kan till exempel ange ett tröskelvärde för svarstid för getProducts-begäran, men bortse från svarstiden för inloggningsbegäran.

Du kan definiera högst 50 testvillkor för ett belastningstest. Om det finns flera kriterier för samma klientmått används kriteriet med det lägsta tröskelvärdet.

Kriteriumstruktur för fel

Formatet för villkor för fel i Azure Load Testing följer ett villkorsuttryck för ett mått som stöds. Kontrollera till exempel att det genomsnittliga antalet begäranden per sekund är större än 500.

Kriterium för fel har följande struktur:

• Testvillkor på belastningstestnivå: Aggregate_function (client_metric) condition threshold.
• Testvillkor som tillämpas på specifika JMeter-begäranden: Request: Aggregate_function (client_metric) condition threshold.

I följande tabell beskrivs de olika komponenterna:

Parameter	Description
Client metric	Obligatoriskt. Det klientmått som villkoret ska tillämpas på.
Aggregate function	Obligatoriska. Den mängdfunktion som ska tillämpas på klientmåttet.
Condition	Obligatoriska. Jämförelseoperatorn, till exempel greater than, eller less than.
Threshold	Obligatoriska. Det numeriska värdet som ska jämföras med klientmåttet.
Request	Valfritt. Namnet på provtagaren i JMeter-skriptet som kriteriet gäller för. Om du inte anger ett namn på begäran gäller kriteriet för sammanställningen av alla begäranden i skriptet. Ta inte med några personuppgifter i exempelnamnet i JMeter-skriptet. Exempelnamnen visas på instrumentpanelen för Azure Load Testing-resultat.

Klientmått som stöds för kriterium för fel

Azure Load Testing stöder följande klientmått:

Metric	Mängdfunktion	Threshold	Villkor	beskrivning
response_time_ms	avg (genomsnitt) min (minimum) max (max) pxx (percentil), xx kan vara 50, 90, 95, 99	Heltalsvärde, som representerar antalet millisekunder (ms).	> (större än) < (mindre än)	Svarstid eller förfluten tid, i millisekunder. Läs mer om förfluten tid i Apache JMeter-dokumentationen.
latency	avg (genomsnitt) min (minimum) max (max) pxx (percentil), xx kan vara 50, 90, 95, 99	Heltalsvärde, som representerar antalet millisekunder (ms).	> (större än) < (mindre än)	Svarstid i millisekunder. Läs mer om svarstider i Apache JMeter-dokumentationen.
error	percentage	Numeriskt värde i intervallet 0–100, vilket motsvarar en procentandel.	> (större än)	Procentandel misslyckade begäranden.
requests_per_sec	avg (genomsnitt)	Numeriskt värde med upp till två decimaler.	> (större än) < (mindre än)	Antal begäranden per sekund.
requests	count	Heltalsvärde.	> (större än) < (mindre än)	Totalt antal begäranden.

Definiera villkor för fel vid belastningstest

Azure-portalen

I det här avsnittet konfigurerar du testvillkor för ett belastningstest i Azure-portalen.

1. I Azure-portalen går du till din Azure Load Testing-resurs.

2. I den vänstra rutan väljer du Tester för att visa listan över belastningstester.

3. Välj ditt belastningstest i listan och välj sedan Redigera.

   

4. I fönstret Testvillkor fyller du värdena Mått, Mängdfunktion, Villkor och Tröskelvärde för testet.

   

   Du kan också ange information om namn på begäran för att lägga till ett testvillkor för en specifik JMeter-begäran. Värdet ska matcha namnet på JMeter-provtagaren i JMX-filen.

   

5. Spara ändringarna genom att välja Använd .

   När du nu kör belastningstestet använder Azure Load Testing testvillkoren för att fastställa status för belastningstestkörningen.

6. Kör testet och visa statusen på instrumentpanelen för belastningstest.

   Instrumentpanelen visar vart och ett av testkriterierna och deras status. Den övergripande teststatusen misslyckades om minst ett kriterium uppfylldes.

   

Azure Pipelines/GitHub Actions

I det här avsnittet konfigurerar du testvillkor för ett belastningstest som en del av ett CI/CD-arbetsflöde. Lär dig hur du konfigurerar automatiserad prestandatestning med CI/CD.

För CI/CD-arbetsflöden konfigurerar du belastningstestinställningarna i en YAML-testkonfigurationsfil. Du lagrar konfigurationsfilen för belastningstestet tillsammans med JMeter-testskriptfilen på källkontrolllagringsplatsen.

Så här anger du villkor för fel i YAML-konfigurationsfilen:

1. Öppna YAML-testkonfigurationsfilen för ditt belastningstest i valfri redigerare.

2. Lägg till testvillkoren i inställningen failureCriteria .

   Använd formatet för felvillkor enligt beskrivningen tidigare. Du kan lägga till flera felvillkor för ett belastningstest.

   I följande exempel definieras tre villkor för fel. De två första kriterierna gäller för det övergripande belastningstestet, och det sista anger ett villkor för GetCustomerDetails begäran.

   version: v0.1
   testId: SampleTestCICD
   displayName: Sample test from CI/CD
   testPlan: SampleTest.jmx
   description: Load test website home page
   engineInstances: 1
   failureCriteria:
     - avg(response_time_ms) > 300
     - percentage(error) > 50
     - GetCustomerDetails: avg(latency) >200
   

   När du definierar ett testvillkor för en specifik JMeter-begäran ska begärans namn matcha namnet på JMeter-exempeltagaren i JMX-filen.

   

3. Spara YAML-konfigurationsfilen och genomför ändringarna i källkontrollen.

4. När CI/CD-arbetsflödet har körts kontrollerar du teststatusen i CI/CD-loggen.

   Loggen visar den övergripande teststatusen och statusen för vart och ett av testkriterierna. Statusen för CI/CD-arbetsflödeskörningen återspeglar också testkörningsstatusen.

   

Automatisk stoppkonfiguration

Azure Load Testing stoppar automatiskt ett belastningstest om felprocenten överskrider ett visst tröskelvärde under en viss tidsperiod. Att automatiskt stoppa skyddar dig mot misslyckade tester medför ytterligare kostnader, till exempel på grund av en felaktigt konfigurerad slutpunkts-URL.

I konfigurationen för belastningstestet kan du aktivera eller inaktivera funktionen för automatisk stopp och konfigurera tröskelvärdet och tidsperioden för felprocent. Som standard stoppar Azure Load Testing automatiskt ett belastningstest som har en felprocent som är minst 90 % under ett 60-sekunders tidsfönster.

Du kan använda funktionen för automatisk stopp i Azure Load Testing i kombination med en AutoStop-lyssnare i JMeter-skriptet. Belastningstestet stoppas automatiskt när ett av kriterierna i antingen autostoppskonfigurationen eller JMeter AutoStop-lyssnaren uppfylls.

Varning

Om du inaktiverar automatiskt stopp för belastningstestet kan det medföra kostnader även om belastningstestet har konfigurerats felaktigt.

Azure-portalen

Så här konfigurerar du automatiskt stopp för belastningstestet i Azure-portalen:

1. I Azure-portalen går du till din Azure Load Testing-resurs.

2. I den vänstra rutan väljer du Tester för att visa listan över belastningstester.

3. Välj ditt belastningstest i listan och välj sedan Redigera. Alternativt väljer du Skapa Ladda>upp ett JMeter-skript för att skapa ett nytt test.

4. Gå till fliken Testvillkor för att konfigurera funktionen för automatisk stopp.

   • Aktivera eller inaktivera automatiskt stopp av belastningstestet med hjälp av testkontrollen Stoppa automatiskt.

   • Om du aktiverar automatiskt stopp kan du fylla i fälten Felprocent och Tid . Ange tidsfönstret i sekunder.

     

5. Välj Använd eller Granska + skapa om du skapar ett nytt belastningstest för att spara ändringarna.

Azure Pipelines/GitHub Actions

Om du vill konfigurera automatiskt stopp för belastningstestet i ett CI/CD-arbetsflöde uppdaterar du YAML-filen för belastningstestkonfigurationen.

Så här anger du inställningar för automatisk stopp i YAML-konfigurationsfilen:

1. Öppna YAML-testkonfigurationsfilen för ditt belastningstest i valfri redigerare.

   • Om du vill aktivera automatisk stopp lägger du till inställningen autoStop och anger errorPercentage och timeWindow.

     I följande exempel stoppas automatiskt belastningstestet när felprocenten överskrider 80 % under en tidsperiod på 2 minuter:

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop:
       errorPercentage: 80
       timeWindow: 120
     

   • Om du vill inaktivera automatiskt stopp lägger du till autoStop: disable i konfigurationsfilen.

     I följande exempel inaktiveras automatiskt stopp för belastningstestet:

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop: disable
     

2. Spara YAML-konfigurationsfilen och genomför ändringarna i källkontrollen.

Lär dig hur du konfigurerar automatiserad prestandatestning med CI/CD.

Nästa steg

• Information om hur du parameteriserar ett belastningstest med hjälp av hemligheter finns i Parameterisera ett belastningstest.

• Mer information om automatisering av prestandatest finns i Konfigurera automatiserad prestandatestning.