Definování kritérií selhání pro zátěžové testy pomocí služby Azure Load Testing

V tomto článku se dozvíte, jak definovat kritéria selhání nebo kritéria automatického zastavení zátěžových testů pomocí zátěžového testování Azure. Kritéria selhání umožňují definovat očekávání výkonu a kvality pro vaši aplikaci při zatížení. Azure Load Testing podporuje různé metriky klienta pro definování kritérií selhání, jako je míra chyb nebo doba odezvy. Kritéria automatického zastavení umožňují automaticky zastavit zátěžový test, když míra chyb překročí danou prahovou hodnotu.

Požadavky

• Účet Azure s aktivním předplatným. Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet.
• Prostředek zátěžového testování Azure. Pokud potřebujete vytvořit prostředek azure Load Testing, přečtěte si rychlý start Vytvoření a spuštění zátěžového testu.

Kritéria selhání zátěžového testu

Kritéria selhání zátěžového testu jsou podmínky pro metriky na straně klienta, které by měl test splňovat. Kritéria testu definujete na úrovni zátěžového testu ve službě Azure Load Testing. Zátěžový test může mít jedno nebo více testovacích kritérií. Pokud se alespoň jedno z kritérií testu vyhodnotí jako true, zátěžový test získá stav selhání .

Testovací kritéria můžete definovat na dvou úrovních. Zátěžový test může kombinovat kritéria na různých úrovních.

• Na úrovni zátěžového testu. Pokud chcete například zajistit, aby celkové procento chyb nepřekračovalo prahovou hodnotu.
• Na úrovni požadavku JMeter (sampler JMeter). Můžete například zadat prahovou hodnotu doby odezvy požadavku getProducts, ale ignorovat dobu odezvy žádosti o přihlášení.

Pro zátěžový test můžete definovat maximálně 50 testovacích kritérií. Pokud pro stejnou metriku klienta existuje více kritérií, použije se kritérium s nejnižší prahovou hodnotou.

Struktura kritérií selhání

Formát kritérií selhání ve službě Azure Load Testing se řídí podmíněným příkazem pro podporovanou metriku. Například zajistěte, aby průměrný počet požadavků za sekundu byl větší než 500.

Kritéria selhání mají následující strukturu:

• Kritéria testu na úrovni zátěžového testu: Aggregate_function (client_metric) condition threshold.
• Testová kritéria použitá pro konkrétní požadavky JMeter: Request: Aggregate_function (client_metric) condition threshold.

Následující tabulka popisuje různé komponenty:

Parametr	Popis
Client metric	Požadováno. Metrika klienta, na které má být podmínka použita.
Aggregate function	Povinný: Agregační funkce, která se má použít na metriku klienta.
Condition	Povinný: Relační operátor, například greater than, nebo less than.
Threshold	Povinný: Číselná hodnota, která se má porovnat s metrikou klienta.
Request	Nepovinné. Název vzorkovníku ve skriptu JMeter, na který se kritérium vztahuje. Pokud nezadáte název požadavku, použije se kritérium na agregaci všech požadavků ve skriptu. Do skriptu JMeter nezahrnujte žádné osobní údaje do názvu vzorkovníku. Názvy sampleru se zobrazí na řídicím panelu výsledků zátěžového testování Azure.

Podporované metriky klienta pro kritéria selhání

Azure Load Testing podporuje následující metriky klienta:

Metrika	Agregační funkce	Prahová hodnota	Podmínka	Popis
response_time_ms	avg (průměr) min (minimum) max (maximum) pxx (percentil), xx může být 50, 90, 95, 99	Celočíselná hodnota představující počet milisekund (ms).	> (větší než) < (menší než)	Doba odezvy nebo uplynulý čas v milisekundách Další informace o uplynulé době najdete v dokumentaci k Apache JMeter.
latency	avg (průměr) min (minimum) max (maximum) pxx (percentil), xx může být 50, 90, 95, 99	Celočíselná hodnota představující počet milisekund (ms).	> (větší než) < (menší než)	Latence v milisekundách Další informace o latenci najdete v dokumentaci k Apache JMeter.
error	percentage	Číselná hodnota v rozsahu 0–100 představující procento.	> (větší než)	Procento neúspěšných požadavků
requests_per_sec	avg (průměr)	Číselná hodnota s až dvěma desetinnými místy	> (větší než) < (menší než)	Počet žádostí za sekundu
requests	count	Celočíselná hodnota	> (větší než) < (menší než)	Celkový počet požadavků

Definování kritérií selhání zátěžového testu

Azure Portal

V této části nakonfigurujete kritéria testu pro zátěžový test na webu Azure Portal.

1. Na webu Azure Portal přejděte k prostředku azure Load Testing.

2. V levém podokně vyberte Testy a zobrazte seznam zátěžových testů.

3. V seznamu vyberte zátěžový test a pak vyberte Upravit.

   

4. V podokně Kritéria testu vyplňte hodnoty Metrika, Agregační funkce, Podmínka a Prahová hodnota testu.

   

   Volitelně můžete zadat informace o názvu požadavku a přidat testovací kritérium pro konkrétní požadavek JMeter. Hodnota by se měla shodovat s názvem vzorkovníku JMeter v souboru JMX.

   

5. Chcete-li uložit změny, vyberte Použít .

   Když teď spustíte zátěžový test, Azure Load Testing použije kritéria testu k určení stavu spuštění zátěžového testu.

6. Spusťte test a zobrazte stav na řídicím panelu zátěžového testu.

   Na řídicím panelu se zobrazují všechna testovací kritéria a jejich stav. Celkový stav testu se nepovedl, pokud bylo splněno alespoň jedno kritérium.

   

Azure Pipelines / GitHub Actions

V této části nakonfigurujete kritéria testu pro zátěžový test jako součást pracovního postupu CI/CD. Zjistěte, jak nastavit automatizované testování výkonu pomocí CI/CD.

U pracovních postupů CI/CD nakonfigurujete nastavení zátěžového testu v konfiguračním souboru testu YAML. Konfigurační soubor zátěžového testu uložíte společně se souborem skriptu testu JMeter v úložišti správy zdrojového kódu.

Zadání kritérií selhání v konfiguračním souboru YAML:

1. Otevřete konfigurační soubor testu YAML pro váš zátěžový test v libovolném editoru.

2. Do nastavení přidejte kritéria testu failureCriteria .

   Použijte formát kritérií selhání, jak je popsáno výše. Pro zátěžový test můžete přidat více kritérií selhání.

   Následující příklad definuje tři kritéria selhání. První dvě kritéria platí pro celkový zátěžový test a poslední kritérium určuje podmínku GetCustomerDetails požadavku.

   version: v0.1
   testId: SampleTestCICD
   displayName: Sample test from CI/CD
   testPlan: SampleTest.jmx
   description: Load test website home page
   engineInstances: 1
   failureCriteria:
     - avg(response_time_ms) > 300
     - percentage(error) > 50
     - GetCustomerDetails: avg(latency) >200
   

   Když definujete testovací kritérium pro konkrétní požadavek JMeter, název požadavku by se měl shodovat s názvem vzorkovníku JMeter v souboru JMX.

   

3. Uložte konfigurační soubor YAML a potvrďte změny do správy zdrojového kódu.

4. Po spuštění pracovního postupu CI/CD ověřte stav testu v protokolu CI/CD.

   Protokol zobrazuje celkový stav testu a stav jednotlivých testovacích kritérií. Stav spuštění pracovního postupu CI/CD také odráží stav testovacího spuštění.

   

Automatická konfigurace zastavení

Zátěžové testování Azure automaticky zastaví zátěžový test, pokud procento chyby překročí danou prahovou hodnotu pro určité časové období. Automatické zastavování ochrany před neúspěšným testy dále způsobuje náklady, například kvůli nesprávně nakonfigurované adrese URL koncového bodu.

V konfiguraci zátěžového testu můžete povolit nebo zakázat funkci automatického zastavení a nakonfigurovat prahovou hodnotu procenta chyby a časové období. Ve výchozím nastavení Azure Load Testing automaticky zastaví zátěžový test, který má procento chyby, které je alespoň 90 % během jakéhokoli 60sekundového časového intervalu.

Funkci automatického zastavení služby Azure Load Testing můžete použít v kombinaci s naslouchacím procesem AutoStop ve skriptu JMeter. Zátěžový test se automaticky zastaví, když je splněna jedna z kritérií v konfiguraci automatického zastavení nebo naslouchací proces automatického naslouchacího procesu JMeter AutoStop.

Upozornění

Pokud pro zátěžový test zakážete automatické zastavení, můžou vám vzniknout náklady i v případě nesprávné konfigurace zátěžového testu.

Azure Portal

Konfigurace automatického zastavení pro zátěžový test na webu Azure Portal:

1. Na webu Azure Portal přejděte k prostředku azure Load Testing.

2. V levém podokně vyberte Testy a zobrazte seznam zátěžových testů.

3. V seznamu vyberte zátěžový test a pak vyberte Upravit. Pokud chcete vytvořit nový test, vyberte možnost Vytvořit>nahrání skriptu JMeter.

4. Přejděte na kartu Kritéria testu a nakonfigurujte funkci automatického zastavení.

   • Povolte nebo zakažte automatické zastavení zátěžového testu pomocí ovládacího prvku automatického zastavení testu .

   • Pokud povolíte automatické zastavení, můžete vyplnit pole Procento chyby a Časové okno . Zadejte časové okno v sekundách.

     

5. Pokud chcete uložit změny, vyberte Použít nebo Zkontrolovat a vytvořit , pokud vytváříte nový zátěžový test.

Azure Pipelines / GitHub Actions

Pokud chcete nakonfigurovat automatické zastavení pro zátěžový test v pracovním postupu CI/CD, aktualizujete soubor YAML konfigurace zátěžového testu.

Určení nastavení automatického zastavení v konfiguračním souboru YAML:

1. Otevřete konfigurační soubor testu YAML pro váš zátěžový test v libovolném editoru.

   • Chcete-li povolit automatické zastavení, přidejte autoStop nastavení a zadejte errorPercentage a timeWindow.

     Následující příklad automaticky zastaví zátěžový test, když procento chyby překročí 80 % během jakéhokoli 2minutového časového intervalu:

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop:
       errorPercentage: 80
       timeWindow: 120
     

   • Pokud chcete zakázat automatické zastavení, přidejte autoStop: disable ho do konfiguračního souboru.

     Následující příklad zakáže automatické zastavení zátěžového testu:

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop: disable
     

2. Uložte konfigurační soubor YAML a potvrďte změny do správy zdrojového kódu.

Zjistěte, jak nastavit automatizované testování výkonu pomocí CI/CD.

Další kroky

• Informace o parametrizaci zátěžového testu pomocí tajných kódů najdete v tématu Parametrizace zátěžového testu.

• Další informace o automatizaci testů výkonnosti najdete v tématu Konfigurace automatizovaného testování výkonu.