Testování analýzTest Analytics

Azure PipelinesAzure Pipelines

Sledování kvality testů v průběhu času a zlepšení zkušebních potřeb je klíč k údržbě dobré DevOps kanálu.Tracking test quality over time and improving test collateral is key to maintaining a healthy DevOps pipeline. Test Analytics poskytuje téměř v reálném čase přehled o datech testů pro sestavení a vydání.Test analytics provides near real-time visibility into your test data for builds and releases. Pomáhá zvýšit efektivitu vašeho kanálu tím, že identifikuje opakované a vysoce ovlivněné problémy s kvalitou.It helps improve the efficiency of your pipeline by identifying repetitive, high impact quality issues.

Poznámka

Test Analytics je aktuálně k dispozici pouze v Azure Pipelines.Test analytics is currently available only with Azure Pipelines.

Přečtěte si Glosář pro pochopení terminologie sestav testů.Read the glossary to understand test reports terminology.

Pokud je to potřeba, nainstalujte rozšíření Analytics.Install the Analytics extension if required

Další informace najdete v tématu rozšíření Analytics Marketplace.For more information, see The Analytics Marketplace extension.

Zobrazit test Analytics pro buildyView test analytics for builds

Chcete-li týmům pomoct najít a opravit testy, které selžou často nebo občasně, použijte zprávu hlavní neúspěšné testy .To help teams find and fix tests that fail frequently or intermittently, use the top failing tests report. Souhrn sestavení obsahuje stránku Analytics , která je hostitelem této sestavy.The build summary includes the Analytics page that hosts this report. Zobrazení nejvyšší úrovně poskytuje souhrn úspěšnosti testu a výsledků pro vybraný kanál sestavení pro zadané období.The top-level view provides a summary of the test pass rate and results for the selected build pipeline, for the specified period. Výchozí rozsah je 14 dní.The default range is 14 days.

Zobrazit trendy v buildu

Zobrazit test Analytics pro vydané verzeView test analytics for releases

Pro testy prováděné jako součást vydání získáte přístup ke zkušební analýze z odkazu Analytics v pravém horním rohu.For tests executing as part of release, access test analytics from the Analytics link at the top right corner. Stejně jako u sestavení poskytuje souhrn agregované zobrazení míry úspěšnosti testu a výsledků pro zadané období.As with build, the summary provides an aggregated view of the test pass rate and results for the specified period.

Zobrazit trendy ve vydaných verzích

Selhání testuTest Failures

Otevřete Souhrn sestavení nebo vydání a zobrazte sestavu nejčastějších testů, které selhaly.Open a build or release summary to view the top failing tests report. Tato sestava poskytuje detailní pohled na hlavní neúspěšné testy v kanálu spolu s podrobnostmi o selhání.This report provides a granular view of the top failing tests in the pipeline, along with the failure details.

Podrobné zobrazení testovacích analýz

Podrobné zobrazení obsahuje dvě části:The detailed view contains two sections:

  • Summary: poskytuje klíčovou kvantitativní metriku pro testy spouštěné v sestavení nebo vydání v zadaném období.Summary: Provides key quantitative metrics for the tests executed in build or release over the specified period. Výchozí zobrazení zobrazuje data po dobu 14 dnů.The default view shows data for 14 days.

    • Úspěšnost a výsledky: zobrazuje Procento úspěšnostispolu s distribucí testů v různých výsledcích.Pass rate and results: Shows the pass percentage, along with the distribution of tests across various outcomes.

      Zobrazit úspěšnost

    • Neúspěšné testy: poskytuje jedinečný počet testů, které během zadaného období selhaly.Failing tests: Provides a distinct count of tests that failed during the specified period. V předchozím příkladu 986 testovacích selhání pocházejících z 124 testů.In the example above, 986 test failures originated from 124 tests.

      Zobrazit neúspěšné testy

    • Zobrazení grafu: trend celkových selhání testů a průměrná úspěšnost každého dne v zadaném období.Chart view: A trend of the total test failures and average pass rate on each day of the specified period.

      Zobrazit graf

  • Výsledky: seznam horních neúspěšných testů na základě celkového počtu selhání.Results: List of top failed tests based on the total number of failures. Pomáhá identifikovat problematické testy a umožňuje vám přejít k podrobnému Shrnutí výsledků.Helps to identify problematic tests and lets you drill into a detailed summary of results.

    Zobrazit výsledky.

Selhání testů skupinyGroup test failures

Zobrazení sestavy lze uspořádat několika různými způsoby pomocí možnosti Seskupit podle .The report view can be organized in several different ways using the group by option. Seskupení výsledků testů může poskytovat podrobné přehledy o různých aspektech nejčastějších testů, které selhaly.Grouping test results can provide deep insights into various aspects of the top failing tests. V následujícím příkladu jsou výsledky testů seskupeny na základě testovacích souborů , do kterých patří.In the example below, the test results are grouped based on the test files they belong to. Zobrazuje testovací soubory a jejich podíl na celkovém počtu selhání testů, během stanoveného období, které vám pomůžou snadno identifikovat a nastavit prioritu dalších kroků.It shows the test files and their respective contribution towards the total of test failures, during the specified period to help you easily identify and prioritize your next steps. Pro každý testovací soubor se navíc zobrazí testy, které přispívají k těmto chybám.Additionally, for each test file, it shows the tests that contribute to these failures.

Seskupit podle testovacích souborů

Přechod k podrobnostem na jednotlivé testyDrill down to individual tests

Po identifikaci jednoho nebo více testů v části Podrobnosti Vyberte jednotlivý test, který chcete analyzovat.After you have identified one or more tests in the Details section, select the individual test you want to analyze. To poskytuje podrobné zobrazení vybraného testu s skládaným grafem různých výsledků, jako jsou například předané nebo neúspěšné instance testu, pro každý den v zadaném období.This provides a drill-down view of the selected test with a stacked chart of various outcomes such as passed or failed instances of the test, for each day in the specified period. Toto zobrazení vám pomůže odvodit skryté vzory a provádět odpovídající akce.This view helps you infer hidden patterns and take actions accordingly.

Přechod k podrobnostem pro test

V odpovídajícím zobrazení mřížky jsou uvedeny všechny instance provádění vybraného testu během daného období.The corresponding grid view lists all instances of execution of the selected test during that period.

Zobrazit všechny instance testu

Analýza selháníFailure analysis

Chcete-li provést analýzu selhání pro hlavní příčiny, vyberte jednu nebo více instancí testu spuštění v zobrazení podrobností pro zobrazení podrobností o selhání v kontextu.To perform failure analysis for root causes, choose one or more instances of test execution in the drill-down view to see failure details in context.

Zobrazit podrobnosti o selhání

Odvodit skryté vzoryInfer hidden patterns

Při hledání selhání testů pro jednu instanci provedení je často obtížné odvodit jakýkoliv vzorek.When looking at the test failures for a single instance of execution, it is often difficult to infer any pattern. V následujícím příkladu došlo k selháním testu během konkrétního období a tato znalost může přispět k zúžení rozsahu šetření.In the example below, the test failures occurred during a specific period, and knowing this can help narrow down the scope of investigation.

Příklad vzoru selhání testu.

Dalším příkladem jsou testy, které vykazují nedeterministické chování (často označované jako testy v vločkách).Another example is tests that exhibit non-deterministic behavior (often referred to as flaky tests). V případě, že se na jednotlivé instance provádění testů neposkytují žádné smysluplné poznatky o chování.Looking at an individual instance of test execution may not provide any meaningful insights into the behavior. Pozorování trendů spuštění testů po určitou dobu však může přispět k odvození skrytých vzorů a k vyřešení selhání.However, observing test execution trends for a period can help infer hidden patterns, and help you resolve the failures.

Zdroj informací o sestavěReport information source

Zdroj informací pro testování analýz je sada publikovaných výsledků testů pro kanál sestavení nebo vydání.The source of information for test analytics is the set of published test results for the build or release pipeline. Tyto výsledky se v časovém intervalu naúčtují a tvoří základ bohatých přehledů, které test Analytics poskytuje.These result are accrued over a period of time, and form the basis of the rich insights that test analytics provides.

Nápověda a podporaHelp and support