Testanalysen

Azure Pipelines

Die Nachverfolgung der Testqualität im Laufe der Zeit und die Verbesserung der Testmaterialien ist der Schlüssel zur Aufrechterhaltung einer fehlerfreien DevOps Pipeline. Die Testanalyse bietet nahezu in Echtzeit Einblick in Ihre Testdaten für Builds und Releases. Sie trägt zur Verbesserung der Effizienz Ihrer Pipeline bei, indem sich wiederholende Probleme mit hoher Qualität identifiziert werden.

Hinweis

Testanalysen sind derzeit nur mit Azure Pipelines verfügbar.

Lesen Sie das Glossar, um die Terminologie von Testberichten zu verstehen.

Installieren Sie bei Bedarf die Analytics-Erweiterung.

Weitere Informationen finden Sie unter Die Analytics Marketplace-Erweiterung.

Anzeigen der Testanalyse für Builds

Verwenden Sie den Bericht mit den häufigsten fehlerhaften Tests, um Teams bei der Suche nach und Behebung von Tests zu unterstützen, die häufig oder zeitweilig fehlschlagen. Die Buildzusammenfassung enthält die Analytics-Seite, die diesen Bericht hostet. Die Ansicht der obersten Ebene enthält eine Zusammenfassung der Testdurchlaufrate und der Ergebnisse für die ausgewählte Buildpipeline für den angegebenen Zeitraum. Der Standardbereich beträgt 14 Tage.

View trends in build

Anzeigen der Testanalyse für Releases

Für Tests, die im Rahmen der Veröffentlichung ausgeführt werden, greifen Sie über den Link Analyse in der oberen rechten Ecke auf die Testanalyse zu. Wie beim Build bietet die Zusammenfassung eine aggregierte Ansicht der Testdurchlaufrate und der Ergebnisse für den angegebenen Zeitraum.

View trends in release

Testfehler

Öffnen Sie eine Build- oder Releasezusammenfassung, um den Bericht mit den wichtigsten fehlerhaften Tests anzuzeigen. Dieser Bericht bietet eine detaillierte Übersicht über die wichtigsten fehlerhaften Tests in der Pipeline sowie die Fehlerdetails.

Test analytics detail view

Die detaillierte Ansicht enthält zwei Abschnitte:

  • Zusammenfassung:Stellt wichtige quantitative Metriken für die Tests bereit, die im Build oder Release über den angegebenen Zeitraum ausgeführt werden. Die Standardansicht zeigt Daten für 14 Tage an.

    • Durchlaufrate und Ergebnisse: Zeigt den Prozentsatz des Durchlaufszusammen mit der Verteilung der Tests auf verschiedene Ergebnisse an.

      View pass rate

    • Fehlgeschlagene Tests: Gibt eine eindeutige Anzahl von Tests an, die während des angegebenen Zeitraums fehlgeschlagen sind. Im obigen Beispiel stammen 986 Testfehler aus 124 Tests.

      View failing tests

    • Diagrammansicht: Ein Trend der Gesamten Testfehler und der durchschnittlichen Durchlaufrate an jedem Tag des angegebenen Zeitraums.

      View chart

  • Ergebnisse:Liste der wichtigsten fehlgeschlagenen Tests basierend auf der Gesamtzahl der Fehler. Hilft bei der Identifizierung problematischer Tests und ermöglicht ihnen einen Drilldown in eine detaillierte Zusammenfassung der Ergebnisse.

    View results.

Gruppierungstestfehler

Die Berichtsansicht kann mithilfe der Option Gruppieren nach auf verschiedene Weise organisiert werden. Das Gruppieren von Testergebnissen kann umfassende Einblicke in verschiedene Aspekte der tests mit den höchsten Fehler liefern. Im folgenden Beispiel werden die Testergebnisse basierend auf den Testdateien gruppiert, zu denen sie gehören. Es zeigt die Testdateien und ihren jeweiligen Beitrag zur Gesamtanzahl der Testfehler während des angegebenen Zeitraums an, damit Sie Ihre nächsten Schritte leicht identifizieren und priorisieren können. Darüber hinaus werden für jede Testdatei die Tests angezeigt, die zu diesen Fehlern beitragen.

Group by test files

Drilldown zu einzelnen Tests

Nachdem Sie einen oder mehrere Tests im Abschnitt Details identifiziert haben, wählen Sie den einzelnen Test aus, den Sie analysieren möchten. Dies bietet eine Drilldownansicht des ausgewählten Tests mit einem gestapelten Diagramm verschiedener Ergebnisse, z. B. bestandener oder fehlerhafter Instanzen des Tests, für jeden Tag im angegebenen Zeitraum. Mit dieser Ansicht können Sie ausgeblendete Muster ableiten und entsprechende Maßnahmen ergreifen.

Drill down for test

Die entsprechende Rasteransicht listet alle Instanzen der Ausführung des ausgewählten Tests während dieses Zeitraums auf.

View all test instances

Fehleranalyse

Um eine Fehleranalyse für die Grundursachen durchzuführen, wählen Sie eine oder mehrere Instanzen der Testausführung in der Drilldownansicht aus, um Fehlerdetails im Kontext anzuzeigen.

View failure details

Ableiten ausgeblendeter Muster

Wenn Sie sich die Testfehler für eine einzelne Instanz der Ausführung ansehen, ist es oft schwierig, ein Muster abzuleiten. Im folgenden Beispiel sind die Testfehler während eines bestimmten Zeitraums aufgetreten, und wenn Sie dies wissen, können Sie den Untersuchungsbereich eingrenzen.

Example of test failure pattern.

Ein weiteres Beispiel sind Tests, die nicht deterministisches Verhalten aufweisen (häufig als unzuverässige Testsbezeichnet). Das Betrachten einer einzelnen Instanz der Testausführung liefert möglicherweise keine aussagekräftigen Einblicke in das Verhalten. Die Beobachtung von Testausführungstrends für einen bestimmten Zeitraum kann jedoch dazu beitragen, verborgene Muster zu erkennen und die Fehler zu beheben.

Berichtinformationsquelle

Die Quelle der Informationen für die Testanalyse ist der Satz veröffentlichter Testergebnisse für die Build- oder Releasepipeline. Diese Ergebnisse werden über einen bestimmten Zeitraum gesammelt und bilden die Grundlage für die umfassenden Erkenntnisse, die die Testanalyse bietet.

Hilfe und Support