Testanalysen

Azure DevOps Services | Azure DevOps Server 2020 | Azure DevOps Server 2019

Die Überwachung der Testqualität im Laufe der Zeit und die Verbesserung von Testsicherheiten ist wichtig, um eine gesunde DevOps Pipeline beizubehalten. Testanalysen bieten eine nahezu echtzeitbezogene Sichtbarkeit in Ihre Testdaten für Builds und Versionen. Es hilft ihnen, die Effizienz Ihrer Pipeline zu verbessern, indem sie wiederholte, hohe Auswirkungen auf Qualitätsprobleme identifizieren.

Hinweis

Testanalysen sind derzeit nur mit Azure Pipelines verfügbar.

Lesen Sie das Glossar, um Die Terminologie von Testberichten zu verstehen.

Installieren der Analytics-Erweiterung bei Bedarf

Weitere Informationen finden Sie in der Analytics Marketplace-Erweiterung.

Anzeigen von Testanalysen für Builds

Um Teams dabei zu helfen, Tests zu finden und zu beheben, die häufig oder intermittativ fehlschlagen, verwenden Sie den Bericht über die top fehlgeschlagenen Tests . Die Buildzusammenfassung enthält die Analyseseite , auf der dieser Bericht gehostet wird. Die Ansicht auf oberster Ebene enthält eine Zusammenfassung der Testpassrate und Ergebnisse für die ausgewählte Buildpipeline für den angegebenen Zeitraum. Der Standardbereich beträgt 14 Tage.

View trends in build

Anzeigen von Testanalysen für Versionen

Für Tests, die im Rahmen der Version ausgeführt werden, greifen Sie auf Testanalysen aus dem Analytics-Link oben rechts. Wie beim Build stellt die Zusammenfassung eine aggregierte Ansicht der Testpassrate und -ergebnisse für den angegebenen Zeitraum bereit.

View trends in release

Testfehler

Öffnen Sie eine Build- oder Releasezusammenfassung, um den bericht über die wichtigsten fehlgeschlagenen Tests anzuzeigen. Dieser Bericht bietet eine detaillierte Ansicht der top fehlgeschlagenen Tests in der Pipeline zusammen mit den Fehlerdetails.

Test analytics detail view

Die detaillierte Ansicht enthält zwei Abschnitte:

  • Zusammenfassung: Stellt wichtige quantitative Metriken für die tests bereit, die im Build oder Release über den angegebenen Zeitraum ausgeführt werden. Die Standardansicht zeigt Daten für 14 Tage an.

    • Passrate und Ergebnisse: Zeigt den Passprozentsatz zusammen mit der Verteilung der Tests auf verschiedene Ergebnisse an.

      View pass rate

    • Fehlertests: Stellt eine eindeutige Anzahl von Tests bereit, die während des angegebenen Zeitraums fehlgeschlagen sind. Im obigen Beispiel stammen 986-Testfehler aus 124 Tests.

      View failing tests

    • Diagrammansicht: Ein Trend der Gesamttestfehler und der durchschnittliche Passrate an jedem Tag des angegebenen Zeitraums.

      View chart

  • Ergebnisse: Liste der top fehlgeschlagenen Tests basierend auf der Gesamtzahl der Fehler. Hilft ihnen, problematische Tests zu identifizieren und ihnen eine detaillierte Zusammenfassung der Ergebnisse zu ermöglichen.

    View results.

Gruppentestfehler

Die Berichtsansicht kann auf verschiedene Arten organisiert werden, indem Sie die Gruppe nach Option verwenden. Gruppieren von Testergebnissen können tiefe Einblicke in verschiedene Aspekte der top fehlgeschlagenen Tests bieten. Im folgenden Beispiel werden die Testergebnisse basierend auf den Testdateien gruppiert, zu denen sie gehören. Es zeigt die Testdateien und deren jeweiligen Beitrag zu der Gesamtanzahl der Testfehler, während des angegebenen Zeitraums, um Ihnen dabei zu helfen, Ihre nächsten Schritte einfach zu identifizieren und zu priorisieren. Darüber hinaus zeigt es für jede Testdatei die Tests an, die zu diesen Fehlern beitragen.

Group by test files

Drilldown zu einzelnen Tests

Nachdem Sie einen oder mehrere Tests im Abschnitt "Details " identifiziert haben, wählen Sie den einzelnen Test aus, den Sie analysieren möchten. Dies bietet eine Drilldownansicht des ausgewählten Tests mit einem gestapelten Diagramm verschiedener Ergebnisse, z. B. bestandene oder fehlgeschlagene Instanzen des Tests, für jeden Tag im angegebenen Zeitraum. Diese Ansicht hilft Ihnen, ausgeblendete Muster zu ziehen und aktionen entsprechend auszuführen.

Drill down for test

Die entsprechende Rasteransicht listet alle Instanzen der Ausführung des ausgewählten Tests in diesem Zeitraum auf.

View all test instances

Fehleranalyse

Wenn Sie Fehleranalyse für Stammursachen ausführen möchten, wählen Sie eine oder mehrere Instanzen der Testausführung in der Drilldownansicht aus, um Fehlerdetails im Kontext anzuzeigen.

View failure details

Ausblenden von ausgeblendeten Mustern

Wenn Sie sich die Testfehler für eine einzelne Instanz der Ausführung ansehen, ist es häufig schwierig, ein Muster zu erstellen. Im folgenden Beispiel treten die Testfehler während eines bestimmten Zeitraums auf, und dies kann dazu beitragen, den Umfang der Untersuchung einzuschränken.

Example of test failure pattern.

Ein weiteres Beispiel ist Tests, die nicht deterministisches Verhalten aufweisen (häufig als flaky Tests bezeichnet). Wenn Sie eine einzelne Instanz der Testausführung betrachten, werden möglicherweise keine aussagekräftigen Einblicke in das Verhalten bereitgestellt. Die Beobachtung von Testausführungstrends für einen Zeitraum kann jedoch dazu beitragen, ausgeblendete Muster zu abgeleitet und Ihnen dabei zu helfen, die Fehler zu beheben.

Berichtsinformationsquelle

Die Quelle von Informationen für Testanalysen ist der Satz der veröffentlichten Testergebnisse für die Build- oder Releasepipeline. Diese Ergebnisse werden über einen Zeitraum aufgelaufen und bilden die Grundlage der umfassenden Erkenntnisse, die Testanalysen bieten.

Hilfe und Support