Testanalysen
Azure DevOps Services | Azure DevOps Server 2020 | Azure DevOps Server 2019
Die Überwachung der Testqualität im Laufe der Zeit und die Verbesserung von Testsicherheiten ist wichtig, um eine gesunde DevOps Pipeline beizubehalten. Testanalysen bieten eine nahezu echtzeitbezogene Sichtbarkeit in Ihre Testdaten für Builds und Versionen. Es hilft ihnen, die Effizienz Ihrer Pipeline zu verbessern, indem sie wiederholte, hohe Auswirkungen auf Qualitätsprobleme identifizieren.
Hinweis
Testanalysen sind derzeit nur mit Azure Pipelines verfügbar.
Lesen Sie das Glossar, um Die Terminologie von Testberichten zu verstehen.
Installieren der Analytics-Erweiterung bei Bedarf
Weitere Informationen finden Sie in der Analytics Marketplace-Erweiterung.
Anzeigen von Testanalysen für Builds
Um Teams dabei zu helfen, Tests zu finden und zu beheben, die häufig oder intermittativ fehlschlagen, verwenden Sie den Bericht über die top fehlgeschlagenen Tests . Die Buildzusammenfassung enthält die Analyseseite , auf der dieser Bericht gehostet wird. Die Ansicht auf oberster Ebene enthält eine Zusammenfassung der Testpassrate und Ergebnisse für die ausgewählte Buildpipeline für den angegebenen Zeitraum. Der Standardbereich beträgt 14 Tage.
Anzeigen von Testanalysen für Versionen
Für Tests, die im Rahmen der Version ausgeführt werden, greifen Sie auf Testanalysen aus dem Analytics-Link oben rechts. Wie beim Build stellt die Zusammenfassung eine aggregierte Ansicht der Testpassrate und -ergebnisse für den angegebenen Zeitraum bereit.
Testfehler
Öffnen Sie eine Build- oder Releasezusammenfassung, um den bericht über die wichtigsten fehlgeschlagenen Tests anzuzeigen. Dieser Bericht bietet eine detaillierte Ansicht der top fehlgeschlagenen Tests in der Pipeline zusammen mit den Fehlerdetails.
Die detaillierte Ansicht enthält zwei Abschnitte:
Zusammenfassung: Stellt wichtige quantitative Metriken für die tests bereit, die im Build oder Release über den angegebenen Zeitraum ausgeführt werden. Die Standardansicht zeigt Daten für 14 Tage an.
Passrate und Ergebnisse: Zeigt den Passprozentsatz zusammen mit der Verteilung der Tests auf verschiedene Ergebnisse an.
Fehlertests: Stellt eine eindeutige Anzahl von Tests bereit, die während des angegebenen Zeitraums fehlgeschlagen sind. Im obigen Beispiel stammen 986-Testfehler aus 124 Tests.
Diagrammansicht: Ein Trend der Gesamttestfehler und der durchschnittliche Passrate an jedem Tag des angegebenen Zeitraums.
Ergebnisse: Liste der top fehlgeschlagenen Tests basierend auf der Gesamtzahl der Fehler. Hilft ihnen, problematische Tests zu identifizieren und ihnen eine detaillierte Zusammenfassung der Ergebnisse zu ermöglichen.
Gruppentestfehler
Die Berichtsansicht kann auf verschiedene Arten organisiert werden, indem Sie die Gruppe nach Option verwenden. Gruppieren von Testergebnissen können tiefe Einblicke in verschiedene Aspekte der top fehlgeschlagenen Tests bieten. Im folgenden Beispiel werden die Testergebnisse basierend auf den Testdateien gruppiert, zu denen sie gehören. Es zeigt die Testdateien und deren jeweiligen Beitrag zu der Gesamtanzahl der Testfehler, während des angegebenen Zeitraums, um Ihnen dabei zu helfen, Ihre nächsten Schritte einfach zu identifizieren und zu priorisieren. Darüber hinaus zeigt es für jede Testdatei die Tests an, die zu diesen Fehlern beitragen.
Drilldown zu einzelnen Tests
Nachdem Sie einen oder mehrere Tests im Abschnitt "Details " identifiziert haben, wählen Sie den einzelnen Test aus, den Sie analysieren möchten. Dies bietet eine Drilldownansicht des ausgewählten Tests mit einem gestapelten Diagramm verschiedener Ergebnisse, z. B. bestandene oder fehlgeschlagene Instanzen des Tests, für jeden Tag im angegebenen Zeitraum. Diese Ansicht hilft Ihnen, ausgeblendete Muster zu ziehen und aktionen entsprechend auszuführen.
Die entsprechende Rasteransicht listet alle Instanzen der Ausführung des ausgewählten Tests in diesem Zeitraum auf.
Fehleranalyse
Wenn Sie Fehleranalyse für Stammursachen ausführen möchten, wählen Sie eine oder mehrere Instanzen der Testausführung in der Drilldownansicht aus, um Fehlerdetails im Kontext anzuzeigen.
Ausblenden von ausgeblendeten Mustern
Wenn Sie sich die Testfehler für eine einzelne Instanz der Ausführung ansehen, ist es häufig schwierig, ein Muster zu erstellen. Im folgenden Beispiel treten die Testfehler während eines bestimmten Zeitraums auf, und dies kann dazu beitragen, den Umfang der Untersuchung einzuschränken.
Ein weiteres Beispiel ist Tests, die nicht deterministisches Verhalten aufweisen (häufig als flaky Tests bezeichnet). Wenn Sie eine einzelne Instanz der Testausführung betrachten, werden möglicherweise keine aussagekräftigen Einblicke in das Verhalten bereitgestellt. Die Beobachtung von Testausführungstrends für einen Zeitraum kann jedoch dazu beitragen, ausgeblendete Muster zu abgeleitet und Ihnen dabei zu helfen, die Fehler zu beheben.
Berichtsinformationsquelle
Die Quelle von Informationen für Testanalysen ist der Satz der veröffentlichten Testergebnisse für die Build- oder Releasepipeline. Diese Ergebnisse werden über einen Zeitraum aufgelaufen und bilden die Grundlage der umfassenden Erkenntnisse, die Testanalysen bieten.
Hilfe und Support
- Siehe unsere Seite zur Problembehandlung
- Erhalten Sie Beratung zu Stack Overflow, und erhalten Sie Unterstützung über die Entwicklercommunity