Überprüfen der Testergebnisse

Azure Pipelines | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018 - TFS 2015

Automatisierte Tests können so konfiguriert werden, dass sie als Teil eines Build- oder Release für verschiedene Sprachen ausgeführt werden. Testberichte bieten eine effektive und konsistente Möglichkeit zum Anzeigen der Testergebnisse, die mit verschiedenen Testframeworks ausgeführt werden, um die Pipelinequalität zu messen, die Nachverfolgbarkeit zu überprüfen, Fehler zu beheben und den Besitz von Fehlern zu fördern. Darüber hinaus bietet es viele erweiterte Berichterstellungsfunktionen, die in den folgenden Abschnitten untersucht werden.

Sie können auch eine tiefere Analyse der Testergebnisse durchführen, indem Sie den Analytics-Dienst verwenden. Ein Beispiel für die Verwendung mit Ihren Build- und Bereitstellungspipelines finden Sie unter Analysieren von Testergebnissen.

Lesen Sie das Glossar, um die Terminologie von Testberichten zu verstehen.

Hinweis

Der Testbericht ist in TFS 2015 und höher verfügbar, aber die in diesem Thema beschriebene neue Beerfahrung ist derzeit nur in Azure Pipelines.

Hinweis

In Microsoft Team Foundation Server (TFS) 2018 und früheren Versionen werden Build- und Release-Pipelines als Definitionen bezeichnet, Ausführungen werden als Builds bezeichnet, Dienstverbindungen werden als Dienstendpunkte bezeichnet, Stages werden als Umgebungen bezeichnet und Aufträge werden als Phasen bezeichnet.

Veröffentlichte Testergebnisse können auf der Registerkarte Tests in einer Build- oder Releasezusammenfassung angezeigt werden.

Ergebnisse des Oberflächentests auf der Registerkarte "Tests"

Testergebnisse können mithilfe einer der folgenden Optionen auf der Registerkarte Tests angezeigt werden:

  • Automatisch abgeleitete Testergebnisse. Standardmäßig kann Ihre Pipeline die Testausgabe für einige beliebte Test Runner automatisch abgeleitet. Hierzu werden die während des Buildvorgang generierten Fehlerprotokolle und anschließende Überprüfung auf Signaturen von Testfehlern überprüft. Derzeit unterstützt Azure DevOps die folgenden Sprachen und Test Runner, um die Testergebnisse automatisch abgeleitet zu können:

  • Testausführungsaufgaben. Integrierte Testausführungsaufgaben wie Visual Studio Test, mit denen Testergebnisse automatisch in der Pipeline veröffentlicht werden, oder andere Aufgaben wie Ant,Maven,Gulp,Gruntund Xcode, die diese Funktion als Option innerhalb der Aufgabe bereitstellen.

  • Veröffentlichen Testergebnisse Aufgabe. Aufgabe, die Testergebnisse in Azure Pipelines oder TFS veröffentlicht, wenn Tests mit der Wahl des Runners ausgeführt werden und Ergebnisse in einem der unterstützten Testergebnisformate verfügbar sind.

  • API(n). Testergebnisse, die direkt mithilfe der Test-Verwaltungs-API veröffentlicht werden.

Oberflächentestinformationen über die Registerkarte "Tests" hinaus

Die Registerkarte Tests enthält eine ausführliche Zusammenfassung der Testausführung. Dies ist hilfreich bei der Nachverfolgung der Qualität der Pipeline sowie bei der Problembehandlung von Fehlern. Azure DevOps bietet auch andere Möglichkeiten zum Anzeigen der Testinformationen:

  • Das Dashboard bietet Einblick in den Fortschritt Ihres Teams. Fügen Sie ein oder mehrere Widgets hinzu, die testbezogene Informationen anzeigen:

  • Testanalysen bieten umfassende Einblicke in Testergebnisse, die über einen bestimmten Zeitraum gemessen werden. Sie kann helfen, problematische Bereiche in Ihrem Test zu identifizieren, indem Sie Daten wie die tests mit den wichtigsten Fehler und mehr bereitstellen.

Anzeigen von Testergebnissen im Build

Die Buildzusammenfassung bietet eine Zeitachsenansicht der wichtigsten Schritte, die im Build ausgeführt werden. Wenn Tests als Teil des Build ausgeführt und gemeldet wurden, wird ein Test-Meilenstein in der Zeitachsenansicht angezeigt. Der Test-Meilenstein enthält eine Zusammenfassung der Testergebnisse als Maß für den Durchlaufprozentsatz sowie Indikatoren für Fehler und Abbruch, sofern vorhanden.

View test in build timeline view

Anzeigen der Testergebnisse im Release

In der Pipelineansicht werden alle Phasen und die zugehörigen Tests angezeigt. Die Ansicht enthält eine Zusammenfassung der Testergebnisse als Maß für den Durchlaufprozentsatz sowie Indikatoren für Fehler und Abbruch, sofern vorhanden. Diese Indikatoren sind identisch mit in der Buildzeitachsenansicht und bieten eine konsistente Erfahrung in Build und Release.

View test in release canvas view

Registerkarte "Tests"

Sowohl die Build- als auch die Releasezusammenfassung enthalten Details zur Testausführung. Wählen Sie Testzusammenfassung aus, um die Details auf der Registerkarte Tests anzuzeigen. Diese Seite enthält die folgenden Abschnitte:

  • Zusammenfassung:Bietet wichtige quantitative Metriken für die Testausführung, z. B. die Gesamtanzahl der Tests, fehlgeschlagene Tests, den Bestandensprozentsatz und mehr. Sie bietet auch differenzielle Indikatoren für Änderungen im Vergleich zur vorherigen Ausführung.

  • Ergebnisse:Listet alle Tests auf, die im Rahmen des aktuellen Build oder Release ausgeführt und gemeldet wurden. In der Standardansicht werden nur die fehlgeschlagenen und abgebrochenen Tests angezeigt, um sich auf Tests zu konzentrieren, die Aufmerksamkeit erfordern. Sie können jedoch andere Ergebnisse mithilfe der bereitgestellten Filter auswählen.

  • Details:Eine Liste von Tests, die Sie sortieren, gruppiert, suchen und filtern können, um die benötigten Testergebnisse zu finden.

View tests tab

Wählen Sie einen beliebigen Testlauf oder ein Ergebnis aus, um den Detailbereich anzuzeigen, in dem zusätzliche Informationen angezeigt werden, die für die Problembehandlung erforderlich sind, z. B. Fehlermeldung, Stapelüberwachung, Anlagen, Arbeitselemente, Verlaufstrends und mehr.

View details tab

Tipp

Wenn Sie den Visual Studio-Test-Task zum Ausführen von Tests verwenden, wird die aus Tests protokollierte Diagnoseausgabe (mithilfe einer der Methoden Console.WriteLine, Trace.WriteLine oder TestContext.WriteLine) als Anlage für einen fehlgeschlagenen Test angezeigt.

Die folgenden Funktionen der Registerkarte Tests tragen zur Verbesserung der Produktivität und Problembehandlung bei.

Filtern von großen Testergebnissen

Im Laufe der Zeit werden Tests gesammelt, und bei großen Anwendungen können sie leicht auf Zehntausende von Tests anwachsen. Für diese Anwendungen mit sehr vielen Tests kann es schwierig sein, durch die Ergebnisse zu navigieren, um Testfehler zu identifizieren, Grundursachen zu zuordnen oder den Besitz von Problemen zu erhalten. Filter erleichtern es Ihnen, schnell zu den Testergebnissen zu navigieren, die Sie interessieren. Sie können nach Testname,Ergebnis (fehlgeschlagen, bestanden und mehr), Testdateien (Dateien mit Tests) und Besitzer (für Testdateien) filtern. Alle Filterkriterien sind kumulativ.

Filter large test result set

Darüber hinaus können Sie mit mehreren Gruppierungsoptionen wie Testlauf,Testdatei,Priorität,Anforderungund mehr die Ergebnisansicht genau nach Bedarf organisieren.

Testen der Verwaltung von Schulden mit Fehlern

Um Ihre Testlasten für fehlerhafte oder lang ausgeführte Tests zu verwalten, können Sie einen Fehler erstellen oder daten zu einem vorhandenen Fehler hinzufügen und alle zugehörigen Arbeitselemente auf der Registerkarte "Arbeitselement" anzeigen.

Immersive Problembehandlung

Fehlermeldungen und Stapelüberwachungen sind langwierig und benötigen ausreichend Platz, um die Details während der Problembehandlung anzuzeigen. Um eine immersive Problembehandlung zu ermöglichen, kann die Detailansicht auf die vollständige Seitenansicht erweitert werden, während gleichzeitig die erforderlichen Vorgänge im Kontext durchgeführt werden können, z. B. Fehlererstellung oder Anforderungserstellung für das ausgewählte Testergebnis.

Full page panel view

Problembehandlung bei Testfehlern

Für die Testfehler stehen die Fehlermeldungen und Stapelüberwachungen zur Problembehandlung zur Verfügung. Sie können auch alle Anlagen anzeigen, die dem Testfehler auf der Registerkarte Anlagen zugeordnet sind.

Testen der Verwaltung von Schulden

Sie können einen vorhandenen Fehler erstellen oder hinzufügen, um Test-Schulden für Fehler oder Tests mit langer Ausführungslauf zu verwalten. Auf der Registerkarte Arbeitselemente werden alle Fehler und Anforderungen im Zusammenhang mit einem Test angezeigt, damit Sie die Auswirkungen der Anforderung analysieren sowie den Status und die Person analysieren können, die an dem Fehler arbeitet.

Der Verlauf der Testausführung kann aussagekräftige Einblicke in die Zuverlässigkeit oder Leistung von Tests liefern. Bei der Problembehandlung eines Fehlers ist es wichtig zu wissen, wie ein Test in der Vergangenheit durchgeführt wurde. Auf der Registerkarte Tests wird der Testverlauf im Kontext mit den Testergebnissen angezeigt. Die Testverlaufsinformationen werden auf progressive Weise verfügbar gemacht, beginnend mit der aktuellen Buildpipeline für andere Verzweigungen bzw. die aktuelle Phase für andere Phasen für build bzw. release.

View historical trends

Anzeigen der Ausführung von in Bearbeitung ausgeführten Tests

Tests wie Integrations- und Funktionstests können über einen längeren Zeitraum ausgeführt werden. Daher ist es wichtig, den aktuellen oder nahezu in Echtzeit ausgeführten Status der Testausführung zu einem beliebigen Zeitpunkt anzuzeigen. Selbst in Fällen, in denen Tests schnell ausgeführt werden, ist es hilfreich, den Status der relevanten Testergebnisse so früh wie möglich zu kennen. dies gilt insbesondere dann, wenn Fehler auftreten. In der Ansicht In Bearbeitung ist es nicht mehr notwendig, auf den Abschluss der Testausführung zu warten. Die Ergebnisse sind nahezu in Echtzeit im Verlauf der Ausführung verfügbar, damit Sie schneller Maßnahmen ergreifen können. Sie können einen Fehler debuggen, einen Fehler melden oder die Pipeline abbrechen.

In progress release view

Hinweis

Das Feature ist derzeit sowohl für build als auch für release verfügbar, indem Visual Studio Testtask in einem Multi-Agent-Auftrag verwendet wird. Sie wird in einem zukünftigen Release für Einzel-Agent-Aufträge verfügbar sein.

In der folgenden Ansicht wird die Testzusammenfassung in einem Release angezeigt, in der die Gesamtanzahl der Tests und die Anzahl der Testfehler zu einem bestimmten Zeitpunkt angegeben werden. Die Testfehler stehen zur Problembehandlung, zum Erstellen von Fehlern oder zum Ergreifen anderer geeigneter Maßnahmen zur Verfügung.

In progress summary view

Anzeigen zusammengefasster Testergebnisse

Während der Testausführung kann ein Test mehrere Instanzen oder Tests zur Folge haben, die zum Gesamtergebnis beitragen. Beispiele hierfür sind tests, die erneut durchgeführt werden, Tests, die aus einer geordneten Kombination anderer Tests (geordnete Tests) bestehen, oder Tests mit unterschiedlichen Instanzen, die auf einem Eingabeparameter basieren (datengesteuerte Tests).

Da diese Tests miteinander verknüpft sind, müssen sie zusammen mit dem Gesamtergebnis gemeldet werden, das von den einzelnen Instanzen oder Tests abgeleitet wurde. Diese Testergebnisse werden auf der Registerkarte Tests als zusammengefasstes Testergebnis gemeldet:

  • Fehlgeschlagene Tests erneut ausführen:Die Möglichkeit, fehlgeschlagene Tests erneut auszuführen, ist in der neuesten Version des Visual Studio Test-Task verfügbar. Während einer erneuten Testläufe können mehrere Versuche für einen fehlgeschlagenen Test unternommen werden, und jeder Fehler kann aufgrund des nicht deterministischen Verhaltens des Tests eine andere Grundursache haben. Testberichte bieten eine kombinierte Ansicht für alle Versuche einer erneuten Testläufe sowie das Gesamttestergebnis als zusammengefasste Einheit. Darüber hinaus unterstützen Verwaltungs-API Testergebnisse jetzt die Möglichkeit, zusammengefasste Testergebnisse zu veröffentlichen und abfragen.

    Rerun failed tests

  • Datengesteuerte Tests:Ähnlich wie bei der erneuten Wiederholung fehlgeschlagener Tests werden alle Iterationen von datengesteuerten Tests unter diesem Test in einer zusammengefassten Ansicht gemeldet. Die zusammengefasste Ansicht ist auch für geordnete Tests verfügbar (.orderedtest in Visual Studio).

    Data driven test

Hinweis

Metriken im Abschnitt "Testzusammenfassung", z. B. die Gesamtzahl der erfolgreichen, fehlgeschlagenen oder anderen Tests, werden mithilfe der Stammebene des zusammengefassten Testergebnisses berechnet.

Anzeigen abgebrochener Tests

Die Testausführung kann aus verschiedenen Gründen abgebrochen werden, z. B. aufgrund von fehlerhaftem Testcode, Fehlern in der zu testden Quelle oder Umgebungsproblemen. Unabhängig vom Grund für den Abbruch ist es wichtig, in der Lage zu sein, das Verhalten zu diagnostizieren und die Grundursache zu identifizieren. Die abgebrochenen Tests und Testläufe können zusammen mit den abgeschlossenen Läufen auf der Registerkarte Tests angezeigt werden.

View stopped tests.

Hinweis

Das Feature ist derzeit sowohl für den Build als auch für das Release verfügbar, indem der Visual Studio-Testtask in einem Multi-Agent-Auftrag verwendet oder Testergebnisse mithilfe der Test-Verwaltungs-API veröffentlicht werden. Sie wird in einem zukünftigen Release für Einzel-Agent-Aufträge verfügbar sein.

Automatisch abgeleitete Testergebnisse

Azure DevOps kann die Ausgabe von Tests, die in Ihren Pipelines für einige unterstützte Testframeworks ausgeführt werden, automatisch abgeleitet werden. Diese automatisch abgeleiteten Testberichte erfordern keine bestimmte Konfiguration Ihrer Pipelines und sind eine zero-effort-Methode für den Einstieg in die Testberichterstellung.

Example of an Automatically Inferred Test Report

Sehen Sie sich die Liste der Runner an, für die Testergebnisse automatisch abgeleitet werden.

Da nur eingeschränkte Testmetadaten in abgeleiteten Berichten vorhanden sind, sind sie in Features und Funktionen eingeschränkt. Die folgenden Features sind für abgeleitete Testberichte nicht verfügbar:

  • Grupping der Testergebnisse nach Testdatei, Besitzer, Priorität und anderen Feldern
  • Suchen und Filtern der Testergebnisse
  • Überprüfen der Details bestandener Tests
  • Anzeigen einer Vorschau von Anlagen, die während der Tests innerhalb der Webbenutzeroberfläche selbst generiert wurden
  • Ordnen Sie einen Testfehler einem neuen Fehler zu, oder sehen Sie sich die Liste der zugeordneten Arbeitselemente für diesen Fehler an.
  • Informationen zum Testen in der Build-on-Build-Analyse finden Pipelines

Hinweis

Einige Runner wie Mocha verfügen über mehrere integrierte Konsolen-Reporter wie dot-matrix und progress-bar. Wenn Sie eine nicht standardmäßige Konsolenausgabe für Ihren Test Runner konfiguriert haben oder einen benutzerdefinierten Reporter verwenden, kann Azure DevOps die Testergebnisse nicht ablesen. Die Ergebnisse können nur vom Standardberichtserner abgeleitet werden.

Hilfe und Support