Informationen zu Pipelinetests

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2019 | TFS 2018

In diesem Artikel werden häufig verwendete Begriffe beschrieben, die in Pipelinetestberichten und Testanalysen verwendet werden.

Hinweis

Microsoft Visual Studio Team Foundation Server 2018 und frühere Versionen haben die folgenden Unterschiede in der Namensgebung:

  • Pipelines für Build und Release werden Definitionen genannt
  • Läufe werden als builds bezeichnet
  • Dienstverbindungen werden als Dienstendpunkte bezeichnet
  • Die Stages werden Environments genannt
  • Die Jobs werden Phases genannt
Begriff Definition
Duration In einer Build- oder Releasepipeline bei der Ausführung eines Tests, eines Testlaufs oder einer gesamten Testausführung verstrichene Zeit .
Besitzer Besitzer eines Tests oder Testlaufs. Der Testbesitzer wird in der Regel als Attribut im Testcode angegeben. Weitere Informationen zur Zuordnung des Besitzerattributs für unterstützte Testergebnisformate finden Sie im Artikel zur Aufgabe Testergebnisse veröffentlichen.
Buildfehler Verweis auf den Build, bei dem in einer Reihe aufeinander folgender Fehlschläge eines Testfalls zum ersten Mal ein Fehler aufgetreten ist.
Releasefehler Verweis auf den Release, bei dem in einer Reihe aufeinander folgender Fehlschläge eines Testfalls zum ersten Mal ein Fehler aufgetreten ist.
Ergebnis Es gibt 15 mögliche Ergebnisse für ein Testergebnis: Abgebrochen, Blockiert, Fehler, Fehlgeschlagen, Nicht eindeutig, Wird ausgeführt, Keine, Nicht zutreffend, Nicht ausgeführt, Nicht betroffen, Erfolgreich, Angehalten, Zeitüberschreitung, Nicht angegeben und Warnung.
Einige häufige Ergebnisse sind:
- Abgebrochen: Die Testausführung wurde aufgrund interner oder externer Faktoren wie fehlerhaftem Code oder Umgebungsproblemen abrupt beendet.
- Fehlgeschlagen: Test hat das gewünschte Ergebnis nicht erreicht.
- Nicht eindeutig: Test ohne gesichertes Ergebnis.
- Nicht ausgeführt: Die Ausführung des Tests wurde als übersprungen markiert.
- Nicht betroffen: Test war nicht von der Codeänderung betroffen, die die Pipeline ausgelöst hat.
- Erfolgreich: Der Test wurde erfolgreich ausgeführt.
- Zeitüberschreitung: Testausführungsdauer hat den angegebenen Schwellenwert überschritten.
Unzuverlässiger Test Ein Test mit nicht deterministischem Verhalten. Beispielsweise kann der Test für die gleiche Konfiguration, denselben Code oder die gleichen Eingaben zu unterschiedlichen Ergebnissen führen.
Filter Mechanismus zum Suchen nach den Testergebnissen im Ergebnissatz unter Verwendung der verfügbaren Attribute. Weitere Informationen
Gruppierung Eine Hilfe zum Organisieren der Testergebnisansicht auf Basis der verfügbaren Attribute wie Anforderung, Testdateien, Priorität und mehr. Sowohl Testberichte als auch Testanalysen bieten Unterstützung für das Gruppieren von Testergebnissen.
Erfolgsquote Maß für den Erfolg des Testergebnisses für eine einzelne Instanz der Ausführung oder über einen bestimmten Zeitraum.
Priority Gibt den Grad der Wichtigkeit oder Bedeutsamkeit eines Tests an. Die Priorität wird in der Regel als Attribut im Testcode angegeben. Weitere Informationen zur Zuordnung des Prioritätsattributs für unterstützte Testergebnisformate finden Sie im Artikel zur Aufgabe Testergebnisse veröffentlichen.
Testanalysen Eine Ansicht des Testdatenverlaufs, die aussagekräftige Erkenntnisse ermöglicht.
Testfall Identifiziert eindeutig einen einzelnen Test innerhalb des angegebenen Branches.
Testdateien Gruppentests basierend auf der Art und Weise, wie sie verpackt werden; z. B. Dateien, DLLs oder andere Formate.
Testbericht Eine Ansicht einer einzelnen Instanz der Testausführung in der Pipeline, die Details zum Status und Hilfe zu Problembehandlung, Nachverfolgbarkeit und mehr enthält.
Testergebnis Einzelne Instanz der Ausführung eines Testfalls mit einem bestimmten Ergebnis und Details.
Testlauf Logische Gruppierung von Testergebnissen basierend auf:
- Mit integrierten Aufgaben ausgeführter Test: Alle Tests, die mit einer einzelnen Aufgabe wie Visual Studio Test, Ant, Maven, Gulp, Grunt oder Xcode ausgeführt wurden, werden in einem einzelnen Testlauf gemeldet
- Mithilfe der Aufgabe Testergebnisse veröffentlichen veröffentlichte Ergebnisse: Bietet eine Option zum Gruppieren aller Testergebnisse aus einer oder mehreren Testergebnisdateien in eine einzelne Ausführung oder einzelne Ausführungen pro Datei
- Testergebnisse, die mithilfe von API(s) veröffentlicht wurden: API(s) bieten die Flexibilität, Testläufe zu erstellen und Testergebnisse für jede Ausführung nach Bedarf zu organisieren.
Nachverfolgbarkeit Möglichkeit, anhand eines Testergebnisses eine Anforderung, einen Fehler oder Quellcode vorwärts oder rückwärts zu verfolgen .

Hilfe und Support