Informationen zu Pipelinetests

  • Artikel
  • 2 Minuten Lesedauer

Azure DevOps Services | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018

In diesem Artikel werden häufig verwendete Begriffe beschrieben, die in Pipelinetestberichten und Testanalysen verwendet werden.

Hinweis

In Microsoft Team Foundation Server (TFS) 2018 und früheren Versionen werden Build- und Release-Pipelines als Definitionen bezeichnet, Ausführungen werden als Builds bezeichnet, Dienstverbindungen werden als Dienstendpunkte bezeichnet, Stages werden als Umgebungen bezeichnet und Aufträge werden als Phasen bezeichnet.

Begriff Definition
Dauer Zeitverstrichen in Ausführung eines Tests, Testlaufs oder vollständiger Testausführung in einer Build- oder Releasepipeline.
Besitzer Besitzer eines Test- oder Testlaufs. Der Testbesitzer wird in der Regel als Attribut im Testcode angegeben. Lesen Sie die Aufgabe "Testergebnisse veröffentlichen", um die Zuordnung des Besitzerattributes für unterstützte Testergebnisformate anzuzeigen.
Fehler beim Build Verweisen Sie auf den Build mit dem ersten Auftreten von aufeinander folgenden Fehlern eines Testfalls .
Fehlgeschlagene Version Verweisen auf die Version mit dem ersten Auftreten von aufeinander folgenden Fehlern eines Testfalles.
Ergebnis Es gibt 15 mögliche Ergebnisse für ein Testergebnis: Abgebrochen, Blockiert, Fehler, Fehler, Fehlgeschlagen, Inkonklusive, In Progress, Keine, Nicht anwendbar, Nicht anwendbar, Nicht ausgeführt, Nicht beeinträchtigt, übergeben, angehalten, Timeout, nicht angegeben und Warnung.
Einige der häufig verwendeten Ergebnisse sind:
- Abgebrochen: Die Ausführung wird aufgrund interner oder externer Faktoren, z. B. schlechtem Code, Umgebungsproblemen, plötzlich beendet.
- Fehler: Testen Sie nicht das gewünschte Ergebnis.
- Inkonklusive: Test ohne endgültiges Ergebnis.
- Nicht ausgeführt: Test, der als übersprungen für die Ausführung markiert ist.
- Nicht betroffen: Testen Sie nicht durch die Codeänderung, die die Pipeline ausgelöst hat.
- Übergeben: Erfolgreich ausgeführter Test.
- Timeout: Testausführungsdauer über dem angegebenen Schwellenwert.
Flakiger Test Ein Test mit nicht deterministischem Verhalten. Der Test kann beispielsweise zu unterschiedlichen Ergebnissen für dieselbe Konfiguration, Code oder Eingaben führen.
Filter Mechanismus zum Suchen nach den Testergebnissen innerhalb des Ergebnissatzes mithilfe der verfügbaren Attribute. Weitere Informationen
Gruppierung Hilfe zum Organisieren der Testergebnisseansicht basierend auf verfügbaren Attributen wie Anforderung, Testdateien, Priorität und mehr. Sowohl Testbericht als auch Testanalysen unterstützen die Gruppierung von Testergebnissen.
Prozentsatz übergeben Maß für den Erfolg des Testergebnisses für eine einzelne Instanz der Ausführung oder über einen Zeitraum.
Priority Gibt den Wichtigkeitsgrad oder die kritische Bedeutung eines Tests an. Die Priorität wird in der Regel als Attribut im Testcode angegeben. Lesen Sie die Aufgabe "Testergebnisse veröffentlichen", um die Zuordnung des Prioritätsattributes für unterstützte Testergebnisformate anzuzeigen.
Testanalyse Eine Ansicht der historischen Testdaten , um aussagekräftige Einblicke bereitzustellen.
Testfall Identifiziert eindeutig einen einzelnen Test innerhalb der angegebenen Verzweigung.
Testdateien Gruppentests basierend auf der Art und Weise, wie sie verpackt werden; z. B. Dateien, DLLs oder andere Formate.
Testbericht Eine Ansicht der einzelnen Instanz der Testausführung in der Pipeline, die Details zum Status und Hilfe zur Problembehandlung, Ablaufverfolgung und mehr enthält.
Testergebnis Einzelne Instanz der Ausführung eines Testfalls mit einem bestimmten Ergebnis und Details.
Testlauf Logische Gruppierung der Testergebnisse basierend auf:
- Test, der mit integrierten Vorgängen ausgeführt wird: Alle Tests, die mithilfe einer einzelnen Aufgabe ausgeführt werden, z. B. Visual Studio Test, Ant, Maven, Gulp, Grunt oder Xcode, werden unter einem einzelnen Testlauf gemeldet.
- Ergebnisse, die mit der Aufgabe "Testergebnisse veröffentlichen" veröffentlicht wurden: Stellt eine Option bereit, alle Testergebnisse aus einer oder mehreren Testergebnissen in eine einzelne Ausführung oder einzelne Ausführung pro Datei zu gruppieren.
- Tests ergebnisse, die mit API(s) veröffentlicht wurden: API(s) bieten die Flexibilität, Testläufe zu erstellen und Testergebnisse für jede Ausführung nach Bedarf zu organisieren.
Rückverfolgbarkeit Möglichkeit , einen Anforderungs-, Fehler- oder Quellcode von einem Testergebnis nach vorne oder zurückzuverfolgen.

Hilfe und Support