Wiederholen eines Tests mit unterschiedlichen Daten

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2019

Fügen Sie Ihrem manuellen Test Parameter hinzu, um den Test mit unterschiedlichen Testdaten zu wiederholen. Sie können z. B. das Hinzufügen verschiedener Mengen zu einem Einkaufswagen aus Mengen von 1, 5, 10 oder 200 testen.

Fügen Sie Parameter in Ihre Testschritte für einen manuellen Testfall ein. Stellen Sie dann eine Tabelle mit Parameterwerten bereit. Sie können freigegebene Parameter hinzufügen, um Fälle zu testen oder Parameter zu konvertieren, die Sie kürzlich in freigegebene Parameter eingefügt haben. Freigegebene Schritte und freigegebene Parameter sind unterschiedliche Arbeitsaufgabentypen, die für mehrere Testfälle freigegeben werden können. Sie sind mit Testfällen über die "Test cases-Shared Steps " und "Referenced By-References "-Verknüpfungstypen verknüpft, wie in der folgenden Abbildung dargestellt.

Diagramm zeigt freigegebene Schritte, die mit dem Testfall verbunden sind, der auch mit freigegebenen Parametern verbunden ist.

Mit freigegebenen Schritten und freigegebenen Parametern können Sie mehrere Testfälle mit denselben Daten ausführen.

Voraussetzungen

Sie müssen über die folgenden Berechtigungen und Zugriffsstufen verfügen:

  • Einfacher Zugriff oder höher und Berechtigungen zum Anzeigen von Arbeitsaufgaben unter dem entsprechenden Bereichspfad. Weitere Informationen finden Sie unter Hinzufügen von Benutzern zu einem Projekt oder Team.
  • Zugriffsebene "Basic + TestPläne ", um Testpläne und Testsammlungen hinzuzufügen, Testartefakte zu löschen und Testkonfigurationen zu definieren. Sie können auch über eines der folgenden Visual Studio-Abonnements verfügen:
  • Sie müssen über die folgenden Berechtigungen verfügen:Um testbezogene Artefakte hinzuzufügen oder zu bearbeiten,
    • Bearbeiten Sie Arbeitsaufgaben in diesem Knotenberechtigungssatz auf "Zulassen " unter dem entsprechenden Bereichspfad, um Testpläne, Testsammlungen, Testfälle oder andere testbasierte Arbeitsaufgabentypen hinzuzufügen oder zu ändern.
    • Berechtigungssatz "Testpläne verwalten" auf "Zulassen" unter dem entsprechenden Bereichspfad, um Testplaneigenschaften wie Build- und Testeinstellungen zu ändern.
    • Verwalten Sie die Berechtigung "Testsuiten", die unter dem entsprechenden Bereichspfad zulässig ist, um Testsuiten zu erstellen und zu löschen, Testfälle aus Testsammlungen hinzuzufügen und zu entfernen, Testkonfigurationen zu ändern, die testsuiten zugeordnet sind, und eine Testsuitehierarchie zu ändern (Verschieben einer Testsuite).

Weitere Informationen finden Sie unter "Manueller Testzugriff und Berechtigungen".

Hinzufügen von Parametern zu einem Testfall

Führen Sie die folgenden Schritte aus, um Ihren Tests Parameter hinzuzufügen.

  1. Erstellen Sie einen Parameter, indem Sie einen Namen eingeben, der "" in den Aktionen und erwarteten Ergebnissen Ihrer Testschritte vorausgeht@.

    Screenshot zeigt, wie Parameternamen und Werte eingegeben werden.

  2. Fügen Sie unter der Liste der Schritte Kombinationen von Parameterwerten hinzu. Möglicherweise müssen Sie nach unten scrollen, um sie anzuzeigen.

  1. Erstellen Sie einen Parameter, indem Sie einen Namen eingeben, der "" in den Aktionen und erwarteten Ergebnissen Ihrer Testschritte vorausgeht@.

    Screenshot zeigt das Erstellen eines Parameters.

  2. Fügen Sie unter der Liste der Schritte Kombinationen von Parameterwerten hinzu. Möglicherweise müssen Sie nach unten scrollen, um sie anzuzeigen.

Freigeben von Parametern zwischen Testfällen

Führen Sie die folgenden Schritte aus, um vorhandene Parameter in freigegebene Parameter zu konvertieren, damit Sie sie und die zugehörigen Daten in anderen Testfällen verwenden können.

  1. Wählen Sie in einem geöffneten Testfall "In freigegebene Parameter konvertieren" aus.

    Screenshot zeigt das Konvertieren vorhandener Parameter in freigegebene Parameter.

  2. Nachdem Sie einen freigegebenen Parametersatz erstellt haben, öffnen Sie einen weiteren Testfall, und fügen Sie dem Testfall den freigegebenen Parameter hinzu.

    Screenshot des Hinzufügens des freigegebenen Parameters zu einem Testfall.

    Sie können nach dem freigegebenen Parameter suchen, der anhand des Namens festgelegt ist.

    Der freigegebene Parametersatz wird im Abschnitt "Parameterwerte " angezeigt, nachdem Sie ihn hinzugefügt haben. Sie können diese Parameter jetzt in Ihren Testfallschritten verwenden.

  3. Wenn der Testfall unterschiedliche Parameternamen für diese freigegebenen Parameter hat, ordnen Sie die freigegebenen Parameter den lokalen Parametern zu, um die freigegebenen Parameterdaten zu verwenden.

    Screenshot zeigt die Zuordnung eines freigegebenen Parameters zu einem lokalen Parameter.

    Wenn sie ordnungsgemäß zugeordnet sind, werden die mit dem freigegebenen Parameter verknüpften Daten angezeigt.

  4. Fügen Sie ihre freigegebenen Parametersätze auf der Seite "Parameter " hinzu, bearbeiten und umbenennen. Zeigen Sie die Testfälle an, die im Bereich "Testfälle " darauf verweisen.

    Screenshot zeigt Optionen zum Hinzufügen, Bearbeiten, Anzeigen und Umbenennen eines freigegebenen Parameters.

  5. Jeder freigegebene Parametersatz ist eine Arbeitsaufgabe. Öffnen Sie die Seite "Eigenschaften ", um änderungen an dieser Arbeitsaufgabe anzuzeigen oder vorzunehmen. Sie können beispielsweise Besitzer zuweisen und Änderungen nachverfolgen.

Sie können nicht mehr als einen freigegebenen Parameter hinzufügen, der auf einen einzelnen Testfall festgelegt ist. Wenn zwei Testfälle ähnliche Daten gemeinsam nutzen, können Sie in Erwägung ziehen, einen einzelnen freigegebenen Parametersatz zu erstellen, der alle Parameter enthält, auch wenn einige der Spalten in der Menge neu Standard in jedem Testfall nicht verwendet werden. Beispielsweise benötigt ein Testfall Kunden-ID, Name, E-Mail und Telefon sowie die zweite Kunden-ID, Name und Adresse.

Sie können Parameterwerte aus einer Excel-Tabelle in Ihre freigegebenen Parametersätze importieren. Fügen Sie die Werte in ihr freigegebenes Parameterraster ein. Sie können die Daten auch aus Ihrem Raster wieder in Excel kopieren.

  1. Konvertieren Sie vorhandene Parameter in freigegebene Parameter, damit Sie sie und die zugehörigen Daten in anderen Testfällen verwenden können.

    Screenshot zeigt das Konvertieren vorhandener Parameter in freigegebene Parameter.

  2. Nachdem Sie einen freigegebenen Parametersatz erstellt haben, öffnen Sie einen weiteren Testfall, und fügen Sie dem Testfall den freigegebenen Parameter hinzu. Sie können nach dem freigegebenen Parameter suchen, der anhand des Namens festgelegt ist.

    Screenshot, der das Hinzufügen des freigegebenen Parameters zu einem Testfall zeigt.

    Der freigegebene Parametersatz wird im Abschnitt "Parameterwerte " angezeigt, nachdem Sie ihn hinzugefügt haben. Sie können diese Parameter jetzt in Ihren Testfallschritten verwenden.

  3. Wenn der Testfall unterschiedliche Parameternamen für diese freigegebenen Parameter hat, ordnen Sie die freigegebenen Parameter den lokalen Parametern zu, um die freigegebenen Parameterdaten zu verwenden.

    Screenshot zeigt die Zuordnung eines freigegebenen Parameters zu einem lokalen Parameter.

    Wenn sie ordnungsgemäß zugeordnet sind, werden die mit dem freigegebenen Parameter verknüpften Daten angezeigt.

  4. Fügen Sie ihre freigegebenen Parametersätze auf der Seite "Parameter " hinzu, bearbeiten und umbenennen. Zeigen Sie die Testfälle an, die im Bereich "Testfälle " darauf verweisen.

    Hinzufügen, Bearbeiten, Anzeigen und Umbenennen eines freigegebenen Parameters

  5. Jeder freigegebene Parametersatz ist eine Arbeitsaufgabe. Öffnen Sie die Seite "Eigenschaften ", um änderungen an dieser Arbeitsaufgabe anzuzeigen oder vorzunehmen. Sie können beispielsweise Besitzer zuweisen und Änderungen nachverfolgen.

Sie können nicht mehr als einen freigegebenen Parameter hinzufügen, der auf einen einzelnen Testfall festgelegt ist. Wenn zwei Testfälle ähnliche Daten gemeinsam nutzen, können Sie in Erwägung ziehen, einen einzelnen freigegebenen Parametersatz zu erstellen, der alle Parameter enthält, auch wenn einige der Spalten im Satz neu Standard in jedem Testfall nicht verwendet werden. Beispielsweise benötigt ein Testfall Kunden-ID, Name, E-Mail und Telefon sowie die zweite Kunden-ID, Name und Adresse.

Sie können Parameterwerte aus einer Excel-Tabelle in Ihre freigegebenen Parametersätze importieren. Fügen Sie die Werte in ihr freigegebenes Parameterraster ein. Sie können die Daten auch aus Ihrem Raster wieder in Excel kopieren.

Ausführen eines Testfalls mit Parametern

Führen Sie die folgenden Schritte aus, um einen Testfall auszuführen, der Parameter verwendet.

  1. Wählen Sie einen Testfall mit Parametern aus, und starten Sie die Ausführung. Der Test Runner zeigt die erste Zeile mit Parameterwerten an.

    Screenshot: Test Runner zeigt die erste Zeile mit Parameterwerten an.

  2. Wenn Sie die Schritte ausführen, markieren Sie den bestandenen oder fehlgeschlagenen Test. Fahren Sie mit der nächsten Iteration des Tests fort, die die nächste Zeile mit Parameterwerten verwendet.

    Der Screenshot zeigt die nächste Iteration des Tests.

  3. Verwenden Sie das Menü, um zu anderen Iterationen zu navigieren.

    Screenshot zeigt die Navigation zu anderen Iterationen.

  4. Wenn eine der Parameterwerte falsch ist, korrigieren Sie sie, ohne den Test abzubrechen, indem Sie im Kontextmenü des Schritts "Bearbeiten" auswählen.

  1. Wählen Sie einen Testfall mit Parametern aus, und starten Sie die Ausführung. Der Test Runner zeigt die erste Zeile mit Parameterwerten an.

    Screenshot: Test Runner und die erste Zeile mit Parameterwerten.

  2. Wenn Sie die Schritte ausführen, markieren Sie den bestandenen oder fehlgeschlagenen Test. Fahren Sie dann mit der nächsten Iteration des Tests fort, die die nächste Zeile mit Parameterwerten verwendet.

    Der Screenshot zeigt die nächste Iteration des Tests.

  3. Verwenden Sie die Dropdownliste, um zu anderen Iterationen zu navigieren.

    Screenshot zeigt die Navigation zu anderen Iterationen.

  4. Wenn eine der Parameterwerte falsch ist, korrigieren Sie sie, ohne den Test abzubrechen, indem Sie im Kontextmenü "Bearbeiten" auswählen.

Testergebnisse überprüfen

Das Ergebnis des Tests basiert auf einer Ranghierarchie aller Iterationsergebnisse. Die Hierarchiereihenfolge ist angehalten, fehlgeschlagen, blockiert, übergeben, nicht zutreffend und nicht angegeben (aktiv). Wenn Sie z. B. eine Iteration als fehlgeschlagen markiert haben und alle restlichen Ergebnisse bestanden wurden, wird das Ergebnis des gesamten Tests als fehlgeschlagen angezeigt. Dieses Ergebnis unterscheidet sich von Testfällen, die keine Parameter aufweisen, wobei das Ergebnis den Status der letzten Ausführung anzeigt.

Um die Testergebnisse zu überprüfen, wählen Sie auf der Registerkarte "Ausführen " einen Testpunkt aus. Wählen Sie "Weitere Optionen" aus, oder klicken Sie mit der rechten Maustaste, um das Kontextmenü zu öffnen. Wählen Sie "Testergebnisse anzeigen" aus.

Screenshot zeigt die Auswahl der Option

Sie können die Ergebnisse im Dialogfeld "Testfallergebnisse " anzeigen.

Screenshot zeigt Testergebnisse für einen Testpunkt.

Das Ergebnis des Tests basiert auf einer Ranghierarchie aller Iterationsergebnisse. Die Hierarchiereihenfolge ist angehalten, fehlgeschlagen, blockiert, übergeben, nicht zutreffend und nicht angegeben (aktiv). Wenn Sie z. B. eine Iteration als fehlgeschlagen markiert haben und alle restlichen Ergebnisse bestanden wurden, wird das Ergebnis des gesamten Tests als fehlgeschlagen angezeigt. Dieses Ergebnis unterscheidet sich von Testfällen, die keine Parameter aufweisen, wobei das Ergebnis den Status der letzten Ausführung anzeigt.

  1. Überprüfen Sie das Testergebnis, indem Sie den Detailbereich öffnen.

    Screenshot zeigt die Überprüfung des Testergebnisses im Detailbereich.

  2. Doppelklicken Sie auf ein Testergebnis, um die Details der Testausführung und die Testergebnisse für jede Iteration anzuzeigen.

    Screenshot der Anzeige der Details zur Testausführung.

Beschleunigen von Testdurchläufen mithilfe von Aufzeichnungen und Wiedergabe

Es kann fehleranfällig und mühsam sein, eine lange Tabelle mit Parameterkombinationen zu durchlaufen. Um die Dinge zu beschleunigen, erstellen Sie eine Aktionsaufzeichnung, wenn Sie den Test mit dem ersten Satz von Parameterwerten ausführen, und geben Sie sie dann für die anderen Sätze wieder.

  1. Verwenden Sie Azure Testpläne, um den Test auszuführen.

  2. Wählen Sie "Aktionsaufzeichnung erstellen" aus, bevor Sie "Start" auswählen.

  3. Führen Sie die erste Iteration des Tests durch, und fahren Sie dann mit dem nächsten Schritt fort.

  4. Markieren Sie jeden Schritt als bestanden oder fehlgeschlagen, während Sie arbeiten. Geben Sie Parameterwerte in der Anwendung genau so ein, wie sie im Testskript angezeigt werden.

  5. Wählen Sie "Wiedergeben" aus, um den Test mit dem nächsten Satz von Parameterwerten auszuführen. Ihre Aktionen werden automatisch wiedergegeben, aber Sie müssen die Ergebnisse dennoch überprüfen.

    Aufzeichnung und Wiedergabe funktionieren nicht mit allen Anwendungen. Weitere Informationen finden Sie unter Unterstützte Konfigurationen und Plattformen für codierte UI-Tests und Aktionsaufzeichnungen.