Wiederholen eines Tests mit unterschiedlichen Daten

Azure DevOps Services | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018

Sie fügen Ihrem manuellen Test Parameter hinzu, um den Test mit unterschiedlichen Testdaten zu wiederholen. Sie können beispielsweise testen, wie Sie verschiedene Mengen zu einem Einkaufswagen von 1, 5, 10 oder 200 hinzufügen.

Sie fügen Parameter in Ihre Testschritte für einen manuellen Testfall ein. Anschließend stellen Sie eine Tabelle mit Parameterwerten bereit. Sie können freigegebene Parameter hinzufügen, um Testfälle zu testen oder Parameter zu konvertieren, die Sie kürzlich in freigegebene Parameter eingefügt haben. Freigegebene Schritte und freigegebene Parameter sind unterschiedliche Arbeitsaufgabentypen, die über mehrere Testfälle hinweg freigegeben werden können. Sie sind mit Testfällen über die Test- Cases-Shared Schritte und verweisen auf Linkstypen von By-References verknüpft, wie in der folgenden Abbildung dargestellt.

Diagram shows Shared Steps connected to Test Case, which is also connected to Shared Parameters.

Mit freigegebenen Schritten und freigegebenen Parametern können Sie mehrere Testfälle mit denselben Daten ausführen.

Voraussetzungen

  • Sie müssen eine Verbindung mit einem Projekt herstellen. Wenn Sie noch kein Projekt haben, erstellen Sie ein Projekt.

  • Sie müssen einem Projekt hinzugefügt werden. Um hinzugefügt zu werden, fügen Sie Benutzer zu einem Projekt oder Team hinzu.

  • Um testbezogene Arbeitselemente anzuzeigen, müssen Sie über grundlegenden Zugriff oder höher verfügen und Berechtigungen zum Anzeigen von Arbeitselementen unter dem entsprechenden Bereichspfad haben.

  • Wenn Sie Testpläne und Testsuiten hinzufügen möchten, manuelle Testfälle, Testartefakte löschen und Testkonfigurationen definieren möchten, müssen Sie über standard+ Test Plans Zugriffsstufe verfügen oder über eine der folgenden Visual Studio Abonnements verfügen:

  • Um testbezogene Artefakte hinzuzufügen oder zu bearbeiten, müssen Sie über die folgenden Berechtigungen verfügen:

    • Um Testpläne, Testsuiten, Testfälle oder andere testbasierte Arbeitselementtypen hinzuzufügen oder zu ändern, müssen Sie arbeitsbezogene Elemente in dieser Knotenberechtigung auf "Zulassen " unter dem entsprechenden Bereichspfad festlegen.
    • Um Testplaneigenschaften wie Build- und Testeinstellungen zu ändern, müssen Sie über die Berechtigung "Testpläne verwalten" verfügen, die unter dem entsprechenden Bereichspfadzulässig ist.
    • Wenn Sie Testsuiten erstellen und löschen möchten, fügen Sie Testfälle aus Testsuiten hinzu und entfernen Sie Testfälle, ändern Sie Testkonfigurationen, die testsuiten zugeordnet sind, und ändern Sie eine Testsuitehierarchie (Verschieben einer Testsuite), müssen Sie über die Berechtigung "Testsuite verwalten" verfügen, die unter dem entsprechenden Bereichspfadzulässig ist.

Weitere Informationen finden Sie unter Manuellen Testzugriff und Berechtigungen.

Einem Testfall Parameter hinzufügen

Sie können Ihren Tests Parameter hinzufügen.

  1. Erstellen Sie einen Parameter, indem Sie einen Namen eingeben, der "@" in den Aktionen und erwarteten Ergebnissen Der Testschritte vorausgeht.

    Screenshot shows how to enter parameter names and values.

  2. Fügen Sie unterhalb der Liste von Schritten Kombinationen von Parameterwerten hinzu. Sie müssen möglicherweise einen Bildlauf nach unten durchführen, um sie anzuzeigen.

  1. Erstellen Sie einen Parameter, indem Sie einen Namen eingeben, der "@" in den Aktionen und erwarteten Ergebnissen Der Testschritte vorausgeht.

    Creating a parameter

  2. Fügen Sie unterhalb der Liste von Schritten Kombinationen von Parameterwerten hinzu. Sie müssen möglicherweise einen Bildlauf nach unten durchführen, um sie anzuzeigen.

Teilen von Parametern zwischen Testfällen

Sie können vorhandene Parameter in freigegebene Parameter konvertieren, damit Sie sie und die zugeordneten Daten in anderen Testfällen verwenden können.

  1. Wählen Sie in einem geöffneten Testfall " In freigegebene Parameter konvertieren" aus.

    Screenshot shows converting existing parameters to shared parameters.

  2. Nachdem Sie einen freigegebenen Parametersatz erstellt haben, öffnen Sie einen anderen Testfall, und fügen Sie dem Testfall den freigegebenen Parameter hinzu.

    Screenshot shows adding the shared parameter set to a test case.

    Sie können den freigegebenen Parametersatz anhand des Namens suchen.

    Der freigegebene Parametersatz wird im Abschnitt "Parameterwerte " angezeigt, nachdem Sie ihn hinzugefügt haben. Sie können diese Parameter nun in Ihren Testschritten verwenden.

  3. Wenn der Testfall unterschiedliche Parameternamen für diese freigegebenen Parameter enthält, ordnen Sie die freigegebenen Parameter den lokalen Parametern zu, um die freigegebenen Parameterdaten zu verwenden.

    Screenshot shows mapping a shared parameter to a local parameter.

    Wenn sie ordnungsgemäß zugeordnet sind, werden die mit dem freigegebenen Parameter verknüpften Daten angezeigt.

  4. Fügen Sie Ihre freigegebenen Parametersätze auf der Seite "Parameter " hinzu, bearbeiten und umbenennen. Zeigen Sie die Testfälle an, die im Bereich "Testfälle " darauf verweisen.

    Screenshot shows options to add, edit, view, and rename a shared parameter.

  5. Jeder freigegebener Parametersatz ist ein Arbeitselement. Öffnen Sie die Seite "Eigenschaften" , um änderungen an dieser Arbeitsaufgabe anzuzeigen oder vorzunehmen. Beispielsweise können Sie Besitzer zuweisen und Änderungen nachverfolgen.

Sie können nicht mehr als einen freigegebenen Parameter hinzufügen, der auf einen einzelnen Testfall festgelegt ist. Wenn zwei Testfälle ähnliche Daten teilen, z. B. benötigt ein Testfall Kunden-ID, Name, E-Mail und Telefon sowie die zweite Kunden-ID, Name und Adresse, können Sie erwägen, einen einzelnen freigegebenen Parametersatz zu erstellen, der alle Parameter enthält - auch wenn einige der Spalten im Satz in jedem Testfall nicht verwendet werden.

Sie können Parameterwerte aus einer Excel Kalkulationstabelle in Ihre freigegebenen Parametersätze importieren. Fügen Sie die Werte in ihr freigegebenes Parameterraster ein. Sie können die Daten auch aus Ihrem Raster wieder in Excel kopieren.

  1. Konvertieren Sie vorhandene Parameter in freigegebene Parameter, damit Sie sie und die zugeordneten Daten in anderen Testfällen verwenden können.

    Converting existing parameters to shared parameters

  2. Nachdem Sie einen freigegebenen Parametersatz erstellt haben, öffnen Sie einen anderen Testfall, und fügen Sie dem Testfall den freigegebenen Parameter hinzu. Sie können den freigegebenen Parametersatz anhand des Namens suchen.

    Adding the shared parameter set to a test case

    Der freigegebene Parametersatz wird im Abschnitt "Parameterwerte " angezeigt, nachdem Sie ihn hinzugefügt haben. Sie können diese Parameter nun in Ihren Testschritten verwenden.

  3. Wenn der Testfall unterschiedliche Parameternamen für diese freigegebenen Parameter enthält, ordnen Sie die freigegebenen Parameter den lokalen Parametern zu, um die freigegebenen Parameterdaten zu verwenden.

    Mapping a shared parameter to a local parameter

    Wenn sie ordnungsgemäß zugeordnet sind, werden die mit dem freigegebenen Parameter verknüpften Daten angezeigt.

  4. Fügen Sie Ihre freigegebenen Parametersätze auf der Seite "Parameter " hinzu, bearbeiten und umbenennen. Zeigen Sie die Testfälle an, die im Bereich "Testfälle " darauf verweisen.

    Adding, editing, viewing, and renaming a shared parameter

  5. Jeder freigegebener Parametersatz ist ein Arbeitselement. Öffnen Sie die Seite "Eigenschaften" , um änderungen an dieser Arbeitsaufgabe anzuzeigen oder vorzunehmen. Beispielsweise können Sie Besitzer zuweisen und Änderungen nachverfolgen.

Sie können nicht mehr als einen freigegebenen Parameter hinzufügen, der auf einen einzelnen Testfall festgelegt ist. Wenn zwei Testfälle ähnliche Daten teilen, z. B. benötigt ein Testfall Kunden-ID, Name, E-Mail und Telefon sowie die zweite Kunden-ID, Name und Adresse, können Sie erwägen, einen einzelnen freigegebenen Parametersatz zu erstellen, der alle Parameter enthält - auch wenn einige der Spalten im Satz in jedem Testfall nicht verwendet werden.

Sie können Parameterwerte aus einer Excel Kalkulationstabelle in Ihre freigegebenen Parametersätze importieren. Fügen Sie die Werte in ihr freigegebenes Parameterraster ein. Sie können die Daten auch aus Ihrem Raster wieder in Excel kopieren.

Einen Testfall mit Parametern ausführen

Sie können einen Testfall ausführen, der Parameter verwendet.

  1. Wählen Sie einen Testfall mit Parametern aus, und beginnen Sie mit der Ausführung. Der Test Runner zeigt die erste Zeile von Parameterwerten an.

    Screenshot shows Test Runner displaying the first row of parameter values.

  2. Wenn Sie die Schritte abgeschlossen haben, markieren Sie den bestandenen oder fehlgeschlagenen Test. Wechseln Sie anschließend zur nächsten Iteration des Tests, die die nächste Zeile von Parameterwerten verwendet.

    Screenshot shows going on to the next iteration of the test.

  3. Verwenden Sie das Menü, um zu anderen Iterationen zu navigieren.

    Screenshot shows navigating to other iterations.

  4. Wenn eine der Parameterwerte falsch ist, beheben Sie sie, ohne den Test abzubrechen, indem Sie im Kontextmenü des Schritts "Bearbeiten" auswählen.

  1. Wählen Sie einen Testfall mit Parametern aus, und beginnen Sie mit der Ausführung. Der Test Runner zeigt die erste Zeile von Parameterwerten an.

    Test Runner showing the first row of parameter values

  2. Wenn Sie die Schritte abgeschlossen haben, markieren Sie den bestandenen oder fehlgeschlagenen Test. Wechseln Sie anschließend zur nächsten Iteration des Tests, die die nächste Zeile von Parameterwerten verwendet.

    Going on to the next iteration of the test

  3. Verwenden Sie das Dropdownfeld, um zu anderen Iterationen zu navigieren.

    Navigating to other iterations

  4. Wenn eine der Parameterwerte falsch ist, beheben Sie sie, ohne den Test abzubrechen, indem Sie das Kontextmenü " Bearbeiten " auswählen.

Testergebnisse überprüfen

Das Ergebnis des Tests basiert auf einer Ranghierarchie aller Iterationsergebnisse. Die Hierarchiereihenfolge wird angehalten, fehlgeschlagen, blockiert, übergeben, nicht anwendbar und nicht angegeben (Aktiv). Wenn Sie z. B. eine Iteration als fehlgeschlagen markiert haben und alle resten als bestanden angezeigt werden, wird das Ergebnis des gesamten Tests als fehlgeschlagen angezeigt. Dieses Ergebnis unterscheidet sich von Testfällen, die keine Parameter aufweisen, wobei das Ergebnis den Status der letzten Ausführung anzeigt.

Wenn Sie Testergebnisse überprüfen möchten, wählen Sie auf der Registerkarte "Ausführen " einen Testpunkt aus. Wählen Sie "Weitere Optionen" aus, oder klicken Sie mit der rechten Maustaste, um das Kontextmenü zu öffnen. Wählen Sie "Testergebnisse anzeigen" aus.

Screenshot shows selecting the View test results option from the context menu.

Sie können die Ergebnisse im Dialogfeld "Testfallergebnisse " anzeigen.

Screenshot shows test results for a test point.

Das Ergebnis des Tests basiert auf einer Ranghierarchie aller Iterationsergebnisse. Die Hierarchiereihenfolge wird angehalten, fehlgeschlagen, blockiert, übergeben, nicht anwendbar und nicht angegeben (Aktiv). Wenn Sie z. B. eine Iteration als fehlgeschlagen markiert haben und alle resten als bestanden angezeigt werden, wird das Ergebnis des gesamten Tests als fehlgeschlagen angezeigt. Dies unterscheidet sich von Testfällen, die keine Parameter aufweisen, wobei das Ergebnis den Status der letzten Ausführung anzeigt.

  1. Überprüfen Sie das Testergebnis, indem Sie den Detailbereich öffnen.

    Checking the test result in the details pane

  2. Doppelklicken Sie auf ein Testergebnis, um die Testausführungsdetails anzuzeigen, und die Testergebnisse für jede Iteration.

    Viewing the test run details

Beschleunigen von Test-Iterationen mithilfe von Datensatz und Wiedergabe

Das Durcharbeiten einer langen Tabelle von Parameterkombinationen kann fehleranfällig und mühsam sein. Um dinge zu beschleunigen, erstellen Sie eine Aktionsaufzeichnung, wenn Sie den Test mit dem ersten Satz von Parameterwerten ausführen, und wiedergeben Sie es dann für die anderen Sätze.

  1. Verwenden Sie Azure Test Plans, um den Test auszuführen.

  2. Wählen Sie "Aktion erstellen" aus, bevor Sie "Start" auswählen.

  3. Führen Sie die erste Test iteration aus, und wechseln Sie dann zum nächsten.

  4. Markieren Sie dabei jeden Schritt mit "Erfolgreich" oder "Fehler". Geben Sie Parameterwerte in der Anwendung genau wie im Testskript angezeigt ein.

  5. Wählen Sie "Wiedergeben " aus, um den Test mit dem nächsten Satz von Parameterwerten auszuführen. Ihre Aktionen werden automatisch wiedergegeben, aber Sie müssen die Ergebnisse weiterhin überprüfen.

Aufzeichnung und Wiedergabe funktioniert nicht mit allen Anwendungen. Ausführliche Informationen finden Sie unter Unterstützte Konfigurationen und Plattformen für codeierte UI-Tests und Aktionsaufzeichnungen.