Ausführen manueller Tests

Azure DevOps Services | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018

Führen Sie Ihre manuellen Tests aus, und zeichnen Sie die Testergebnisse für jeden Testschritt mit Microsoft Test Runner auf. Sie können Tests sowohl für Webanwendungen als auch für Desktop-Apps ausführen.

Mit Test Runner können Sie alle aktiven Tests als Batch oder bestimmte Testfälle ausführen. Ändern Sie Tests während der Ausführung. Sie können Tests für einen bestimmten Build ausführen.

Sammeln Sie beim Testen Informationen wie einen Screenshot oder Ihre Testaktionen. Wenn Sie beim Testen auf ein Problem stoßen, erstellen Sie mit Test Runner einen Fehler. Schließen Sie Testschritte, Screenshots und Kommentare in den Fehler ein.

Hinweis

Sie führen Testpunkte und keine Testfälle aus. Wenn Sie einer Testsuite einen Testfall hinzufügen, werden Testpunkte generiert. Ein Testpunkt stellt eine einzigartige Kombination aus Testfall, Testsuite, Konfiguration und Tester dar.

Beispielsweise generiert ein Testfall namens "Testanmeldungsfunktionalität", der zwei Konfigurationen für die Browser Edge und Chrome enthält, zwei Testpunkte. Sie können jeden dieser Testpunkte ausführen oder ausführen. Bei der Ausführung werden Testergebnisse generiert. Mithilfe der Testergebnisseansicht oder des Ausführungsverlaufs können Sie alle Ausführungen eines Testpunkts anzeigen. Die neueste Ausführung für den Testpunkt ist das, was Sie auf der Registerkarte "Ausführen" sehen.

Unterstützte Clients und Ausführen von Optionen

Zusätzlich zum Ausführen von Tests für einen bestimmten Build unterstützen Die Ausführungsoptionen verschiedene Testszenarien. Um die Optionen anzuzeigen, wählen Sie auf der Registerkarte "Ausführen" einen Test aus, und wählen Sie dann " Mit Optionen ausführen" aus.

Wählen Sie testtyp und runner bietet folgende Optionen:

  • Manuelle Tests mithilfe des webbrowserbasierten Läufers Sie können einen bestimmten Build auswählen, der getestet werden soll, wie in "Ausführen"-Tests für einen Build beschrieben. Wählen Sie " Builds suchen" aus, um das Dialogfeld " Builds suchen" zu öffnen, und suchen Sie nach einem Build, der getestet werden soll.

  • Manuelle Tests mithilfe des Test Runner-Clients Sie können manuelle Tests für Desktopanwendungen mithilfe des Test Runner-Clients ausführen. Installieren Sie bei Bedarf den Test Runner-Desktopclient.

  • Automatisierte Tests mithilfe der Versionsphase Wenn Sie Tests mit einer Versionsphase ausführen möchten, wählen Sie einen Build aus. Wählen Sie eine Releasepipeline und -phase aus, um die Artefakte des Builds zu nutzen. Weitere Informationen finden Sie unter Ausführen automatisierter Tests aus Testplänen.

  • Manuelle Tests mit dem Microsoft Test Manager 2017-Client Sammelt Daten von einem lokalen Computer. Wählen Sie einen Build aus. Wählen Sie mindestens einen Datensammler aus: Aktionsprotokoll, Ereignisprotokoll, Bildschirm- und Sprachaufzeichnung sowie Systeminformationen.

  • Manuelle Tests mit Microsoft Test Manager 2015 oder einem früheren Client

Das Test Center im Microsoft Test Manager-Client ist eine desktopbasierte manuelle Testlösung. Tester können sie für manuelle Testanforderungen verwenden. Weitere Informationen finden Sie unter Anleitungen zur Verwendung von Microsoft Test Manager. Um Microsoft Test Manager zu erhalten, installieren Sie Visual Studio Enterprise oder Visual Studio Test Professional.

Voraussetzungen

  • Sie müssen eine Verbindung mit einem Projekt herstellen. Wenn Sie noch kein Projekt haben, erstellen Sie ein Projekt.
  • Sie müssen einem Projekt hinzugefügt werden. Um hinzugefügt zu werden, fügen Sie Benutzer zu einem Projekt oder Team hinzu.
  • Um manuelle oder automatisierte Tests anzuzeigen oder auszuführen, müssen Sie über einfachen Zugriff oder höher verfügen.

Weitere Informationen finden Sie unter Manuellen Testzugriff und Berechtigungen.

Arbeiten mit dem TCM-Befehlszeilentool

Um das TCM-Befehlszeilentool auszuführen, müssen Sie folgendes ausführen:

  • Installiert Visual Studio 2017 Professional oder früheren Version. Sie greifen über die Eingabeaufforderung und die folgenden Verzeichnisse auf TCM zu: %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Um einen TCM-Befehl auszuführen, geben Sie die /collection Parameter /teamproject und /login ggf. an.

    Parameter BESCHREIBUNG
    /collection:CollectionURL Erforderlich. Gibt den URI der Teamprojektsammlung an. Das Format für den URI lautet wie folgt:
    - Für Azure DevOps Services:http://dev.azure.com/OrganizationName
    - Für Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Wenn kein virtuelles Verzeichnis verwendet wird, hat der URI das folgende Format:http://ServerName:Port/CollectionName
    /teamproject:project Erforderlich. Der Name des Projekts, das die Testobjekte enthält, in die Sie automatisierte Tests klonen oder importieren möchten.
    /login:username,[password] Optional. Gibt den Namen und das Kennwort eines gültigen Azure DevOps Benutzers an, der über Berechtigungen zum Ausführen des Befehls verfügt. Verwenden Sie diese Option, wenn Ihre Windows Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, oder Sie die Standardauthentifizierung verwenden, oder Sie sind nicht mit einer Domäne verbunden.
  • Sie müssen ein gültiges Mitglied des Projekts sein, auf das Sie zugreifen möchten, und verfügen über die erforderlichen Berechtigungen basierend auf den befehlen, die Sie ausführen. Weitere Informationen finden Sie unter Manuellen Testzugriff und Berechtigungen.

  • Um Testobjekte zu klonen oder zu importieren, müssen Sie dieselben Zugriffsstufen erteilt haben, die zum Hinzufügen von Testplänen und Testsuiten erforderlich sind, wie in Den Voraussetzungen beschrieben.

Ausführen von Tests für Web-Apps

Führen Sie die folgenden Schritte aus, um Tests für Webanwendungen auszuführen.

  1. Öffnen Sie im Webportal Ihr Projekt, und wählen Sie Test Plans>Test-Pläne aus.

  2. Wenn Sie noch nicht vorhanden sind, erstellen Sie Ihre manuellen Tests.

  3. Wählen Sie "Mein" oder "Alle" aus, oder verwenden Sie "Filtern nach Titel ", um Ihren Testplan zu finden und auszuwählen. Wählen Sie die Registerkarte "Ausführen" aus.

    Screenshot shows a test suite selected with the Execute tab selected

  4. Wählen Sie mindestens einen Test oder alle Tests aus einer Testsuite aus. Wählen Sie dann "Für Webanwendung ausführen" aus.

    Screenshot shows how to select and run a specific test.

    Microsoft Test Runner wird in einem neuen Browser geöffnet und ausgeführt.

  5. Starten Sie die Anwendung, die Sie testen möchten.

    Screenshot shows Test Runner recording your test results.

    Ihre App muss nicht auf demselben Computer wie Test Runner ausgeführt werden. Sie verwenden "Test Runner", um aufzuzeichnen, welche Testschritte bestanden oder fehlschlagen, während Sie einen Test manuell ausführen.

    Beispielsweise können Sie Test Runner auf einem Desktopcomputer ausführen und Ihre Store-App für Windows 8 ausführen, die Sie auf einem Windows 8 Tablet testen.

  6. Markieren Sie jeden Testschritt entsprechend der erwarteten Ergebnisse, ob er erfolgreich war oder fehlgeschlagen ist.

    Screenshot shows Test Runner open to a failed test where you can enter a comment.

    Wenn ein Testschritt fehlschlägt, können Sie einen Kommentar eingeben, warum er fehlgeschlagen ist oder Diagnosedaten für den Test sammelt. Sie können auch einen Fehler erstellen oder hinzufügen.

  1. Wenn Sie noch nicht vorhanden sind, erstellen Sie Ihre manuellen Tests.

  2. Wählen Sie einen Test in einer Testsammlung aus, und führen Sie ihn aus.

    Select and run a specific test

    Microsoft Test Runner wird in einem neuen Browser geöffnet und ausgeführt.

  3. Starten Sie die Anwendung, die Sie testen möchten. Ihre App muss nicht auf demselben Computer wie Test Runner ausgeführt werden. Sie verwenden "Test Runner", um aufzuzeichnen, welche Testschritte bestanden oder fehlschlagen, während Sie einen Test manuell ausführen. Beispielsweise können Sie Test Runner auf einem Desktopcomputer ausführen und Ihre Windows 8 Store-App ausführen, die Sie auf einem Windows 8 Tablet testen.

    Use Microsoft Test Runner to record your test results

  4. Markieren Sie jeden Testschritt entsprechend der erwarteten Ergebnisse, ob er erfolgreich war oder fehlgeschlagen ist. Wenn ein Testschritt fehlschlägt, können Sie einen Kommentar eingeben, warum er fehlgeschlagen ist oder Diagnosedaten für den Test sammelt. Sie können auch einen Fehler erstellen oder hinzufügen.

    Mark test steps

Wichtig

Jeder Testschritt, der das Ergebnis erwartet hat, wird als Überprüfungstestschritt bezeichnet. Tester müssen einen Testschritt mit einem Status markieren, wenn es sich um einen Validierungstestschritt handelt. Das Gesamtergebnis für einen Testfall gibt den Status aller vom Tester markierten Testschritte wieder. Wenn der Tester einen Testfall als fehlerhaft oder gar nicht markiert hat, weist der Testfall daher den Status "Fehler" auf.

Erstellen oder Hinzufügen zu einem Fehler

Wenn ein Testschritt fehlschlägt, geben Sie einen Kommentar zu dem Verhalten ein, und sammeln Sie Diagnosedaten. Sie können einen Fehler erstellen, um das Problem zu erfassen und nachzuverfolgen. Sie können auch einen vorhandenen Fehler mit Informationen zum Fehler aktualisieren.

  1. Wenn ein Schritt fehlschlägt, geben Sie einen Kommentar ein, und wählen Sie "Fehler erstellen" aus.

    Screenshot shows Test Runner with a failed test and Create bug highlighted.

  2. Geben Sie im Dialogfeld "Neuer Fehler " einen Namen für den Fehler ein.

    Screenshot shows Test Runner with Create bug selected and the new bug dialog box open.

    Die Schritte und Kommentare werden dem Fehler automatisch hinzugefügt. Wenn Test Runner in einem Webbrowserfenster ausgeführt wird, können Sie einen Screenshot aus der Zwischenablage direkt in den Fehler kopieren.

  3. Sie können den Fehler zuweisen, Kommentare eingeben oder mit anderen Problemen verknüpfen. Wählen Sie " Schließen speichern & " aus, wenn Sie fertig sind. Der Testfall ist mit dem von Ihnen erstellten Fehler verknüpft.

Während Der Testsitzung werden alle fehler angezeigt, die gemeldet wurden.

Screenshot shows the number of bugs created during the test.

Anstatt einen Fehler zu erstellen, können Sie einen vorhandenen Fehler mit Informationen zu diesem Schritt aktualisieren. Wählen Sie " Zu vorhandenem Fehler hinzufügen " aus dem Dropdownmenü " Fehler erstellen" aus.

Screenshot shows Test Runner with Add to existing bug selected

  1. Wählen Sie im Fenster "Test Runner " den Eintrag "Fehler erstellen" aus.

    Submit a bug.

    Die Schritte und Kommentare werden dem Fehler automatisch hinzugefügt. Wenn Test Runner in einem Webbrowserfenster ausgeführt wird, können Sie einen Screenshot aus der Zwischenablage direkt in den Fehler kopieren.

  2. Sie können den Fehler zuweisen, Kommentare eingeben oder mit anderen Problemen verknüpfen. Wählen Sie " Schließen speichern & " aus, wenn Sie fertig sind. Der Testfall ist mit dem von Ihnen erstellten Fehler verknüpft.

Sie können alle Fehler sehen, die Sie während der Testsitzung gemeldet haben.

Bugs logged

Anstatt einen Fehler zu erstellen, können Sie einen vorhandenen Fehler mit Informationen zu diesem Schritt aktualisieren. Wählen Sie das Symbol für "+Fehler erstellen" aus, und fügen Sie dann zu einem vorhandenen Fehler hinzu. Suchen und Aktualisieren eines vorhandenen Fehlers

Speichern von Ergebnissen, Schließen der Sitzung und Überprüfen von Ergebnissen

Nachdem Sie Tests abgeschlossen haben, speichern Sie Ihre Ergebnisse, schließen Sie die Sitzung, und überprüfen Sie die Testergebnisse.

  1. Wenn Sie alle Ihre Tests ausführen, wählen Sie "Speichern" und "Schließen" aus. Alle Testergebnisse werden in Azure Test Plans gespeichert.

  2. Zeigen Sie den Teststatus für die Testsammlung an. Für jeden Test werden die neuesten Ergebnisse angezeigt.

    Screenshot shows the result of running test cases, with outcomes of Active, Failed, and Passed displayed.

    Screenshot shows View test results.

    Wenn Sie noch keinen Test ausgeführt haben, lautet sein Status "Aktiv". Setzen Sie den Status eines Tests auf "aktiv" zurück, wenn Sie ihn erneut ausführen möchten.

  3. Öffnen Sie eine Testsuite, und wählen Sie den Testfall im Abschnitt "Verwandte Arbeit " aus. Verwenden Sie dann die untergeordneten Links im Abschnitt "Verwandte Arbeit" dieses Arbeitselements, um die vom Tester abgelegten Fehler anzuzeigen.

    Screenshot shows the Related Work section of a work item to view bugs filed for that test.

    View bugs filed

Sie können Tests offline ausführen und dann die Ergebnisse importieren. Weitere Informationen finden Sie in der Offlinetestausführungserweiterung.

Ausführen von Tests für Desktop-Apps

Wenn Sie weitere Diagnosedaten für Ihre Desktopanwendung sammeln möchten, führen Sie Ihre Tests mithilfe des Test Runner-Clients aus.

  1. Öffnen Sie im Webportal Ihr Projekt, und wählen Sie Test Plans>Test-Pläne aus.

  2. Wählen Sie "Mein" oder "Alle" aus, oder verwenden Sie "Filtern nach Titel ", um Ihren Testplan zu finden und auszuwählen. Wählen Sie die Registerkarte "Ausführen" aus.

    Screenshot shows a test suite selected with the Execute tab selected

  3. Starten Sie Test Runner aus Azure Test Plans, indem Sie im Dropdownmenü "Ausführen für Desktopanwendung ausführen" auswählen.

    Screenshot shows launching the Test Runner client.

  4. Laden Sie ggf. den Test Runner-Desktopclient herunter und installieren Sie sie.

    Screenshot shows the Run for desktop application dialog box with options to download and launch Test Runner.

    Hinweis

    Überprüfen Sie, ob der Test Runner-Client für Ihre Plattform verfügbar ist. Derzeit ist der Test Runner-Client nur für x64 verfügbar.

  5. Wählen Sie "Starten" und "Testen starten" aus, wie im vorherigen Abschnitt beschrieben. Weitere Informationen zur Datensammlung finden Sie unter Sammeln von Diagnosedaten beim Testen.

Wenn Sie weitere Diagnosedaten für Ihre Desktopanwendung sammeln möchten, führen Sie Ihre Tests mithilfe des Test Runner-Clients aus:

  1. Starten Sie den Testläuferclient aus Azure Test Plans, indem Sie im Menü "Ausführen" die Option "Ausführen für Desktopanwendung" auswählen.

    Launching the test runner client

  2. Laden Sie den Test Runner-Desktopclient herunter, und installieren Sie ihn, wenn Sie ihn noch nicht eingerichtet haben:

    Download and launch Test runner

    Hinweis

    Überprüfen Sie, ob der Test Runner-Client für Ihre Plattform verfügbar ist. Derzeit ist der Test Runner-Client nur für x64 verfügbar.

  3. Wählen Sie "Starten" aus, und starten Sie das Testen auf die gleiche Weise wie oben beschrieben für Web-Apps. Weitere Informationen zur Datensammlung finden Sie unter Sammeln von Diagnosedaten beim Testen.

Alle Tests ausführen

Sie können alle Tests in einer Testsuite gleichzeitig ausführen.

Wählen Sie eine Testsuite aus, und wählen Sie "Ausführen für Webanwendung" oder "Ausführen für Desktopanwendung" aus, um alle aktiven Tests auszuführen.

Screenshot shows how to select and run all active tests in a test suite.

Wählen Sie eine Testsuite aus, und wählen Sie "Ausführen" aus, um alle aktiven Tests auszuführen.

Screenshot shows how to run all active tests in a test suite.

Ausführen von Tests für einen Build

Wählen Sie einen Build aus, um Tests auszuführen.

  1. Wählen Sie im Dropdownmenü " Mit Optionen ausführen" aus.

    Screenshot shows running a test for web application with options.

  2. Wählen Sie im Dialogfeld "Ausführen mit Optionen" den gewünschten Build aus.

    Screenshot shows the Run with options dialog box with a build selected.

  1. Wählen Sie "Ausführen" und dann " Mit Optionen ausführen" aus.

    Screenshot shows Run selected and Run with options available.

  2. Wählen Sie den gewünschten Build aus.

    Screenshot shows the Run with options dialog box with a build.

Hinweis

Der ausgewählte Build muss aus dem Projekt stammen, in dem die Tests definiert sind.

Sie können einen Build für die folgenden Optionen auswählen:

  • Manuelle Tests mithilfe des webbrowserbasierten Läufers
  • Automatisierte Tests mithilfe der Versionsphase
  • Manuelle Tests mithilfe des Microsoft Test Manager 2017-Clients

Die Felder, die das Dialogfeld bietet, unterscheiden sich je nachdem, welche Option Sie auswählen. Weitere Informationen finden Sie unter "Unterstützte Clients" und "Ausführungsoptionen".

Jeder Fehler, der während der Ausführung eingereicht wurde, ist dem ausgewählten Build zugeordnet. Das Testergebnis wird für diesen Build veröffentlicht.

Ändern eines Testschritts während einer Testausführung

Beheben Sie Probleme mit Ihren Testschritten, während der Test weiterhin ausgeführt wird. Wählen Sie das Symbol " Testschritt bearbeiten" aus.

Screenshot shows how to select the edit icon to edit test steps.

Screenshot shows how to select the edit icon to modify test steps.

Sie können Schritte einfügen, neu anordnen oder löschen. Sie können den Text auch selbst bearbeiten.

Screenshot shows the tool to edit test steps when you run a test.

Screenshot shows the tool to modify test steps when you run a test.

Erfassen von umfangreichen Diagnosedaten

Beim Ausführen Ihrer Tests können Sie Screenshots hinzufügen, Aktionen als Protokoll erfassen und Video oder Stimme aufzeichnen.

Einen Screenshot hinzufügen

Fügen Sie beim Ausführen eines Tests einen Screenshot zu den Testergebnissen hinzu.

Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Webläufer, um Screenshots der Web-App während des Tests zu erstellen. Verwenden Sie für Microsoft Internet Explorer oder Microsoft Edge Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.

Screenshot shows the button for capturing a screenshot during a test.

Screenshot shows the button for capturing a screenshot.

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

Erfassen von Aktionen aus einem Test

Erfassen Sie Ihre Aktionen auf der Anwendung als Protokoll.

Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Webläufer, um Ihre Aktionen in der Web-App als Bildprotokolle beim Testen zu erfassen. Verwenden Sie für Microsoft Internet Explorer oder Microsoft Edge Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.

Screenshot shows the button for capturing an image action log from the app.

Screenshot shows the button to capture an image action log from the app.

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

Erfassen von Bildschirmaufzeichnungen Ihrer App, die getestet werden

Erfassen Sie Bildschirmaufzeichnungen meiner App während des Tests.

Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Webläufer, um Bildschirmaufzeichnungen Ihrer Web- und Desktop-Apps während des Tests zu erfassen. Verwenden Sie für Microsoft Internet Explorer oder Microsoft Edge Browser oder für Desktop-App-Tests den Test Runner-Desktopclient.

Screenshot show the button for capturing a screen recording from the app.

Screenshot show the button to capture a screen recording from the app.

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

Ausführen von Tests mit TCM

Sie können Tests ausführen, die Teil eines Testplans sind, indem Sie das TCM-Befehlszeilentool verwenden. Mit diesem Tool können Sie eine Testausführung erstellen und starten und dann alle vorhandenen Testausführungen verwalten. Verwenden Sie die hier dokumentierten tcm-Befehle, um diese Aufgaben auszuführen.

Listentestausführungen | Erstellen von Testausführungen | Ausführen von Testausführungen | Abbruch der Testausführungen | Testausführungen | löschen Exportieren von Testausführungen | Veröffentlichen von Testausführungen

Listentestausführungen

Verwenden Sie tcm run /list zum Auflisten der in einem Testplan verfügbaren Ausführungen und zum Anzeigen ihrer ID. Die ID entspricht der beim Erstellen der Ausführung definierten Arbeitselement-ID .

tcm run /list /collection:teamprojectcollectionurl /teamproject:project 
           [/planid:id  |  /querytext:query] [/login:username,[password]]
Parameter BESCHREIBUNG
/planid:id Optional. Gibt an, dass nur diese Tests ausgeführt werden, die dem angegebenen Testplan zugeordnet sind, in der Liste zurückgegeben werden.
/querytext:query Optional. Gibt die Abfrage an, die verwendet werden soll, um eine Teilmenge von Testausführungen auflisten zu können.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl listet die testausführungen auf, die für das Fabrikam Fiber-Projekt definiert sind, das in der Fabrikamprime-Organisation gehostet wird. Die ID und der Titel entsprechen der für den Testlauf definierten Arbeitselement-ID und dem Titel. Beispiel: Testausführung 1000052 lautet"Testplan für Zyklus 1 (Manuell)".

tcm run /list /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Id        Title                              Owner               Date Completed
--------- ---------------------------------- ------------------- -----------
1000006   Sprint 2 (Manual)                  Thomas Margand      11/5/2021
1000032   33 : Change initial view (Manual)  Danielle Brasseur   11/11/2021
1000040   Sprint 2 (Manual)                  Thomas Margand      11/16/2021
1000042   Sprint 3 (Manual)                  Thomas Margand      11/16/2021
1000046   Special testing (Manual)           Nicoletta Guibord   11/18/2021
1000052   Test Plan for Cycle 1 (Manual)     Bukhosi Bhengu      12/1/2021
1000060   Game Shopping (Manual)             Bukhosi Bhengu      12/6/2021

Testläufe erstellen

Verwenden Sie tcm run /create zum Erstellen einer Testausführung, die dem angegebenen Testplan zugeordnet ist. Zusätzlich zum Testplan definieren Sie auch die Test suite und konfiguration, die Sie durch ihre entsprechende ID verwenden möchten. Sie können diese IDs mithilfe der tcm plans /listBefehle , tcm suites /listund tcm configs /list Befehle sammeln.

tcm run /create /title:title /planid:id /collection:CollectionURL /teamproject:project 
            (suiteid:id /configid:configid | /querytext:query) 
            [/settingsname:name] [/owner:owner] [/builddir:directory]  
            [/testenvironment:name] [/login:username,[password]] [/include]

Parameter BESCHREIBUNG
/title:title Gibt den Titel an, den Sie für die von Ihnen erstellte Testausführung verwenden möchten.
/planid:id Gibt den Testplan an, an dem Sie die Testausführung erstellen möchten.
/suiteid:id Gibt die Testsuiten an, die Sie für Ihre Testausführung verwenden möchten.
/configid:id Gibt die Testkonfiguration an, die Sie für Ihre Testsuiten ausführen möchten.
/querytext:query Optional, wenn Sie angeben suiteid und configid. Gibt die Abfrage an, die verwendet werden soll, um die Tests auszuwählen, die Sie ausführen möchten.

Tipp: Sie können den /querytest Parameter verwenden, um mehrere Test suite auszuführen. Beispiel: querytext:“SELECT * FROM TestPoint WHERE (ConfigurationId=20 OR ConfigurationId=21) AND (Suiteid=1185 OR Suiteid=1186)”.
/settingsname:name Optional. Gibt die Testeinstellungen an, die Sie für diesen Testlauf verwenden möchten. Wenn Sie keine Testeinstellungen auswählen, werden die Standardtesteinstellungen im Testplan verwendet.
/Besitzer:owner Optional. Gibt den Besitzer des Testlaufs an.
/builddir:directory Optional. Gibt das Buildverzeichnis an, das zum Suchen der Testassemblys für den Test verwendet werden soll. Wenn dies nicht angegeben ist, wird der Buildspeicherort basierend auf dem Build verwendet, der derzeit dem Testplan zugewiesen ist.
/testvironment:name Optional. Gibt die Testumgebung an, die Sie für diesen Testlauf verwenden möchten. Wenn Sie keine Testumgebung auswählen, wird die Standardtestumgebung im Testplan verwendet.
/include Optional. Gibt an, dass alle Tests, die für den Testlauf ausgewählt wurden, enthalten sind, auch wenn die Tests derzeit nicht in den aktiven Zustand gesetzt sind.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl erstellt eine Testausführung namens MyTestRun im Testplan mit ID77. Die Ausführung verwendet die Test suite mit ID161 und die Testkonfiguration mit ID9. Die Ausführung wird für das Fabrikam Fiber-Projekt definiert, das in der Fabrikamprime-Organisation gehostet wird.

In diesem Beispiel wird eine Testausführung mit einer ID von 1000082 erstellt.

tcm run /create /title:MyTestRun /planid:77 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber" /suiteid:161 /configid:9

Run created with ID: 1000082.

Ausführen von Testausführungen

Verwenden Sie tcm run /execute zum Starten einer der Ausführungen im Testplan. Die von Ihnen angegebene ID entspricht der beim Erstellen der Ausführung definierten Arbeitselement-ID . Sie können eine Liste aller Testlauf-IDs mit dem Befehl "tcm ausführen /list " anzeigen.

tcm run /execute /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter BESCHREIBUNG
/id:id Gibt die ID für die Testausführung an, die Sie ausführen möchten.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl startet eine Testausführung für die ID1000082 für das Fabrikam Fiber-Projekt, das in der Fabrikamprime-Organisation gehostet wird. Die Ergebnisse werden in Ihrem CLI-Fenster zurückgegeben.

tcm run /execute /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Executing run: MyTestRun

Results
------------------------
Total:                   2
Passed:                  1
Failed:                  1
Inconclusive:            0

Abbruch der Testausführungen

Verwenden Sie tcm run /abort zum Abbrechen einer Testausführung, die in Bearbeitung ist. Die von Ihnen angegebene ID entspricht der beim Erstellen der Ausführung definierten Arbeitselement-ID .

tcm run /abort /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter BESCHREIBUNG
/id:id Gibt die ID für die Testausführung an, die Sie abbrechen möchten.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl beendet die Testausführung mit der ID1000082 für das Fabrikam Fiber-Projekt, das in der Fabrikamprime-Organisation gehostet wird. Die Ergebnisse bestätigen die ID und den Titel der abgebrochenen Ausführung.

tcm run /abort /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Run with ID [1000082] and title [MyTestRun] has been aborted.

Testläufe löschen

Verwenden Sie tcm run /delete zum Löschen einer Testausführung aus Ihrem Testplan. Die von Ihnen angegebene ID entspricht der definierten Arbeitselement-ID , wenn die Testausführung erstellt wurde.

tcm run /delete /id:id [/noprompt] /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter BESCHREIBUNG
/id:id Gibt die ID für die Testausführung an, die Sie löschen möchten.
/noprompt Optional. Gibt an, dass der Benutzer nicht aufgefordert wird, das Löschen einer Testausführung zu bestätigen.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl löscht die Testausführung mit der ID1000082 für das Fabrikam Fiber-Projekt, das in der Fabrikamprime-Organisation gehostet wird. Der Benutzer wird aufgefordert, zu bestätigen, dass sie die angegebene Testausführung löschen möchten, und das Ergebnis wird bereitgestellt.

tcm run /delete /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Are you sure you want to delete run [MyTestRun]? (Yes/No) y

Run [MyTestRun] has been deleted.

Exportieren von Testausführungen

Verwenden Sie tcm run /export zum Exportieren einer Testausführung an einen angegebenen Speicherort. Die von Ihnen angegebene ID entspricht der beim Erstellen der Ausführung definierten Arbeitselement-ID .

tcm run /export /id:id /resultsfile:path /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]
Parameter BESCHREIBUNG
/id:id Gibt die Testausführungs-ID an, die Sie exportieren möchten.
/resultsfile:path Gibt einen Speicherort und Dateinamen für die Testausführung an, die Sie exportieren möchten.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Der folgende Befehl gibt an, dass die Testausführung mit derID1000082 für das fabrikam Fiber-Projekt, das in der Fabrikamprime-Organisation gehostet wird, in c:\temp\ResultsForDeveloper.trx exportiert wird.

tcm run /export /id:1000082 /resultsfile:"c:\temp\ResultsForDeveloper.trx" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Veröffentlichen von Testausführungen

Verwenden Sie tcm run /publish zum Veröffentlichen der Ergebnisse aus einer Visual Studio Testausführungsergebnissedatei für einen angegebenen Testplan.

tcm run /publish /suiteid:id /configid:id /resultowner:owner /resultsfile:path 
            /collection:teamprojectcollectionurl /teamproject:project [/title:runtitle] 
            [/runowner:owner] [/build:buildnumber /builddefinition:builddefinition] 
            [/flavor:flavor] [/platform:platform] [/assignfailurestouser:user] 
            [/login:username,[password]] [/buildverification]
Parameter BESCHREIBUNG
/suiteid:id Gibt die Test suite an, die beim Veröffentlichen einer Testausführung verwendet werden soll.
/configid:id Gibt an, welche Testkonfiguration Sie verwenden möchten, wenn Sie eine Testausführung veröffentlichen.
/resultowner:owner Gibt den Besitzer für die Testergebnisse an.
/resultsfile:path Gibt den Speicherort der Testausführung an, die Sie veröffentlichen möchten. Beispiel: "c:\temp\ResultsForDeveloper.trx".
/title:runtitle Optional. Gibt einen Titel an, den Sie für die testausführung verwenden möchten, die Sie veröffentlichen möchten.
/runowner:owner Optional. Gibt den Besitzer des Testlaufs an.
/build:buildnumber Optional. Gibt die Buildnummer an, mit der ein Testlauf veröffentlicht werden soll. Dieser Parameter muss mit /builddefinition.
/builddefinition:builddefinition Optional. Gibt die Builddefinition an, mit der ein Testlauf veröffentlicht werden soll. Dieser Parameter muss mit /build.
/geschmack:flavor Optional. Gibt den Build-Geschmack an, z. B. "Release". Dieser Parameter kann nur verwendet werden, wenn der /build Parameter verwendet wird.
/platform:platform Optional. Gibt die Buildplattform an, z. B. x86. Dieser Parameter kann nur verwendet werden, wenn der /build Parameter verwendet wird.
/assignfailurestouser:user Optional. Gibt den Benutzer an, dem alle fehlgeschlagenen Tests im Testlauf zugewiesen sind.
/buildverification Optional. Gibt an, dass dieser Testlauf Buildüberprüfungstests enthält, die die grundlegende Funktionalität des Builds überprüfen.

Beschreibungen von , und Parametern finden Sie unter "Arbeiten mit dem TCM-Befehlszeilentool"./login/teamproject/collection

Beispiel

Im folgenden Befehl wird eine Testausführung für die Test suite mit ID161 und Testkonfiguration mit ID9 veröffentlicht und der Besitzer neu zugewiesen. Dadurch werden die vorhandenen Testpunkte für die Testfälle in der Test suite aktualisiert, die mit dieser Konfiguration gekoppelt sind und die Ergebnisse in der angegebenen TRX-Datei veröffentlicht. Und alle fehlgeschlagenen Tests in der Testausführung werden dem angegebenen Benutzer zugewiesen.

tcm run /publish /suiteid:167 /configid:9 /resultowner:"Thomas Margand" /resultsfile:"c:\temp\ResultsForDeveloper.trx" /assignfailurestouser:"Bukhosi Bhengu" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Häufig gestellte Fragen

Nachfolgend finden Sie einige allgemeine Fragen.

F: Wie wiederhole ich einen Test?

Eine: Wählen Sie einfach einen beliebigen Test aus, und wählen Sie "Ausführen" aus.

F: Kann ich alle Tests in einer Testsammlung zusammen ausführen?

Eine: Ja, wählen Sie eine Testsuite aus, und wählen Sie "Ausführen" aus. Diese Option führt alle aktiven Tests in der Testsuite aus. Wenn Sie noch keinen Test ausgeführt haben, lautet sein Status "Aktiv". Sie können den Status eines Tests auf "Aktiv" zurücksetzen, wenn Sie ihn erneut ausführen möchten.

Select and run all active tests in a test suite

F: Kann ich einen Build auswählen, um Tests auszuführen?

Eine: Ja, Wählen Sie "Ausführen" aus, und wählen Sie dann " Ausführen" mit Optionen aus.

Starting a test with options

Wählen Sie den gewünschten Build aus der Dropdownliste aus.

Selecting the build to include a link to in the results

Alle während der Ausführung abgelegten Fehler werden automatisch dem ausgewählten Build zugeordnet. Das Testergebnis wird für diesen Build veröffentlicht.

Hinweis

Der ausgewählte Build muss aus dem Projekt stammen, in dem die Tests definiert sind.

F: Kann ich meine Testschritte reparieren, während ich einen Test ausführe?

Eine: Ja, wenn Sie Azure Test Plans für Azure DevOps haben. Sie können Schritte einfügen, verschieben oder löschen. Sie können auch den Text selbst bearbeiten. Verwenden Sie das Bearbeitungssymbol neben der Testschrittnummer.

Select the edit icon to edit test steps

Das Tool zum Bearbeiten der Testschritte wird angezeigt.

Fix test steps when you run a test

F: Kann ich beim Ausführen eines Tests einen Screenshot zu den Testergebnissen hinzufügen?

Eine: Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Webläufer, um Screenshots der Web-App beim Testen zu erstellen. Für Microsoft Internet Explorer oder Microsoft Edge Browser oder für Desktop-App-Tests können Sie den Test Runner-Desktopclient herunterladen und verwenden.

Capturing a screenshot from the app

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

F: Kann ich meine Aktionen in der App als Protokoll erfassen?

Eine: Wenn Sie Google Chrome oder Firefox verwenden, erfassen Sie mit dem Webläufer Ihre Aktionen in der Web-App als Bildprotokolle beim Testen. Für Microsoft Internet Explorer oder Microsoft Edge Browser oder für Desktop-App-Tests können Sie den Test Runner-Desktopclient herunterladen und verwenden.

Capturing an image action log from the app

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

F: Kann ich Bildschirmaufzeichnungen meiner App erfassen?

Eine: Wenn Sie Google Chrome oder Firefox verwenden, verwenden Sie den Webrunner, um Bildschirmaufzeichnungen Ihrer Web- und Desktop-Apps beim Testen zu erfassen. Laden Sie für Microsoft Internet Explorer oder Microsoft Edge Browser oder für Desktop-App-Tests herunter und verwenden Sie den Test Runner-Desktopclient.

Capturing a screen recording from the app

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten.

F: Gewusst wie steuern, wie lange ich meine Testdaten beibehalten?

Eine: Weitere Informationen finden Sie unter Festlegen von Testaufbewahrungsrichtlinien.

F: Wo kann ich den Test Runner-Client herunterladen?

Eine: Laden Sie den Test Runner-Desktopclient herunter.

F: Was sind die unterstützten Betriebssysteme für den Test Runner-Client?

Eine: Der Test Runner-Desktopclient wird derzeit nur auf Windows unterstützt.

F: Kann ich die Telemetrie für den Test Runner-Client deaktivieren?

A: Nein. Der Test Runner-Desktopclient sammelt keine identifizierbaren Daten. Es wird kein Opt-Out-Mechanismus bereitgestellt. Weitere Informationen finden Sie in der Microsoft-Datenschutzrichtlinie.

F: Kann ich Tests offline ausführen und dann die Ergebnisse importieren?

Eine: Ja, siehe die Erweiterung "Offlinetestausführung".

Nächster Schritt