Freigeben über

Ausführen von automatisierten Tests über die Befehlszeile mit TCM

  • Artikel

 

Veröffentlicht: April 2016

Sie können Testfälle mit zugeordneter Automatisierung in der Befehlszeile mit tcm.exe ausführen, statt die von Microsoft Test Manager bereitgestellte Benutzeroberfläche zu verwenden. Auf diese Weise können Sie die Testläufe automatisch über eine Batchdatei starten. Sie können so beispielsweise festlegen, dass die Batchdatei immer dann ausgeführt wird, wenn ein Build abgeschlossen ist.

Um diese automatisierten Testfälle so auszuführen, dass die Testergebnisse Teil des Testplans sind, müssen Sie eine Lab-Umgebung verwenden. Wenn Sie den Testlauf in der Befehlszeile starten, verwenden Sie tcm.exe. Sie müssen sowohl die Testeinstellungen angeben, die den Satz von Rollen enthalten, den Sie zur Testausführung benötigen, als auch eine Umgebung, die diesen Satz von Rollen enthält. Weitere Informationen über Testeinstellungen und -umgebungen finden Sie unter Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten.

Hinweis

Wenn Sie automatisierte Tests ausführen möchten, die mit dem Desktop interagieren, müssen Sie den Agent für die Ausführung als Prozess statt als Dienst konfigurieren.Weitere Informationen finden Sie unter How to: Set Up Your Test Agent to Run Tests that Interact with the Desktop.

Sie können die paarweise Zuordnung von Testfall und Konfiguration, benannte Testpunkte, mithilfe einer Abfrage angeben, oder Sie können die Testsammlungen und Konfigurationen angeben, die vom Testplan aus ausgeführt werden sollen. Sie müssen die IDs für den Testplan, die Testsammlungen und Konfigurationen kennen. Sie können diese bei Bedarf mithilfe von tcm.exe aufführen lassen.

Gehen Sie wie im Folgenden beschrieben vor, um die Informationen zu erfassen, die Sie zum Ausführen automatisierter Tests in der Befehlszeile haben, und führen Sie dann die Tests aus:

  • Aufführen aller Konfigurationen im Teamprojekt

  • Aufführen aller Testpläne im Teamprojekt

  • Aufführen aller Testumgebungen für das Teamprojekt

  • Aufführen aller Testsammlungen im Testplan

  • Erstellen eines Testlaufs mithilfe einer Testpunktabfrage

  • Erstellen eines Testlaufs zu einer Testsammlung und einer bestimmten Konfiguration

  • Anzeigen und Aktualisieren der Testergebnisse

Allgemeine Parameter für die Prozeduren

Parameter

Beschreibung

/collection:CollectionURL

Gibt den URI der Teamprojektauflistung an. Das URI-Format lautet wie folgt: http://ServerName:Port/VirtualDirectoryName/CollectionName

Wenn kein virtuelles Verzeichnis verwendet wird, hat der URI das folgende Format:

http://ServerName:Port/CollectionName

Wenden Sie sich an den Team Foundation-Systemadministrator, wenn Sie den richtigen Pfad nicht kennen.

/teamproject: TeamProjectName

Das Teamprojekt, das Sie verwenden möchten. Dieses Teamprojekt muss in der vom /collection-Parameter angegebenen Projektsammlung definiert werden.

/login: UserName,Password

Dies ist optional. Gibt den Namen und das Kennwort eines Benutzers an, der am Anwendungsebenenserver für Team Foundation Server angemeldet ist und über Berechtigungen zum Ausführen des Befehls verfügt.

Diese Option können Sie verwenden, wenn Ihre Windows-Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, wenn Sie die Standardauthentifizierung verwenden oder wenn Sie nicht mit einer Domäne verbunden sind.

Für die Anmeldung bei Visual Studio Online müssen Sie auch die unten aufgelisteten /allowalternatecredentials verwenden.

/allowalternatecredentials

Dieses Kennzeichen muss zusätzlich zum /login-Parameter angegeben werden, wenn eine Verbindung zu Visual Studio Online hergestellt wird. (Dieses Kennzeichen ist nur verfügbar, wenn Sie über Visual Studio 2013 Update 4 oder höher verfügen.)

/build

Dies ist optional. Gibt die Nummer des Builds an, der dem Testlauf zugeordnet ist. Wenn die /buildDir-Option nicht angegeben wird, wird der Ablageort dieses Builds verwendet, um die Testbinärdateien einzubinden.

/buildDefinition

Name der Builddefinition, zu der der Build gehört.

/flavor

Buildkonfiguration, die verwendet werden soll, falls der Build mehr als eine Buildkonfiguration aufweist.

/platform

Buildplattform, die verwendet werden soll, falls der Build mehr als eine Buildplattform aufweist.

/? oder help

Zeigt die Hilfe zum Befehl im Eingabeaufforderungsfenster an.

Verfahren

Aufführen aller Konfigurationen im Teamprojekt

So führen Sie alle Konfigurationen im Teamprojekt auf

  1. Öffnen Sie eine Visual Studio-Eingabeaufforderung.

    Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.

    Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".

  2. Um alle Konfigurationen im Teamprojekt aufzuführen, geben Sie Folgendes an der Eingabeaufforderung ein:

    tcm configs /list /collection:<CollectionURL> /teamproject:<Team Project name>

    Die Ergebnisse sehen in etwa wie folgt aus:

    Id Name

    ---------------- ------------------

    1 Vista and IE 7

    25 Vista and IE 8

    Hinweis

    Sie können Pläne für das Teamprojekt auch mit dem folgenden Befehl aufführen: Tcm plans /list /collection:<CollectionURL> /teamproject:<Team Project name>

Aufführen aller Testpläne im Teamprojekt

So führen Sie alle Testpläne im Teamprojekt auf

  1. Öffnen Sie eine Visual Studio-Eingabeaufforderung.

    Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.

    Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".

  2. Um alle Pläne im Teamprojekt aufzuführen, geben Sie Folgendes an der Eingabeaufforderung ein:

    tcm plans /list /collection:<CollectionURL> /teamproject:<Team Project name>

    Die Ergebnisse sehen in etwa wie folgt aus:

    Id Name

    ---------------- ------------------

    1 Beta 1 Test Plan

    22 RTM Test Plan

  3. (Optional) Um alle Testsammlungen in einem Testplan zu suchen, geben Sie Folgendes an der Eingabeaufforderung ein:

    tcm suites /list /planid:<your plan id> /collection:<CollectionURL> /teamproject:<Team Project name>

    Die Ergebnisse sehen in etwa wie folgt aus:

    Id Name

    ---------------- ------------------

    1 Priority 1 Test Suite

    15 Shopping Cart Test Suite

Aufführen aller Testumgebungen für das Teamprojekt

So führen Sie alle Testumgebungen für das Teamprojekt auf

  1. Öffnen Sie eine Visual Studio-Eingabeaufforderung.

    Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.

    Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".

  2. Um alle Pläne im Teamprojekt aufzuführen, geben Sie Folgendes an der Eingabeaufforderung ein:

    tcm testenvironments /list /collection:<CollectionURL> /teamproject:<Team Project name>

    Die Ergebnisse sehen in etwa wie folgt aus:

    Name Description

    ---------------- ------------------

    Staging Environment Use to test staging environment

    Testing Environment for Customer ABC

Aufführen aller Testsammlungen im Testplan

So führen Sie alle Testsammlungen im Testplan auf

  1. Öffnen Sie eine Visual Studio-Eingabeaufforderung.

    Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.

    Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".

  2. Um alle Testsammlungen in einem Testplan zu suchen, geben Sie Folgendes an der Eingabeaufforderung ein:

    tcm suites /list /planid:<your plan id> /collection:<CollectionURL> /teamproject:<Team Project name>

    Die Ergebnisse sehen in etwa wie folgt aus:

    Id Name

    ---------------- ------------------

    1 Priority 1 Test Suite

    15 Shopping Cart Test Suite

Erstellen eines Testlaufs mithilfe einer Testpunktabfrage

So erstellen Sie einen Testlauf mithilfe einer Testpunktabfrage

  1. Öffnen Sie eine Visual Studio-Eingabeaufforderung.

    Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.

    Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".

  2. Erstellen Sie auf Grundlage der Informationen in der folgenden Tabelle einen Testlauf, der eine Testpunktabfrage für eine bestimmte Testkonfiguration verwendet.

    Id

    Wert

    Plan-ID

    1

    Config-ID

    13

    Geben Sie Folgendes an der Eingabeaufforderung ein:

    tcm run /create /title:"Nightly Run" /planid:1 /querytext:"SELECT * FROM TestPoint WHERE ConfigurationId=13" /settingsname:"<Name of your automated test settings>" /testenvironment:"<Name of a matching environment>" /collection:<CollectionURL> /teamproject:<Team Project name>

    Die Ergebnisse sehen in etwa wie folgt aus:

    Run created with ID: <xxx>.

    Hinweis

    Sie müssen Testeinstellungen und eine Umgebung bereitstellen, die dem Satz von Rollen in den Testeinstellungen für einen automatisierten Testlauf mit "tcm.exe" entspricht.Weitere Informationen über Testeinstellungen und -umgebungen finden Sie unter Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten.Informationen über das Erstellen von Testeinstellungen finden Sie unter Erstellen von Testeinstellungen für automatisierte Systemtests mit Microsoft Test Manager.

  3. Um den Status des Testlaufs anzuzeigen, führen Sie die Schritte in Anzeigen und Aktualisieren der Testergebnisse aus.

Erstellen eines Testlaufs zu einer Testsammlung und einer bestimmten Konfiguration

So erstellen Sie einen Testlauf zu einer Testsammlung und einer bestimmten Konfiguration

  1. Öffnen Sie eine Visual Studio-Eingabeaufforderung.

    Wählen Sie dazu Start, zeigen Sie auf Alle Programme, auf Microsoft Visual Studio 2012 und auf Visual Studio Tools, und wählen Sie dann Developer-Eingabeaufforderung.

    Die Eingabeaufforderung öffnet mit folgendem Ordner: "<Laufwerk>:\Program Files\Microsoft Visual Studio 11.0\VC".

  2. Erstellen Sie mit den Informationen in der folgenden Tabelle einen Testlauf für alle Tests in einer Testsammlung für eine bestimmte Konfiguration.

    Id

    Wert

    Plan-ID

    1

    Suite-ID

    5

    Config-ID

    13

    Geben Sie Folgendes an der Eingabeaufforderung ein:

    tcm run /create /title:"Nightly Run" /planid:1 /suiteid:5 /configid:13 /settingsname:"<Name of your automated test settings>" /testenvironment:"<Name of a matching environment>" /collection:<CollectionURL> /teamproject:<Team Project name>

    Die Ergebnisse sehen in etwa wie folgt aus:

    Run created with ID: <xxx>.

    Hinweis

    Sie müssen Testeinstellungen und eine Umgebung bereitstellen, die dem Satz von Rollen in den Testeinstellungen für einen automatisierten Testlauf mit "tcm.exe" entspricht.Weitere Informationen über Testeinstellungen und -umgebungen finden Sie unter Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten.Informationen über das Erstellen von Testeinstellungen finden Sie unter Erstellen von Testeinstellungen für automatisierte Systemtests mit Microsoft Test Manager.

  3. Um den Status des Testlaufs anzuzeigen, führen Sie die Schritte in Anzeigen und Aktualisieren der Testergebnisse aus.

Anzeigen und Aktualisieren der Testergebnisse

So zeigen Sie Testergebnisse an und aktualisieren diese

  1. Öffnen Sie Microsoft Test Manager.

    Hinweis

    Wählen Sie zur Anzeige des Microsoft Test Manager-Fensters "Start" und dann "Alle Programme".Zeigen Sie auf "Microsoft Visual Studio 2012", und wählen Sie dann "Microsoft Test Manager".

  2. Wählen Sie zum Anzeigen der Testergebnisse in der Centergruppenauswahl den Pfeil nach unten und anschließend Test-Center aus.

  3. Wählen Sie auf der Centergruppen-Menüleiste die Option Test und dann Testläufe analysieren aus.

    Die Aktivität Testläufe analysieren wird angezeigt, in der alle Testläufe für diesen Testplan angezeigt werden.

  4. Öffnen Sie den Testlauf mit dem Titel, den Sie ihm in der Befehlszeile gegeben haben, um ihn zu öffnen und die Details anzuzeigen.

    Die Testlaufdetails werden angezeigt.

  5. (Optional) Um den Titel des Testlaufs zu aktualisieren, geben Sie den neuen Namen in das Feld Titel ein.

  6. (Optional) Wenn der Test fehlgeschlagen ist, können Sie den Grund für den Fehler aktualisieren. Klicken Sie auf Lösung, und wählen dann den Grund für den Fehler aus der Liste aus.

  7. (Optional) Um dem Testergebnis Kommentare hinzuzufügen, wählen Sie das Symbol Kommentare. Geben Sie Ihren Kommentar ein, und wählen Sie dann Kommentare speichern.

  8. (Optional) Zum Anzeigen der Details eines einzelnen Tests öffnen Sie den jeweiligen Test.

    Das Testergebnis, das angezeigt wird, zeigt die Details zum Testlauf und dem Verlauf der Testergebnisse für diesen Test. Sie können diese Ansicht schließen, um zum Testlauf zurückzukehren.

    Hinweis

    Wenn Sie auf der Basis der Analyse feststellen, dass ein Fehler vorhanden ist, können Sie aus dieser Ansicht heraus einen Fehler erstellen.

  9. Um die Änderungen für diesen Testlauf zu speichern, wählen Sie auf der Symbolleiste Speichern aus.

Siehe auch

tcm: Listing test plans, test suites, test configurations, and environments
tcm: Running Tests from a Test Plan Using the Command Line Utility
Ausführen von automatisierten Tests über die Befehlszeile
Planen von manuellen Tests mit Team Web Access