Testen unterschiedlicher Konfigurationen

Azure Test Plans | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018 – TFS 2015

Die Benutzer installieren Ihre App wahrscheinlich in einer Vielzahl von Konfigurationen, dazu zählen beispielsweise unterschiedliche Betriebssysteme, Webbrowser und andere Variationen. Sie möchten mindestens einige Ihrer Tests in Phasen ausführen, die über diese unterschiedlichen Konfigurationen verfügen.

Verwenden Sie Ihre Testpläne, um zu entscheiden, welche Tests für welche Konfigurationen ausgeführt werden sollen. Sie müssen sicherstellen, dass Sie beim Ausführen der Tests die Phasen für die benötigten Konfigurationen eingerichtet haben.

Sie können eine schematische Matrix der Kombinationen zeichnen, die Sie testen möchten:

Test matrix of browser and operating system configurations

Anschließend haben Sie folgende Möglichkeiten:

Voraussetzungen

  • Sie müssen eine Verbindung mit einem Projekt herstellen. Wenn Sie noch kein Projekt haben, erstellen Sie eine.
  • Sie müssen einem Projekt hinzugefügt werden. Um hinzugefügt zu werden, fügen Sie Einem Projekt oder Team Benutzer hinzu.
  • Zum Anzeigen oder Hinzufügen von Testkonfigurationen benötigen Sie Basic-Zugriff oder höher.
  • Zum Hinzufügen von Testkonfigurationen muss die Berechtigung Testkonfigurationen verwalten auf Projektebene auf Zulassenfestgelegt sein. Standardmäßig wird diese Berechtigung Mitgliedern der Gruppen Mitwirkender und Project Administrator gewährt.

Weitere Informationen finden Sie unter Manueller Testzugriff und Berechtigungen.

Arbeiten mit dem TCM-Befehlszeilentool

Um das TCM-Befehlszeilentool ausführen zu können, benötigen Sie Folgendes:

  • Installiert Visual Studio 2017 Professional oder einer früheren Version. Sie greifen über die Eingabeaufforderung und die folgenden Verzeichnisse auf TCM zu: %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Um einen TCM-Befehl auszuführen, geben Sie die /collection Parameter und und nach Bedarf /teamproject/login an.

    Parameter BESCHREIBUNG
    /collection Erforderlich. Gibt den URI der Teamprojektauflistung an. Das Format für den URI lautet wie folgt:
    – Für Azure DevOps Services:http://dev.azure.com/OrganizationName
    – Für Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName . Wenn kein virtuelles Verzeichnis verwendet wird, hat der URI das folgende Format:http://ServerName:Port/CollectionName
    /teamproject: Erforderlich. Der Name des Projekts, das die Testobjekte enthält, in die Sie automatisierte Tests klonen oder importieren möchten.
    /login: Optional. Gibt den Namen und das Kennwort eines gültigen Azure DevOps Benutzers an, der über Berechtigungen zum Ausführen des Befehls verfügt. Verwenden Sie diese Option, wenn Ihre Windows-Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, Sie die Standardauthentifizierung verwenden oder keine Verbindung mit einer Domäne hergestellt haben.
  • Sie müssen ein gültiges Mitglied der Projekte sein, auf die Sie zugreifen möchten, und über die erforderlichen Berechtigungen basierend auf den ausgeführten Befehlen verfügen. Weitere Informationen finden Sie unter Manueller Testzugriff und Berechtigungen.

  • Zum Klonen oder Importieren von Testobjekten müssen Ihnen die gleichen Zugriffsebenen gewährt worden sein, die zum Hinzufügen von Testplänen und Testsammlungen erforderlich sind, wie unter Voraussetzungenbeschrieben.

Anzeigen von Konfigurationen und Variablen

Häufig möchten Sie die Konfigurationen anzeigen, die bereits zum Ausführen der Tests verfügbar sind.

Sie können eine Liste der Testkonfigurationen und Konfigurationsvariablen auf der Seite Konfigurationen anzeigen.

Wählen Sie in Ihrem Projekt imlinken Navigationsbereich Test Plans Konfigurationen aus. Hier sehen Sie alle Testkonfigurationen und Variablen, die derzeit für Ihre Testpläne verfügbar sind.

Screenshot of Query Editor, Query test plans.

Wählen Sie eine Konfiguration oder Variable aus, um weitere Informationen dazu im Fenster rechts anzuzeigen.

Erstellen von Konfigurationen und Variablen

Eine Testkonfiguration ist eine Kombination aus Konfigurationsvariablenwerten. Die Konfigurationsvariablen können beispielsweise ein Betriebssystem, Browser, CPU-Typ oder eine Datenbank sein. Eine Konfiguration kann "Windows 8 + 32-Bit-CPU" oder "Windows 10 + 64-Bit-CPU" sein.

Erstellen Sie zuerst die Konfigurationsvariablen. Kombinieren Sie dann mehrere Variablenwerte, um eine Konfiguration zu erstellen.

  1. Öffnen Sie die Seite Konfigurationen im Test Plans Webportal, wählen Sie das Symbol und dann Neue Konfigurationsvariableaus.

    Screenshot shows the New configuration variable option in New menu.

  2. Geben Sie einen Namen für die Variable ein, z. B. Browser,und eine Beschreibung. Wählen Sie Neuen Wert hinzufügenaus, und fügen Sie dann einen Wert hinzu. Fügen Sie der Konfigurationsvariablen beliebig viele Werte hinzu, und speichern Sie sie.

    Screenshot shows adding values to a new configuration variable.

  3. Wiederholen Sie die Schritte, um alle anderen Konfigurationsvariablen zu erstellen, die Sie benötigen. Erstellen Sie beispielsweise eine Konfigurationsvariable namens Betriebssystem mit den Namen jedes Betriebssystems, auf dem Sie testen möchten.

    Screenshot shows setting the values for an Operating Systems configuration variable.

  4. Wählen Sie das + Symbol und dann Neue +

    Screenshot shows the New test configuration option in the New menu.

  5. Geben Sie einen Namen für die Testkonfiguration ein, und fügen Sie die erstellten Konfigurationsvariablen hinzu. Wählen Sie einen Wert für jede Variable für diese Konfiguration aus.

    Screenshot shows adding variables to the new test configuration.

    Stellen Sie sicher, dass Assign to new test plans (Neuen Testplänen zuweisen) aktiviert ist, um diese Konfiguration als Standard für alle neuen Testpläne zu konfigurieren, die Sie erstellen.

  6. Speichern Sie die neue Testkonfiguration.

Eine Testkonfiguration ist eine Kombination aus Konfigurationsvariablenwerten. Die Konfigurationsvariablen können beispielsweise ein Betriebssystem, Browser, CPU-Typ oder eine Datenbank sein. Eine Konfiguration kann "Windows 8 + 32-Bit-CPU" oder "Windows 10 + 64-Bit-CPU" sein.

Sie müssen zuerst die Konfigurationsvariablen erstellen. Kombinieren Sie dann mehrere Variablenwerte, um eine Konfiguration zu erstellen.

  1. Öffnen Sie die Seite Konfigurationen im Test Plans Webportal, wählen Sie das Symbol und dann new Neue Konfigurationsvariableaus.

    Adding a new configuration variable

  2. Geben Sie einen Namen für die Variable ein, z. B. Browser, und geben Sie einen Wert ein. Fügen Sie der Konfigurationsvariablen beliebig viele Werte hinzu, und speichern Sie sie.

    Setting the values for a new configuration variable

  3. Wiederholen Sie die Schritte, um alle anderen Konfigurationsvariablen zu erstellen, die Sie benötigen. Erstellen Sie beispielsweise eine Konfigurationsvariable namens Betriebssystem mit den Namen jedes Betriebssystems, auf dem Sie testen möchten.

    Setting the values for an Operating Systems configuration variable

  4. Wählen Sie das new Symbol und dann Neue Testkonfiguration aus.

    Adding a new test configuration

  5. Geben Sie einen Namen für die Testkonfiguration ein, und fügen Sie die erstellten Konfigurationsvariablen hinzu. Wählen Sie einen Wert für jede Variable für diese Konfiguration aus.

    Adding variables to the new test configuration

    Stellen Sie sicher, dass Zuweisen zu neuen Testplänen aktiviert ist, damit dies die Standardkonfiguration für alle neuen Testpläne ist, die Sie erstellen.

  6. Speichern Sie die neue Testkonfiguration.

Zuweisen von Konfigurationen zu Testplänen und Sammlungen

Sie können Konfigurationen einer Testsammlung oder einem einzelnen Testfall zuweisen. Konfigurationen, die einer Testsammlung zugewiesen sind, gelten für alle darin enthaltenen Tests oder Sammlungen.

  1. Um einer Testsammlung eine Konfiguration zuzuweisen, wählen Sie auf der Seite Testpläne einen Plan aus. Wählen Sie im Bereich Testsammlungen eine Testsammlung aus, wählen Sie Weitere Optionen aus, oder klicken Sie mit der rechten Maustaste, um das Kontextmenü zu öffnen, und wählen Sie dann Konfiguration zuweisenaus.

    Screenshot shows Assign configuration menu option.

    Wenn Sie einer Testsammlung mehrere Konfigurationen hinzufügen, werden die Testfälle mit jeder der von Ihnen zugewiesenen Konfigurationen wiederholt.

    Screenshot shows multiple configuration assignment to a test suite.

  2. Überschreiben Sie bei Bedarf die Standardkonfiguration, die einem Testfall zugewiesen ist, und weisen Sie die konfiguration zu, die Sie benötigen. Wählen Sie einen oder mehrere Testfälle aus, öffnen Sie das Kontextmenü, und wählen Sie Konfiguration zuweisenaus.

    Screenshot shows assigning a configuration assigned to a test case.

  3. Suchen Sie nach den Konfigurationen, die den Testfällen zugewiesen werden sollen, und wählen Sie sie aus.

    Screenshot shows setting configurations for a test case.

Sie können Konfigurationen einem Testplan, einer Testsammlung oder einem einzelnen Testfall zuweisen. Konfigurationen, die einem Testplan oder einer Testsammlung zugewiesen sind, gelten für alle darin enthaltenen Tests oder Sammlungen.

  1. Um einem Testplan eine Konfiguration zuzuweisen, öffnen Sie auf der Seite Testpläne das Kontextmenü für den Plan, und wählen Sie Konfiguration dem Testplan zuweisenaus.

    Assigning a configuration to a test plan

  2. Um einer Testsammlung eine Konfiguration zuzuweisen, öffnen Sie das Kontextmenü für die Suite, und wählen Sie Konfiguration der Testsammlung zuweisenaus.

    Assigning a configuration to a test suite

    Wenn Sie einem Testplan oder einer Testsammlung mehrere Konfigurationen hinzufügen, werden die Testfälle im Plan oder in der Sammlung mit jeder der von Ihnen zugewiesenen Konfigurationen wiederholt.

    Multiple configuration assignment to a test suite

  3. Überschreiben Sie bei Bedarf die Standardkonfiguration, die einem Testfall zugewiesen ist, und weisen Sie die konfiguration zu, die Sie benötigen. Wählen Sie einen oder mehrere Testfälle aus, öffnen Sie das Kontextmenü, und wählen Sie Konfigurationen zuweisenaus.

    Overriding the default configuration assigned to a test case

  4. Suchen Sie nach den Konfigurationen, die diesen Testfällen zugewiesen werden sollen, und wählen Sie sie aus.

    Setting the required configurations for a test case

Ausführen von Tests mit jeder Konfiguration

Richten Sie eine Testplattform für eine bestimmte Konfiguration ein, z. B. das Testen der App mit Google Chrome auf Windows 10.

  1. Wählen Sie einen Test aus, dem diese Konfiguration zugewiesen ist, und führen Sie diesen aus.

    Screenshot shows a test with a specific configuration and the Run for web application option selected.

    Wenn Sie den Test ausführen, wird in der Statusleiste eine Erinnerung an die Konfiguration angezeigt.

    Screenshot shows the configuration for this test in the status bar.

  1. Richten Sie eine Testplattform für eine bestimmte Konfiguration ein, z. B. das Testen der App mit Google Chrome auf Windows 10.

  2. Wählen Sie einen Test aus, dem diese Konfiguration zugewiesen ist, und führen Sie diesen aus.

    Running the test with the configuration assigned

    Wenn Sie den Test ausführen, wird eine Erinnerung an die erforderliche Konfiguration in angezeigt, die in der Statusleiste des Test Runner Fensters angezeigt wird.

    The required configuration appears in the Test Runner window

Nachverfolgen von Testergebnissen für jede Konfiguration

  1. Öffnen Sie die Seite Diagramme für Ihre Testsammlung, wählen Sie Neuund dann Neues Testergebnisdiagramm aus.

    Screenshot shows the New test result chart menu option.

  2. Wählen Sie einen Diagrammtyp aus, z. B. ein Kreis- oder Balkendiagramm, und wählen Sie dann Gruppieren nachKonfiguration und dann OKaus.

    Screenshot shows choosing a configuration option for group by in the configure chart dialog box.

    Es wird ein Diagramm erstellt, mit dem Sie Ihre Tests basierend auf Konfigurationen nachverfolgen können. Sie können dieses Diagramm an Ihr Dashboard anheften.

    Screenshot shows a bar chart with values for Not run, Passed, and Failed.

Wenn Sie über einen Testfall verfügen, der in mehreren Testsammlungen angezeigt wird, können Sie die verschiedenen Konfigurationen für jede Suite festlegen. Der gleiche Testfall kann verschiedene Konfigurationseinstellungen in unterschiedlichen Testauflistungen und Testplänen aufweisen.

  1. Öffnen Sie die Seite Diagramme für Ihren Testplan oder Ihre Testsammlung, wählen Sie Neuund dann Neues Testergebnisdiagramm aus.

    Creating a new test result chart

  2. Wählen Sie den gewünschten Diagrammtyp aus, wählen Sie in der Liste Gruppieren nach die Option Konfiguration und dann OKaus.

    Choosing the type of chart you require

    Es wird ein Diagramm erstellt, mit dem Sie Ihre Tests basierend auf Konfigurationen nachverfolgen können. Sie können dieses Diagramm an Ihr Dashboard anheften.

    The configuration test result chart

Wenn Sie über einen Testfall verfügen, der in mehreren Testplänen und Testsammlungen angezeigt wird, können Sie die verschiedenen Konfigurationen für jede dieser Konfigurationen festlegen. Der gleiche Testfall kann verschiedene Konfigurationseinstellungen in unterschiedlichen Testauflistungen und Testplänen aufweisen.