Testen unterschiedlicher Konfigurationen

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019 | TFS 2018

Ihre Benutzer werden Ihre App wahrscheinlich auf einer Vielzahl von Konfigurationen installieren oder ausführen, z. B. auf verschiedenen Betriebssystemen, Webbrowsern und anderen Variationen. Sie sollten mindestens einige Ihrer Tests in Phasen ausführen, die über diese verschiedenen Konfigurationen verfügen.

Verwenden Sie Ihre Testpläne, um zu entscheiden, welche Tests sie für welche Konfigurationen ausführen möchten. Sie müssen sicherstellen, dass Sie beim Ausführen der Tests, die Sie für die benötigten Konfigurationen eingerichtet haben, Ihre Phasen eingerichtet haben.

Sie können eine schematische Matrix der Kombinationen zeichnen, die Sie testen möchten:

Testmatrix von Browser- und Betriebssystemkonfigurationen

Danach können Sie:

Voraussetzungen

  • Sie müssen eine Verbindung mit einem Projekt herstellen. Wenn Sie noch kein Projekt haben, erstellen Sie eines.
  • Sie müssen einem Projekt hinzugefügt werden. Um hinzugefügt zu werden, fügen Sie einem Projekt oder Team Benutzer hinzu.
  • Um Testkonfigurationen anzuzeigen oder hinzuzufügen, müssen Sie über einen einfachen Zugriff oder höher verfügen.
  • Um Testkonfigurationen hinzuzufügen, müssen Sie über die Berechtigung zum Verwalten von Testkonfigurationen auf Projektebene verfügen, die auf "Zulassen" festgelegt ist. Standardmäßig wird diese Berechtigung Mitgliedern der Gruppen "Mitwirkender" und "Projektadministrator" erteilt.

Weitere Informationen finden Sie unter Manueller Testzugriff und Berechtigungen.

Arbeiten mit dem TCM-Befehlszeilentool

Um das Befehlszeilentool TCM zu verwenden, müssen die folgenden Elemente vorhanden sein:

  • Visual Studio 2017 Professional oder frühere Version installiert. Sie greifen über die Eingabeaufforderung und die folgenden Verzeichnisse auf TCM zu:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
  • Wenn Sie einen TCM-Befehl ausführen möchten, geben Sie die Parameter und /teamproject ggf/login. an/collection.

    Parameter Beschreibung
    /Auflistung:CollectionURL Erforderlich. Gibt den URI der Teamprojektsammlung an. Das Format für den URI lautet wie folgt:
    – Für Azure DevOps Services: http://dev.azure.com/OrganizationName
    - Für Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Wenn kein virtuelles Verzeichnis verwendet wird, lautet das Format für den URI wie folgt:http://ServerName:Port/CollectionName
    /teamproject:project Erforderlich. Der Name des Projekts, das die Testobjekte enthält, in die Sie automatisierte Tests klonen oder importieren möchten.
    /login:username,[password] Optional. Gibt den Namen und das Kennwort eines gültigen Azure DevOps-Benutzers an, der über Berechtigungen zum Ausführen des Befehls verfügt. Verwenden Sie diese Option, wenn Ihre Windows-Anmeldeinformationen nicht über die entsprechenden Berechtigungen verfügen, oder Sie die Standardauthentifizierung verwenden oder keine Verbindung mit einer Domäne herstellen.
  • Sie müssen ein gültiges Mitglied eines oder mehrerer Projekte sein, auf die Sie zugreifen möchten, und über die erforderlichen Berechtigungen verfügen, basierend auf den ausgeführten Befehlen. Weitere Informationen finden Sie unter "Manueller Testzugriff und Berechtigungen".

  • Zum Hinzufügen von Testplänen und Testsammlungen zum Klonen oder Importieren von Testobjekten benötigen Sie dieselben Zugriffsstufen.

Anzeigen von Konfigurationen und Variablen

Häufig möchten Sie die Konfigurationen sehen, die bereits zum Ausführen ihrer Tests verfügbar sind.

Sie können eine Liste der Testkonfigurationen und Konfigurationsvariablen auf der Seite "Konfigurationen" anzeigen.

Wählen Sie im Projekt "Konfigurationen>testen" im linken Navigationsbereich aus. Hier sehen Sie alle Testkonfigurationen und -variablen, die derzeit für Ihre Testpläne verfügbar sind.

Screenshot des Abfrage-Editors, Abfragetestpläne.

Wählen Sie eine Konfiguration oder Variable aus, um weitere Informationen darüber im Fenster rechts anzuzeigen.

Erstellen von Konfigurationen und Variablen

Eine Testkonfiguration ist eine Kombination aus Konfigurationsvariablenwerten. Ihre Konfigurationsvariablen können z. B. Betriebssystem, Browser, CPU-Typ, Datenbank sein. Eine Konfiguration kann "Windows 8 + 32-Bit-CPU" oder "Windows 10 + 64-Bit-CPU" sein.

Erstellen Sie zuerst die Konfigurationsvariablen. Kombinieren Sie dann mehrere Variablenwerte, um eine Konfiguration zu erstellen.

  1. Öffnen Sie die Seite "Konfigurationen" im Webportal "Testpläne ", wählen Sie das + Symbol und dann " Neue Konfigurationsvariable" aus.

    Screenshot der Option

  2. Geben Sie einen Namen für die Variable ein, z . B. Browser und eine Beschreibung. Wählen Sie "Neuen Wert hinzufügen" aus, und fügen Sie dann einen Wert hinzu. Fügen Sie der Konfigurationsvariable beliebig viele Werte hinzu, und speichern Sie sie dann.

    Screenshot zeigt das Hinzufügen von Werten zu einer neuen Konfigurationsvariablen.

  3. Wiederholen Sie die Schritte zum Erstellen anderer Konfigurationsvariablen, die Sie benötigen. Erstellen Sie beispielsweise eine Konfigurationsvariable namens "Betriebssystem " mit den Namen jedes Betriebssystems, auf dem Sie testen möchten.

    Screenshot zeigt das Festlegen der Werte für eine Konfigurationsvariable des Betriebssystems.

  4. Wählen Sie das + Symbol und dann " Neue Testkonfiguration" aus.

    Screenshot der Option

  5. Geben Sie einen Namen für die Testkonfiguration ein, und fügen Sie die von Ihnen erstellten Konfigurationsvariablen hinzu. Wählen Sie für jede Variable für diese Konfiguration einen Wert aus.

    Screenshot zeigt das Hinzufügen von Variablen zur neuen Testkonfiguration.

    Stellen Sie sicher, dass die Option "Neuen Testplänen zuweisen" aktiviert ist, um diese Konfiguration als Standard für alle neuen Testpläne festzulegen, die Sie erstellen.

  6. Speichern Sie Die neue Testkonfiguration.

Eine Testkonfiguration ist eine Kombination aus Konfigurationsvariablenwerten. Ihre Konfigurationsvariablen können z. B. Betriebssystem, Browser, CPU-Typ, Datenbank sein. Eine Konfiguration kann "Windows 8 + 32-Bit-CPU" oder "Windows 10 + 64-Bit-CPU" sein.

Sie müssen zuerst die Konfigurationsvariablen erstellen. Kombinieren Sie dann mehrere Variablenwerte, um eine Konfiguration zu erstellen.

  1. Öffnen Sie die Seite "Konfigurationen" im Webportal "Testpläne", wählen Sie dasneuSymbol und dann "Neue Konfigurationsvariable" aus.

    Hinzufügen einer neuen Konfigurationsvariable

  2. Geben Sie einen Namen für die Variable ein, z . B. Browser, und geben Sie einen Wert ein. Fügen Sie der Konfigurationsvariable beliebig viele Werte hinzu, und speichern Sie sie dann.

    Festlegen der Werte für eine neue Konfigurationsvariable

  3. Wiederholen Sie die Schritte zum Erstellen anderer Konfigurationsvariablen, die Sie benötigen. Erstellen Sie beispielsweise eine Konfigurationsvariable namens "Betriebssystem " mit den Namen jedes Betriebssystems, auf dem Sie testen möchten.

    Festlegen der Werte für eine Konfigurationsvariable für Betriebssysteme

  4. Wählen Sie das neu Symbol und dann " Neue Testkonfiguration" aus.

    Hinzufügen einer neuen Testkonfiguration

  5. Geben Sie einen Namen für die Testkonfiguration ein, und fügen Sie die von Ihnen erstellten Konfigurationsvariablen hinzu. Wählen Sie für jede Variable für diese Konfiguration einen Wert aus.

    Hinzufügen von Variablen zur neuen Testkonfiguration

    Stellen Sie sicher, dass " Neuen Testplänen zuweisen" aktiviert ist, um dies als Standardkonfiguration für alle neuen Testpläne zu konfigurieren, die Sie erstellen.

  6. Speichern Sie Die neue Testkonfiguration.

Zuweisen von Konfigurationen zum Testen von Plänen und Suites

Sie können einer Testsuite oder einem einzelnen Testfall Konfigurationen zuweisen. Konfigurationen, die einer Testsuite zugewiesen sind, gelten für alle Darin enthaltenen Tests oder Suites.

  1. Um einer Testsuite eine Konfiguration zuzuweisen, wählen Sie auf der Seite "Testpläne " einen Plan aus. Wählen Sie im Bereich "Testsuiten" eine Testsuite aus, und wählen Sie "Weitere Optionen" aus, oder klicken Sie mit der rechten Maustaste, um das Kontextmenü zu öffnen, und wählen Sie dann "Konfiguration zuweisen" aus.

    Screenshot der Menüoption

    Wenn Sie einer Testsuite mehrere Konfigurationen hinzufügen, werden die Testfälle bei jeder der von Ihnen zugewiesenen Konfigurationen wiederholt.

    Screenshot zeigt mehrere Konfigurationszuweisungen zu einer Testsuite.

  2. Setzen Sie bei Bedarf die Standardkonfiguration außer Kraft, die einem Testfall zugewiesen ist, und weisen Sie die benötigte Konfiguration zu. Wählen Sie einen oder mehrere Testfälle aus, öffnen Sie das Kontextmenü, und wählen Sie "Konfiguration zuweisen" aus.

    Screenshot zeigt das Zuweisen einer Konfiguration, die einem Testfall zugewiesen ist.

  3. Suchen Und wählen Sie die Konfigurationen aus, die den Testfällen zugewiesen werden sollen.

    Screenshot zeigt die Einstellungskonfigurationen für einen Testfall.

Sie können einem Testplan, einer Testsuite oder einem einzelnen Testfall Konfigurationen zuweisen. Konfigurationen, die einem Testplan oder einer Testsuite zugewiesen sind, gelten für alle Darin enthaltenen Tests oder Suites.

  1. Um einem Testplan eine Konfiguration zuzuweisen, öffnen Sie auf der Seite "Testpläne " das Kontextmenü für den Plan, und wählen Sie " Konfiguration zum Testplan zuweisen" aus.

    Zuweisen einer Konfiguration zu einem Testplan

  2. Um einer Testsuite eine Konfiguration zuzuweisen, öffnen Sie das Kontextmenü für die Suite, und wählen Sie " Konfiguration zur Testsuite zuweisen" aus.

    Zuweisen einer Konfiguration zu einer Testsuite

    Wenn Sie einem Testplan oder einer Suite mehrere Konfigurationen hinzufügen, werden die Testfälle im Plan oder in der Suite wiederholt, wobei jede der von Ihnen zugewiesenen Konfigurationen verwendet wird.

    Mehrere Konfigurationszuweisungen zu einer Testsuite

  3. Setzen Sie bei Bedarf die Standardkonfiguration außer Kraft, die einem Testfall zugewiesen ist, und weisen Sie die benötigte Konfiguration zu. Wählen Sie einen oder mehrere Testfälle aus, öffnen Sie das Kontextmenü, und wählen Sie " Konfigurationen zuweisen" aus.

    Überschreiben der Standardkonfiguration, die einem Testfall zugewiesen ist

  4. Suchen Und wählen Sie die Konfigurationen aus, die diesen Testfällen zugewiesen werden sollen.

    Festlegen der erforderlichen Konfigurationen für einen Testfall

Ausführen von Tests mit jeder Konfiguration

Richten Sie eine Testplattform für eine bestimmte Konfiguration ein, z. B. das Testen der App mit Google Chrome unter Windows 10.

  1. Wählen Sie einen Test aus, dem diese Konfiguration zugewiesen ist, und führen Sie sie aus.

    Der Screenshot zeigt einen Test mit einer bestimmten Konfiguration und ausgewählter Option

    Beim Ausführen des Tests wird in der Statusleiste eine Erinnerung an die Konfiguration angezeigt.

    Screenshot der Konfiguration für diesen Test in der Statusleiste.

  1. Richten Sie eine Testplattform für eine bestimmte Konfiguration ein, z. B. das Testen der App mit Google Chrome unter Windows 10.

  2. Wählen Sie einen Test aus, dem diese Konfiguration zugewiesen ist, und führen Sie sie aus.

    Ausführen des Tests mit der zugewiesenen Konfiguration

    Beim Ausführen des Tests wird eine Erinnerung an die erforderliche Konfiguration in der Statusleiste des Fensters "Test Runner" angezeigt.

    Die erforderliche Konfiguration wird im Fenster

Nachverfolgen von Testergebnissen für jede Konfiguration

  1. Öffnen Sie die Seite "Diagramme " für Ihre Testsuite, wählen Sie "Neu" und dann " Neues Testergebnisdiagramm" aus.

    Screenshot der Menüoption

  2. Wählen Sie einen Diagrammtyp aus, z. B. ein Kreis- oder Balkendiagramm, und wählen Sie dann "Nach>Konfiguration gruppieren" und dann "OK" aus.

    Screenshot zeigt die Auswahl einer Konfigurationsoption für die Gruppe im Dialogfeld

    Es wird ein Diagramm erstellt, das Ihnen dabei helfen kann, Ihre Tests basierend auf Konfigurationen nachzuverfolgen. Sie können dieses Diagramm an Ihr Dashboard anheften.

    Screenshot eines Balkendiagramms mit Werten für

Wenn Sie über einen Testfall verfügen, der in mehreren Testsuiten angezeigt wird, können Sie die verschiedenen Konfigurationen für jede Suite festlegen. Derselbe Testfall kann unterschiedliche Konfigurationseinstellungen in verschiedenen Testsuiten und Testplänen aufweisen.

  1. Öffnen Sie die Seite "Diagramme " für Ihren Testplan oder Ihre Testsuite, wählen Sie "Neu" und dann " Neues Testergebnisdiagramm" aus.

    Erstellen eines neuen Testergebnisdiagramms

  2. Wählen Sie den gewünschten Diagrammtyp aus, wählen Sie "Konfiguration" in der Liste "Gruppieren nach" und dann "OK" aus.

    Auswählen des typs des diagramms, das Sie benötigen

    Es wird ein Diagramm erstellt, das Ihnen dabei helfen kann, Ihre Tests basierend auf Konfigurationen nachzuverfolgen. Sie können dieses Diagramm an Ihr Dashboard anheften.

    Das Konfigurationstestergebnisdiagramm

Wenn Sie über einen Testfall verfügen, der in mehreren Testplänen und Testsammlungen angezeigt wird, können Sie die verschiedenen Konfigurationen für jede dieser Konfigurationen festlegen. Derselbe Testfall kann unterschiedliche Konfigurationseinstellungen in verschiedenen Testsuiten und Testplänen aufweisen.