Verschillende configuraties testen

  • Artikel

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

Uw gebruikers zullen uw app waarschijnlijk installeren of uitvoeren op een groot aantal configuraties, zoals verschillende besturingssystemen, webbrowsers en andere variaties. U wilt ten minste enkele van uw tests uitvoeren in fasen met die verschillende configuraties.

Gebruik uw testplannen om te bepalen welke tests u wilt uitvoeren op welke configuraties. U moet ervoor zorgen dat wanneer u uw tests uitvoert die u hebt ingesteld voor de configuraties die u nodig hebt.

U kunt een schematische matrix tekenen van de combinaties die u wilt testen:

Matrix van browser- en besturingssysteemconfiguraties testen

Vervolgens kunt u het volgende doen:

Vereisten

  • U moet verbinding maken met een project. Als u nog geen project hebt, maakt u er een.
  • U moet worden toegevoegd aan een project. Als u wilt toevoegen, voegt u gebruikers toe aan een project of team.
  • Als u testconfiguraties wilt weergeven of toevoegen, moet u basic-toegang of hoger hebben.
  • Als u testconfiguraties wilt toevoegen, moet de machtiging Testconfiguraties op projectniveau beheren zijn ingesteld op Toestaan. Deze machtiging wordt standaard verleend aan leden van de groepen Inzenders en Project Beheer istrator.

Zie Handmatige testtoegang en -machtigingen voor meer informatie.

Werken met het opdrachtregelprogramma TCM

Als u het opdrachtregelprogramma TCM wilt gebruiken, moet u de volgende items hebben:

  • Visual Studio 2017 Professional of eerdere versie is geïnstalleerd. U opent TCM vanaf de opdrachtprompt en de volgende mappen:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Als u een TCM-opdracht wilt uitvoeren, geeft u de /collection en /teamproject parameters en /login indien nodig op.

    Parameter Description
    /Collectie:CollectionURL Vereist. Hiermee geeft u de URI van de teamprojectverzameling. De indeling voor de URI is als volgt:
    - Voor Azure DevOps Services: http://dev.azure.com/OrganizationName
    - Voor Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Als er geen virtuele map wordt gebruikt, is de indeling voor de URI als volgt:http://ServerName:Port/CollectionName
    /teamproject:project Vereist. De naam van het project met de testobjecten waarin u geautomatiseerde tests wilt klonen of importeren.
    /login:username,[password] Optioneel. Hiermee geeft u de naam en het wachtwoord op van een geldige Azure DevOps-gebruiker en wie machtigingen heeft om de opdracht uit te voeren. Gebruik deze optie als uw Windows-referenties niet over de juiste machtigingen beschikken, of als u basisverificatie gebruikt of als u geen verbinding hebt met een domein.

  • U moet een geldig lid zijn van een of meer projecten die u wilt openen en de vereiste machtigingen hebben op basis van de opdrachten die u uitvoert. Zie Handmatige testtoegang en machtigingen voor meer informatie.

  • U moet dezelfde toegangsniveaus hebben om testplannen en testsuites toe te voegen om testobjecten te klonen of te importeren.

Configuraties en variabelen weergeven

U wilt vaak de configuraties zien die al beschikbaar zijn om uw tests uit te voeren.

U kunt een lijst met testconfiguraties en configuratievariabelen bekijken op de pagina Configuraties .

Selecteer configuraties voor testplannen>in het linkernavigatiegebied in uw project. Hier ziet u alle testconfiguraties en variabelen die momenteel beschikbaar zijn voor uw testplannen.

Schermopname van Power Query-editor querytestplannen.

Selecteer een configuratie of variabele voor meer informatie hierover in het venster aan de rechterkant.

Configuraties en variabelen maken

Een testconfiguratie is een combinatie van configuratievariabelewaarden. Uw configuratievariabelen kunnen bijvoorbeeld het besturingssysteem, de browser, het CPU-type, de database zijn. Een configuratie kan 'Windows 8 + 32-bits CPU' of 'Windows 10 + 64-bits CPU' zijn.

Maak eerst de configuratievariabelen. Combineer vervolgens meerdere variabelewaarden om een configuratie te maken.

  1. Open de pagina Configuraties in de webportal Test plans, selecteer het + pictogram en selecteer Nieuwe configuratievariabele.

    Schermopname van de optie Nieuwe configuratievariabele in het menu Nieuw.

  2. Typ een naam voor de variabele, zoals Browser en een beschrijving. Selecteer Nieuwe waarde toevoegen en voeg vervolgens een waarde toe. Voeg zoveel waarden toe als u de configuratievariabele wilt gebruiken en sla deze op.

    Schermopname van het toevoegen van waarden aan een nieuwe configuratievariabele.

  3. Herhaal de stappen om andere configuratievariabelen te maken die u nodig hebt. Maak bijvoorbeeld een configuratievariabele met de naam Besturingssysteem met de namen van elk besturingssysteem waarop u wilt testen.

    Schermopname van het instellen van de waarden voor een configuratievariabele voor besturingssystemen.

  4. Selecteer het + pictogram en selecteer Nieuwe testconfiguratie.

    Schermopname van de optie Nieuwe testconfiguratie in het menu Nieuw.

  5. Typ een naam voor de testconfiguratie en voeg de configuratievariabelen toe die u hebt gemaakt. Kies een waarde voor elke variabele voor deze configuratie.

    Schermopname van het toevoegen van variabelen aan de nieuwe testconfiguratie.

    Zorg ervoor dat Toewijzen aan nieuwe testplannen is ingeschakeld om deze configuratie de standaardinstelling te maken voor alle nieuwe testplannen die u maakt.

  6. Sla de nieuwe testconfiguratie op.

Een testconfiguratie is een combinatie van configuratievariabelewaarden. Uw configuratievariabelen kunnen bijvoorbeeld het besturingssysteem, de browser, het CPU-type, de database zijn. Een configuratie kan 'Windows 8 + 32-bits CPU' of 'Windows 10 + 64-bits CPU' zijn.

U moet eerst de configuratievariabelen maken. Combineer vervolgens meerdere variabelewaarden om een configuratie te maken.

  1. Open de pagina Configuraties in de webportal Test plans, kies het Nieuw pictogram en selecteer Nieuwe configuratievariabele.

    Een nieuwe configuratievariabele toevoegen

  2. Typ een naam voor de variabele, zoals Browser, en typ een waarde. Voeg zoveel waarden toe als u de configuratievariabele wilt gebruiken en sla deze op.

    De waarden voor een nieuwe configuratievariabele instellen

  3. Herhaal de stappen om andere configuratievariabelen te maken die u nodig hebt. Maak bijvoorbeeld een configuratievariabele met de naam Besturingssysteem met de namen van elk besturingssysteem waarop u wilt testen.

    De waarden voor een configuratievariabele voor besturingssystemen instellen

  4. Kies het Nieuw pictogram en selecteer Nieuwe testconfiguratie.

    Een nieuwe testconfiguratie toevoegen

  5. Typ een naam voor de testconfiguratie en voeg de configuratievariabelen toe die u hebt gemaakt. Kies een waarde voor elke variabele voor deze configuratie.

    Variabelen toevoegen aan de nieuwe testconfiguratie

    Zorg ervoor dat Toewijzen aan nieuwe testplannen is ingeschakeld om dit de standaardconfiguratie te maken voor alle nieuwe testplannen die u maakt.

  6. Sla de nieuwe testconfiguratie op.

Configuraties toewijzen om plannen en suites te testen

U kunt configuraties toewijzen aan een testpakket of een afzonderlijke testcase. Configuraties die zijn toegewezen aan een testsuite, zijn van toepassing op alle tests of suites hierin.

  1. Als u een configuratie wilt toewijzen aan een testpakket, selecteert u op de pagina Testplannen een plan. Selecteer in het gebied Test Suites een testsuite en selecteer Meer opties of klik met de rechtermuisknop om het contextmenu te openen en selecteer vervolgens Configuratie toewijzen.

    Schermopname van de menuoptie Configuratie toewijzen.

    Als u meerdere configuraties aan een testpakket toevoegt, worden de testcases herhaald met elk van de configuraties die u hebt toegewezen.

    Schermopname van meerdere configuratietoewijzingen voor een testpakket.

  2. Overschrijf indien nodig de standaardconfiguratie die is toegewezen aan een testcase en wijs de configuratie toe die u nodig hebt. Selecteer een of meer testcases, open het contextmenu en selecteer Configuratie toewijzen.

    Schermopname van het toewijzen van een configuratie die is toegewezen aan een testcase.

  3. Zoek en selecteer de configuraties die u wilt toewijzen aan de testcases.

    Schermopname van het instellen van configuraties voor een testcase.

U kunt configuraties toewijzen aan een testplan, een testpakket of een afzonderlijke testcase. Configuraties die zijn toegewezen aan een testplan of testpakket, zijn van toepassing op alle tests of suites hierin.

  1. Als u een configuratie wilt toewijzen aan een testplan, opent u op de pagina Testplannen het snelmenu voor het plan en kiest u Configuratie toewijzen om het plan te testen.

    Een configuratie toewijzen aan een testplan

  2. Als u een configuratie wilt toewijzen aan een testpakket, opent u het snelmenu voor het pakket en kiest u Configuratie toewijzen om het pakket te testen.

    Een configuratie toewijzen aan een testpakket

    Als u meerdere configuraties toevoegt aan een testplan of -suite, worden de testcases herhaald in het plan of pakket met elk van de configuraties die u hebt toegewezen.

    Meerdere configuratietoewijzingen voor een testpakket

  3. Overschrijf indien nodig de standaardconfiguratie die is toegewezen aan een testcase en wijs de configuratie toe die u nodig hebt. Selecteer een of meer testcases, open het snelmenu en kies Configuraties toewijzen.

    De standaardconfiguratie die is toegewezen aan een testcase overschrijven

  4. Zoek en selecteer de configuraties die u aan deze testcase(s) wilt toewijzen.

    De vereiste configuraties voor een testcase instellen

Tests uitvoeren met elke configuratie

Stel een testplatform in voor een bepaalde configuratie, zoals het testen van de app met Behulp van Google Chrome in Windows 10.

  1. Selecteer en voer een test uit waaraan deze configuratie is toegewezen.

    Schermopname van een test met een specifieke configuratie en de optie Uitvoeren voor webtoepassing geselecteerd.

    Wanneer u de test uitvoert, wordt er een herinnering van de configuratie weergegeven op de statusbalk.

    Schermopname van de configuratie voor deze test op de statusbalk.

  1. Stel een testplatform in voor een bepaalde configuratie, zoals het testen van de app met Behulp van Google Chrome in Windows 10.

  2. Selecteer en voer een test uit waaraan deze configuratie is toegewezen.

    De test uitvoeren met de toegewezen configuratie

    Terwijl u de test uitvoert, wordt er een herinnering gegeven aan de vereiste configuratie in de statusbalk van het venster Test Runner.

    De vereiste configuratie wordt weergegeven in het venster Test Runner

Testresultaten bijhouden voor elke configuratie

  1. Open de pagina Grafieken voor uw testpakket, selecteer Nieuw en selecteer Nieuw testresultaatgrafiek.

    Schermopname van de menuoptie Nieuwe testresultatengrafiek.

  2. Kies een type grafiek, zoals een cirkeldiagram of staafdiagram, en selecteer vervolgens Groeperen op>configuratie en kies OK.

    Schermopname van het kiezen van een configuratieoptie voor groeperen op in het dialoogvenster Grafiek configureren.

    Er wordt een grafiek gemaakt waarmee u uw tests kunt bijhouden op basis van configuraties. U kunt deze grafiek vastmaken aan uw dashboard.

    Schermopname van een staafdiagram met waarden voor Niet uitvoeren, Geslaagd en Mislukt.

Als u een testcase hebt die in verschillende testsuites wordt weergegeven, kunt u de verschillende configuraties voor elke suite instellen. Dezelfde testcase kan verschillende configuratie-instellingen hebben in verschillende testsuites en testplannen.

  1. Open de pagina Grafieken voor uw testplan of testpakket, kies Nieuw en selecteer Nieuw testresultaatdiagram.

    Een nieuw testresultaatdiagram maken

  2. Kies het type grafiek dat u nodig hebt, selecteer Configuratie in de lijst Groeperen op en kies OK.

    Het type grafiek kiezen dat u nodig hebt

    Er wordt een grafiek gemaakt waarmee u uw tests kunt bijhouden op basis van configuraties. U kunt deze grafiek vastmaken aan uw dashboard.

    De grafiek met resultaten van de configuratietest

Als u een testcase hebt die wordt weergegeven in verschillende testplannen en testsuites, kunt u de verschillende configuraties voor elk van deze configuraties instellen. Dezelfde testcase kan verschillende configuratie-instellingen hebben in verschillende testsuites en testplannen.