Testare configurazioni diverse

  • Articolo

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

È probabile che gli utenti installino o eseguano l'app in un'ampia gamma di configurazioni, ad esempio sistemi operativi diversi, Web browser e altre varianti. È consigliabile eseguire almeno alcuni dei test in fasi con queste configurazioni diverse.

Usare i piani di test per decidere quali test eseguire in quali configurazioni. È necessario assicurarsi che quando si eseguono i test configurati per le configurazioni necessarie.

È possibile disegnare una matrice schema delle combinazioni che si desidera testare:

Matrice di test delle configurazioni del browser e del sistema operativo

È quindi possibile:

Prerequisiti

  • È necessario connettersi a un progetto. Se non si ha ancora un progetto, crearne uno.
  • È necessario essere aggiunti a un progetto. Per essere aggiunto, aggiungere utenti a un progetto o a un team.
  • Per visualizzare o aggiungere configurazioni di test, è necessario disporre dell'accesso Basic o versione successiva.
  • Per aggiungere configurazioni di test, è necessario disporre dell'autorizzazione Gestisci configurazioni di test a livello di progetto impostata su Consenti. Per impostazione predefinita, questa autorizzazione viene concessa ai membri dei gruppi Collaboratori e Project Amministrazione istrator.

Per altre informazioni, vedere Accesso e autorizzazioni di test manuali.

Usare lo strumento da riga di comando TCM

Per usare lo strumento da riga di comando TCM, è necessario disporre degli elementi seguenti:

  • Installato Visual Studio 2017 Professional o versione precedente. È possibile accedere a TCM dal prompt dei comandi e dalle directory seguenti:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Per eseguire un comando TCM, specificare i /collection parametri e /teamproject e in /login base alle esigenze.

    Parametro Descrizione
    /Collezione:CollectionURL Obbligatorio. Specifica l'URI della raccolta di progetti team. Il formato per l'URI è il seguente:
    - Per Azure DevOps Services: http://dev.azure.com/OrganizationName
    - Per il server Azure DevOps: http://ServerName:Port/VirtualDirectoryName/CollectionName. Se non viene usata alcuna directory virtuale, il formato per l'URI è il seguente:http://ServerName:Port/CollectionName
    /teamproject:project Obbligatorio. Nome del progetto che contiene gli oggetti di test in cui si desidera clonare o importare test automatizzati.
    /login:username,[password] Facoltativo. Specifica il nome e la password di un utente di Azure DevOps valido e chi ha le autorizzazioni per eseguire il comando. Usare questa opzione se le credenziali di Windows non dispongono delle autorizzazioni appropriate o si sta usando l'autenticazione di base o se non si è connessi a un dominio.

  • È necessario essere un membro valido di uno o più progetti a cui si vuole accedere e disporre delle autorizzazioni necessarie in base ai comandi eseguiti. Per altre informazioni, vedere Accesso e autorizzazioni di test manuali.

  • È necessario disporre degli stessi livelli di accesso necessari per aggiungere piani di test e gruppi di test per clonare o importare oggetti di test.

Visualizzare configurazioni e variabili

Spesso si vogliono visualizzare le configurazioni già disponibili per eseguire i test.

È possibile visualizzare un elenco di configurazioni di test e variabili di configurazione dalla pagina Configurazioni .

Nel progetto selezionare Test Plans Configurations (Configurazioni piani>di test) nell'area di spostamento a sinistra. Qui verranno visualizzate tutte le configurazioni e le variabili di test attualmente disponibili per i piani di test.

Screenshot di Editor di query, Eseguire query sui piani di test.

Selezionare una configurazione o una variabile per visualizzare altre informazioni nella finestra a destra.

Creare configurazioni e variabili

Una configurazione di test è una combinazione di valori delle variabili di configurazione. Le variabili di configurazione potrebbero essere, ad esempio, il sistema operativo, il browser, il tipo di CPU, il database. Una configurazione potrebbe essere "Windows 8 + CPU a 32 bit" o "Windows 10 + CPU a 64 bit".

Creare prima le variabili di configurazione. Combinare quindi più valori di variabile per creare una configurazione.

  1. Aprire la pagina Configurazioni nel portale Web Test Plans , selezionare l'icona + e selezionare Nuova variabile di configurazione.

    Screenshot che mostra l'opzione Nuova variabile di configurazione nel menu Nuovo.

  2. Digitare un nome per la variabile, ad esempio Browser, e una descrizione. Selezionare Aggiungi nuovo valore e quindi aggiungere un valore. Aggiungere tutti i valori desiderati alla variabile di configurazione e quindi salvarli.

    Screenshot che mostra l'aggiunta di valori a una nuova variabile di configurazione.

  3. Ripetere i passaggi per creare qualsiasi altra variabile di configurazione necessaria. Ad esempio, creare una variabile di configurazione denominata Sistema operativo con i nomi di ogni sistema operativo in cui si vuole eseguire il test.

    Screenshot che mostra l'impostazione dei valori per una variabile di configurazione dei sistemi operativi.

  4. Selezionare l'icona + e selezionare Nuova configurazione di test.

    Screenshot che mostra l'opzione Nuova configurazione test nel menu Nuovo.

  5. Digitare un nome per la configurazione di test e aggiungere le variabili di configurazione create. Scegliere un valore per ogni variabile per questa configurazione.

    Screenshot che mostra l'aggiunta di variabili alla nuova configurazione di test.

    Assicurarsi che l'opzione Assegna ai nuovi piani di test sia selezionata per impostare questa configurazione come predefinita per tutti i nuovi piani di test creati.

  6. Salvare la nuova configurazione di test.

Una configurazione di test è una combinazione di valori delle variabili di configurazione. Le variabili di configurazione potrebbero essere, ad esempio, il sistema operativo, il browser, il tipo di CPU, il database. Una configurazione potrebbe essere "Windows 8 + CPU a 32 bit" o "Windows 10 + CPU a 64 bit".

È prima necessario creare le variabili di configurazione. Combinare quindi più valori di variabile per creare una configurazione.

  1. Aprire la pagina Configurazioni nel portale Web Piani di test, scegliere l'icona Nuovo… e selezionare Nuova variabile di configurazione.

    Aggiunta di una nuova variabile di configurazione

  2. Digitare un nome per la variabile, ad esempio Browser, e digitare un valore. Aggiungere tutti i valori desiderati alla variabile di configurazione e quindi salvarli.

    Impostazione dei valori per una nuova variabile di configurazione

  3. Ripetere i passaggi per creare qualsiasi altra variabile di configurazione necessaria. Ad esempio, creare una variabile di configurazione denominata Sistema operativo con i nomi di ogni sistema operativo in cui si vuole eseguire il test.

    Impostazione dei valori per una variabile di configurazione dei sistemi operativi

  4. Scegliere l'icona Nuovo… e selezionare Nuova configurazione di test.

    Aggiunta di una nuova configurazione di test

  5. Digitare un nome per la configurazione di test e aggiungere le variabili di configurazione create. Scegliere un valore per ogni variabile per questa configurazione.

    Aggiunta di variabili alla nuova configurazione di test

    Assicurarsi che l'opzione Assegna ai nuovi piani di test sia selezionata per impostare questa configurazione predefinita per tutti i nuovi piani di test creati.

  6. Salvare la nuova configurazione di test.

Assegnare configurazioni a piani e gruppi di test

È possibile assegnare configurazioni a un gruppo di test o a un singolo test case. Le configurazioni assegnate a un gruppo di test si applicano a tutti i test o i gruppi al suo interno.

  1. Per assegnare una configurazione a un gruppo di test, nella pagina Piani di test selezionare un piano. Nell'area Gruppi di test selezionare un gruppo di test e selezionare Altre opzioni oppure fare clic con il pulsante destro del mouse per aprire il menu di scelta rapida e quindi scegliere Assegna configurazione.

    Screenshot che mostra l'opzione di menu Assegna configurazione.

    Se si aggiungono più configurazioni a un gruppo di test, i test case vengono ripetuti con ognuna delle configurazioni assegnate.

    Screenshot che mostra più assegnazioni di configurazione a un gruppo di test.

  2. Se necessario, eseguire l'override della configurazione predefinita assegnata a un test case e assegnare la configurazione necessaria. Selezionare uno o più test case, aprire il menu di scelta rapida e selezionare Assegna configurazione.

    Screenshot che mostra l'assegnazione di una configurazione assegnata a un test case.

  3. Cercare e selezionare le configurazioni da assegnare ai test case.

    Screenshot che mostra le configurazioni delle impostazioni per un test case.

È possibile assegnare configurazioni a un piano di test, a un gruppo di test o a un singolo test case. Le configurazioni assegnate a un piano di test o a un gruppo di test si applicano a tutti i test o i gruppi al suo interno.

  1. Per assegnare una configurazione a un piano di test, nella pagina Piani di test aprire il menu di scelta rapida per il piano e scegliere Assegna configurazione al piano di test.

    Assegnazione di una configurazione a un piano di test

  2. Per assegnare una configurazione a un gruppo di test, aprire il menu di scelta rapida per la suite e scegliere Assegna configurazione al gruppo di test.

    Assegnazione di una configurazione a un gruppo di test

    Se si aggiungono più configurazioni a un piano di test o a un gruppo di test, i test case vengono ripetuti nel piano o nel gruppo con ognuna delle configurazioni assegnate.

    Assegnazione di più configurazioni a un gruppo di test

  3. Se necessario, eseguire l'override della configurazione predefinita assegnata a un test case e assegnare la configurazione necessaria. Selezionare uno o più test case, aprire il menu di scelta rapida e scegliere Assegna configurazioni.

    Override della configurazione predefinita assegnata a un test case

  4. Cercare e selezionare le configurazioni da assegnare a questi test case.

    Impostazione delle configurazioni necessarie per un test case

Eseguire test con ogni configurazione

Configurare una piattaforma di test per una configurazione specifica, ad esempio testare l'app usando Google Chrome in Windows 10.

  1. Selezionare ed eseguire un test con questa configurazione assegnata.

    Screenshot che mostra un test con una configurazione specifica e l'opzione Esegui per l'applicazione Web selezionata.

    Durante l'esecuzione del test, nella barra di stato viene visualizzato un promemoria della configurazione.

    Screenshot che mostra la configurazione per questo test nella barra di stato.

  1. Configurare una piattaforma di test per una configurazione specifica, ad esempio testare l'app usando Google Chrome in Windows 10.

  2. Selezionare ed eseguire un test con questa configurazione assegnata.

    Esecuzione del test con la configurazione assegnata

    Durante l'esecuzione del test, viene visualizzato un promemoria della configurazione richiesta nella barra di stato della finestra Test Runner.

    La configurazione richiesta viene visualizzata nella finestra Test Runner

Tenere traccia dei risultati dei test per ogni configurazione

  1. Aprire la pagina Grafici per il gruppo di test, selezionare Nuovo e selezionare Nuovo grafico dei risultati del test.

    Screenshot che mostra l'opzione di menu Nuovo grafico risultati test.

  2. Scegliere un tipo di grafico, ad esempio un grafico a torta o un grafico a barre, quindi selezionare Raggruppa per>configurazione e scegliere OK.

    Screenshot che mostra la scelta di un'opzione di configurazione per group by nella finestra di dialogo Configura grafico.

    Viene creato un grafico che consente di tenere traccia dei test in base alle configurazioni. È possibile aggiungere questo grafico al dashboard.

    Screenshot che mostra un grafico a barre con i valori non eseguiti, Passati e Non riusciti.

Se si dispone di un test case visualizzato in più gruppi di test, è possibile impostare le diverse configurazioni per ogni gruppo. Lo stesso test case può avere impostazioni di configurazione diverse in gruppi di test e piani di test diversi.

  1. Aprire la pagina Grafici per il piano di test o il gruppo di test, scegliere Nuovo e selezionare Nuovo grafico risultati test.

    Creazione di un nuovo grafico dei risultati del test

  2. Scegliere il tipo di grafico richiesto, selezionare Configurazione nell'elenco Raggruppa per e scegliere OK.

    Scelta del tipo di grafico richiesto

    Viene creato un grafico che consente di tenere traccia dei test in base alle configurazioni. È possibile aggiungere questo grafico al dashboard.

    Grafico dei risultati del test di configurazione

Se si dispone di un test case visualizzato in diversi piani di test e gruppi di test, è possibile impostare le diverse configurazioni per ognuna di queste. Lo stesso test case può avere impostazioni di configurazione diverse in gruppi di test e piani di test diversi.