Esaminare i risultati del test

  • Articolo

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

I test automatizzati possono essere configurati per l'esecuzione come parte di una compilazione o di una versione per diversi linguaggi. I report di test offrono un modo efficace e coerente per visualizzare i risultati dei test eseguiti usando framework di test diversi, per misurare la qualità della pipeline, esaminare la tracciabilità, risolvere gli errori e gestire gli errori. Offre inoltre molte funzionalità avanzate di creazione di report esaminate nelle sezioni seguenti.

È anche possibile eseguire un'analisi più approfondita dei risultati dei test usando il servizio Analisi. Per un esempio di uso di questo con la compilazione e la distribuzione di pipeline, vedere Analizzare i risultati dei test.

Leggere il glossario per comprendere la terminologia del report di test.

I risultati dei test pubblicati possono essere visualizzati nella scheda Test in un riepilogo di compilazione o versione.

Risultati dei test di Surface nella scheda Test

I risultati dei test possono essere visualizzati nella scheda Test usando una delle opzioni seguenti:

  • Risultati dei test dedotti automaticamente. Per impostazione predefinita, la pipeline può dedurre automaticamente l'output del test per alcuni strumenti di esecuzione di test più diffusi. A tale scopo, analizzare i log degli errori generati durante l'operazione di compilazione e quindi verificare la presenza di firme di errori di test. Attualmente, Azure DevOps supporta i linguaggi e i test runner seguenti per dedurre automaticamente i risultati del test:

  • Testare le attività di esecuzione. Attività di esecuzione di test predefinite, ad esempio Test di Visual Studio che pubblicano automaticamente i risultati dei test nella pipeline, o altri come Ant, Maven, Gulp, Grunt e Xcode che forniscono questa funzionalità come opzione all'interno dell'attività.

  • Attività Pubblica risultati test. Attività che pubblica i risultati dei test in Azure Pipelines o TFS quando i test vengono eseguiti usando lo strumento di esecuzione scelto e i risultati sono disponibili in uno dei formati di risultati del test supportati.

  • API(s). Risultati dei test pubblicati direttamente usando le API di gestione dei test.

Informazioni sul test di Surface oltre la scheda Test

La scheda Test fornisce un riepilogo dettagliato dell'esecuzione del test. Ciò è utile per tenere traccia della qualità della pipeline, nonché per la risoluzione degli errori. Azure DevOps offre anche altri modi per visualizzare le informazioni sui test:

Visualizzare i risultati dei test nella compilazione

Il riepilogo della compilazione fornisce una visualizzazione della sequenza temporale dei passaggi chiave eseguiti nella compilazione. Se i test sono stati eseguiti e segnalati come parte della compilazione, viene visualizzata un'attività cardine del test nella visualizzazione sequenza temporale. L'attività cardine del test fornisce un riepilogo dei risultati del test come misura della percentuale di superamento insieme agli indicatori per gli errori e interrompe, se presenti.

Visualizzare il test nella visualizzazione sequenza temporale di compilazione

Visualizzare i risultati dei test in versione

Nella visualizzazione pipeline è possibile visualizzare tutte le fasi e i test associati. La visualizzazione fornisce un riepilogo dei risultati del test come misura della percentuale di superamento insieme agli indicatori per gli errori e interrompe se presenti. Questi indicatori sono uguali a quanto nella visualizzazione sequenza temporale di compilazione, offrendo un'esperienza coerente tra compilazione e rilascio.

Visualizzare il test nella visualizzazione area di disegno versione

Scheda Test

I riepiloghi di compilazione e versione forniscono i dettagli dell'esecuzione dei test. Scegliere Riepilogo test per visualizzare i dettagli nella scheda Test . Questa pagina contiene le sezioni seguenti

  • Riepilogo: fornisce metriche quantitative chiave per l'esecuzione del test, ad esempio il conteggio totale dei test, i test non superati, la percentuale di superamento e altro ancora. Fornisce inoltre indicatori differenziali di modifica rispetto all'esecuzione precedente.

  • Risultati: elenca tutti i test eseguiti e segnalati come parte della build o della versione corrente. La visualizzazione predefinita mostra solo i test non riusciti e interrotti per concentrarsi sui test che richiedono attenzione. Tuttavia, è possibile scegliere altri risultati usando i filtri forniti.

  • Dettagli: elenco di test che è possibile ordinare, raggruppare, cercare e filtrare per trovare i risultati del test necessari.

Scheda Visualizza test

Selezionare qualsiasi esecuzione o risultato del test per visualizzare il riquadro dei dettagli che visualizza informazioni aggiuntive necessarie per la risoluzione dei problemi, ad esempio il messaggio di errore, l'analisi dello stack, gli allegati, gli elementi di lavoro, la tendenza cronologica e altro ancora.

Scheda Visualizza dettagli

Suggerimento

Se si usa l'attività Test di Visual Studio per eseguire test, l'output di diagnostica registrato dai test (usando uno dei metodi Console.WriteLine, Trace.WriteLine o TestContext.WriteLine), verrà visualizzato come allegato per un test non riuscito.

Le funzionalità seguenti della scheda Test consentono di migliorare la produttività e l'esperienza di risoluzione dei problemi.

Filtrare i risultati dei test di grandi dimensioni

Nel corso del tempo, i test si accumulano e, per applicazioni di grandi dimensioni, possono aumentare facilmente fino a decine di migliaia di test. Per queste applicazioni con molti test, può essere difficile spostarsi tra i risultati per identificare gli errori di test, associare le cause radice o ottenere la proprietà dei problemi. I filtri semplificano l'esplorazione rapida dei risultati dei test di interesse. È possibile filtrare in base al nome del test, al risultato (non superato, superato e altro), ai file di test (file che contengono test) e al proprietario (per i file di test). Tutti i criteri di filtro sono di natura cumulativa.

Filtrare un set di risultati di test di grandi dimensioni

Inoltre, con più opzioni di raggruppamento , ad esempio Esecuzione test, File di test, Priorità, Requisito e altro ancora, è possibile organizzare la visualizzazione Risultati esattamente come necessario.

Testare la gestione del debito con bug

Per gestire il debito di test per i test con esito negativo o a esecuzione prolungata, è possibile creare un bug o aggiungere dati a bug esistenti e visualizzare tutti gli elementi di lavoro associati nella scheda elemento di lavoro.

Esperienza di risoluzione dei problemi immersiva

I messaggi di errore e le tracce dello stack sono lunghi e hanno bisogno di sufficienti proprietà per visualizzare i dettagli durante la risoluzione dei problemi. Per offrire un'esperienza di risoluzione dei problemi immersiva, la visualizzazione Dettagli può essere espansa fino alla visualizzazione pagina completa, pur essendo in grado di eseguire le operazioni necessarie nel contesto, ad esempio la creazione di bug o l'associazione dei requisiti per il risultato del test selezionato.

Visualizzazione pannello pagina completa

Risoluzione dei problemi relativi ai dati per l'errore di test

Per gli errori di test, i messaggi di errore e le analisi dello stack sono disponibili per la risoluzione dei problemi. È anche possibile visualizzare tutti gli allegati associati all'errore di test nella scheda Allegati .

Testare la gestione del debito

È possibile creare o aggiungere a un bug esistente per gestire il debito di test per errori o test a esecuzione prolungata. La scheda Elementi di lavoro descrive in dettaglio tutti i bug e i requisiti associati a un test per analizzare l'impatto sui requisiti, nonché lo stato noto e chi sta lavorando al bug.

La cronologia dell'esecuzione dei test può fornire informazioni significative sull'affidabilità o sulle prestazioni dei test. Quando si risolve un errore, è importante sapere come un test è stato eseguito in passato. La scheda Test fornisce la cronologia dei test nel contesto con i risultati del test. Le informazioni sulla cronologia dei test vengono esposte in modo progressivo a partire dalla pipeline di compilazione corrente ad altri rami o dalla fase corrente ad altre fasi, rispettivamente per la compilazione e il rilascio.

Visualizzare le tendenze cronologiche

Visualizzare l'esecuzione di test in corso

I test, ad esempio i test di integrazione e funzionale, possono essere eseguiti per molto tempo. È quindi importante visualizzare lo stato corrente o quasi in tempo reale dell'esecuzione dei test in qualsiasi momento. Anche per i casi in cui i test vengono eseguiti rapidamente, è utile conoscere lo stato dei risultati del test pertinenti il prima possibile; in particolare quando si verificano errori. La visualizzazione in corso elimina la necessità di attendere il completamento dell'esecuzione del test. I risultati sono disponibili quasi in tempo reale man mano che l'esecuzione avanza, consentendo di eseguire azioni più velocemente. È possibile eseguire il debug di un errore, inviare un bug o interrompere la pipeline.

Visualizzazione delle versioni in corso

Nota

La funzionalità è attualmente disponibile sia per la compilazione che per il rilascio, usando l'attività Test di Visual Studio in un processo multi agent. Sarà disponibile per i processi di Single Agent in una versione futura.

La visualizzazione seguente mostra il riepilogo dei test in corso in una versione, segnalando il numero totale di test e il numero di errori di test in un determinato momento. Gli errori di test sono disponibili per la risoluzione dei problemi, la creazione di bug o l'esecuzione di qualsiasi altra azione appropriata.

Visualizzazione riepilogativa in corso

Visualizzare i risultati dei test riepilogati

Durante l'esecuzione del test, un test può generare più istanze o test che contribuiscono al risultato complessivo. Alcuni esempi sono i test che vengono rieseguiti, i test composti da una combinazione ordinata di altri test (test ordinati) o test con istanze diverse in base a un parametro di input (test basati sui dati).

Poiché questi test sono correlati, devono essere segnalati insieme al risultato complessivo derivato dalle singole istanze o test. Questi risultati del test vengono segnalati come risultato riepilogato nella scheda Test :

  • Riesegui test non superati: la possibilità di rieseguire test non superati è disponibile nella versione più recente dell'attività Test di Visual Studio. Durante una riesecuzione, è possibile eseguire più tentativi per un test non riuscito e ogni errore potrebbe avere una causa radice diversa a causa del comportamento non deterministico del test. I report di test forniscono una visualizzazione combinata per tutti i tentativi di riesecuzione, insieme al risultato complessivo del test come unità riepilogata. Inoltre, le API di gestione dei test supportano ora la possibilità di pubblicare ed eseguire query sui risultati dei test riepilogati.

    Rieseguire i test non superati

  • Test basati sui dati: analogamente alla riesecuzione di test non riusciti, tutte le iterazioni dei test basati sui dati vengono segnalate in tale test in una visualizzazione riepilogata. La visualizzazione riepilogata è disponibile anche per i test ordinati (con estensione orderedtest in Visual Studio).

    Test basato sui dati

Nota

Le metriche nella sezione di riepilogo del test, ad esempio il numero totale di test, superati, non superati o altri, vengono calcolate usando il livello radice del risultato del test riepilogato.

Visualizzare i test interrotti

L'esecuzione dei test può interrompere a causa di diversi motivi, ad esempio codice di test non valido, errori nell'origine sottoposta a test o problemi ambientali. Indipendentemente dal motivo dell'interruzione, è importante essere in grado di diagnosticare il comportamento e identificare la causa radice. I test interrotti e le esecuzioni dei test possono essere visualizzati insieme alle esecuzioni completate nella scheda Test .

Visualizzare i test arrestati.

Nota

La funzionalità è attualmente disponibile sia per la compilazione che per il rilascio, usando l'attività Test di Visual Studio in un processo multi agent o pubblicando i risultati dei test usando le API di gestione dei test. Sarà disponibile per i processi di Single Agent in una versione futura.

Risultati dei test dedotti automaticamente

Azure DevOps può dedurre automaticamente l'output dei test in esecuzione nelle pipeline per alcuni framework di test supportati. Questi report di test dedotti automaticamente non richiedono alcuna configurazione specifica delle pipeline e rappresentano un modo semplice per iniziare a usare la creazione di report di test.

Esempio di un report di test dedotto automaticamente

Vedere l'elenco degli strumenti di esecuzione per i quali vengono dedotti automaticamente i risultati dei test.

Poiché solo i metadati di test limitati sono presenti in tali report dedotti, sono limitati in funzionalità e funzionalità. Le funzionalità seguenti non sono disponibili per i report di test dedotti:

  • Raggruppare i risultati del test in base al file di test, al proprietario, alla priorità e ad altri campi
  • Cercare e filtrare i risultati del test
  • Controllare i dettagli dei test superati
  • Visualizzare in anteprima tutti gli allegati generati durante i test all'interno dell'interfaccia utente Web stessa
  • Associare un errore di test a un nuovo bug o visualizzare l'elenco degli elementi di lavoro associati per questo errore
  • Vedere l'articolo sull'analisi di compilazione per i test in Pipeline

Nota

Alcuni strumenti di esecuzione, ad esempio Mocha, hanno più reporter console predefiniti, ad esempio dot-matrix e progress-bar. Se è stato configurato un output della console non predefinito per il test runner o si usa un reporter personalizzato, Azure DevOps non sarà in grado di dedurre i risultati del test. Può dedurre solo i risultati dal reporter predefinito .

Assistenza e supporto