Revisar los resultados de la prueba

Azure DevOps Services | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018

Las pruebas automatizadas se pueden configurar para ejecutarse como parte de una compilación o versión para varios lenguajes. Los informes de prueba proporcionan una manera eficaz y coherente de ver los resultados de las pruebas ejecutadas mediante diferentes marcos de pruebas, con el fin de medir la calidad de la canalización, revisar la rastreabilidad, solucionar problemas de errores y controlar la propiedad del error. Además, proporciona muchas funcionalidades avanzadas de informes exploradas en las secciones siguientes.

También puede realizar un análisis más profundo de los resultados de las pruebas mediante el servicio Analytics. Para obtener un ejemplo de cómo usar esto con las canalizaciones de compilación e implementación, consulte Análisis de los resultados de las pruebas.

Lea el glosario para comprender la terminología del informe de prueba.

Nota:

El informe de prueba está disponible en TFS 2015 y versiones posteriores, pero la nueva experiencia descrita en este tema solo está disponible actualmente en Azure Pipelines.

Nota:

En Microsoft Team Foundation Server (TFS) 2018 y versiones anteriores, las canalizaciones de compilación y versión se denominan definiciones, las ejecuciones se denominan compilaciones, las conexiones de servicio se denominan puntos de conexión de servicio, las fases se denominan entornos y los trabajos se denominan fases.

Los resultados de las pruebas publicadas se pueden ver en la pestaña Pruebas de un resumen de compilación o versión.

La prueba de Surface da como resultado la pestaña Pruebas

Los resultados de las pruebas se pueden mostrar en la pestaña Pruebas mediante una de las siguientes opciones:

  • Resultados de pruebas inferidos automáticamente. De forma predeterminada, la canalización puede deducir automáticamente la salida de la prueba para algunos ejecutores de pruebas populares. Para ello, analiza los registros de errores generados durante la operación de compilación y, a continuación, comprueba si hay firmas de errores de prueba. Actualmente, Azure DevOps admite los siguientes lenguajes y ejecutores de pruebas para deducir automáticamente los resultados de las pruebas:

  • Pruebas de tareas de ejecución. Tareas de ejecución de pruebas integradas, como Pruebas de Visual Studio , que publican automáticamente los resultados de las pruebas en la canalización, u otras como Ant, Maven, Gulp, Grunt y Xcode que proporcionan esta funcionalidad como una opción dentro de la tarea.

  • Tarea Publicar resultados de pruebas. Tarea que publica los resultados de las pruebas en Azure Pipelines o TFS cuando se ejecutan pruebas con su elección de ejecutor y los resultados están disponibles en cualquiera de los formatos de resultados de prueba admitidos.

  • API(s). Resultados de pruebas publicados directamente mediante las API de administración de pruebas.

Información de prueba de Surface más allá de la pestaña Pruebas

La pestaña Pruebas proporciona un resumen detallado de la ejecución de la prueba. Esto resulta útil para realizar un seguimiento de la calidad de la canalización, así como para solucionar errores. Azure DevOps también proporciona otras maneras de exponer la información de prueba:

Visualización de los resultados de la prueba en la compilación

El resumen de la compilación proporciona una vista de escala de tiempo de los pasos clave ejecutados en la compilación. Si se ejecutaron y notificaron pruebas como parte de la compilación, aparece un hito de prueba en la vista de escala de tiempo. El hito de la prueba proporciona un resumen de los resultados de la prueba como medida del porcentaje de paso junto con indicadores de errores y anulaciones si existen.

View test in build timeline view

Visualización de los resultados de la prueba en la versión

En la vista de canalización puede ver todas las fases y las pruebas asociadas. La vista proporciona un resumen de los resultados de la prueba como una medida del porcentaje de paso junto con indicadores de errores y anulaciones si existen. Estos indicadores son iguales que en la vista de escala de tiempo de compilación, lo que proporciona una experiencia coherente en la compilación y la versión.

View test in release canvas view

Pestaña Pruebas

Los resúmenes de compilación y versión proporcionan detalles de la ejecución de pruebas. Elija Resumen de pruebas para ver los detalles en la pestaña Pruebas . Esta página tiene las secciones siguientes:

  • Resumen: proporciona métricas cuantitativas clave para la ejecución de pruebas, como el número total de pruebas, las pruebas con errores, el porcentaje de superación, etc. También proporciona indicadores diferenciales de cambio en comparación con la ejecución anterior.

  • Resultados: enumera todas las pruebas ejecutadas y notificadas como parte de la compilación o versión actual. La vista predeterminada muestra solo las pruebas con errores y anuladas para centrarse en las pruebas que requieren atención. Sin embargo, puede elegir otros resultados mediante los filtros proporcionados.

  • Detalles: lista de pruebas que puede ordenar, agrupar, buscar y filtrar para encontrar los resultados de las pruebas que necesita.

View tests tab

Seleccione cualquier ejecución o resultado de prueba para ver el panel de detalles que muestra información adicional necesaria para solucionar problemas, como el mensaje de error, el seguimiento de la pila, los datos adjuntos, los elementos de trabajo, la tendencia histórica, etc.

View details tab

Sugerencia

Si usa la tarea Prueba de Visual Studio para ejecutar pruebas, la salida de diagnóstico registrada desde pruebas (mediante cualquiera de los métodos Console.WriteLine, Trace.WriteLine o TestContext.WriteLine), aparecerá como datos adjuntos para una prueba con error.

Las siguientes funcionalidades de la pestaña Pruebas ayudan a mejorar la productividad y la experiencia de solución de problemas.

Filtrado de resultados de pruebas de gran tamaño

Con el tiempo, las pruebas se acumulan y, para aplicaciones grandes, pueden crecer fácilmente a decenas de miles de pruebas. Para estas aplicaciones con muchas pruebas, puede resultar difícil navegar por los resultados para identificar errores de prueba, asociar causas principales o obtener la propiedad de los problemas. Los filtros facilitan la navegación rápida a los resultados de la prueba de su interés. Puede filtrar por Nombre de prueba, Resultado (error, superado y mucho más), Archivos de prueba (archivos que contienen pruebas) y Propietario (para archivos de prueba). Todos los criterios de filtro son acumulativos por naturaleza.

Filter large test result set

Además, con varias opciones de agrupación , como la ejecución de pruebas, el archivo de prueba, la prioridad, el requisito, etc., puede organizar la vista Resultados exactamente como necesite.

Prueba de la administración de deudas con errores

Para administrar la deuda de prueba por errores o pruebas de larga duración, puede crear un error o agregar datos a un error existente y ver todos los elementos de trabajo asociados en la pestaña elemento de trabajo.

Experiencia de solución de problemas inmersiva

Los mensajes de error y los seguimientos de pila son largos por naturaleza y necesitan suficientes bienes raíces para ver los detalles durante la solución de problemas. Para proporcionar una experiencia de solución de problemas envolvente, la vista Detalles se puede expandir a la vista de página completa mientras sigue siendo capaz de realizar las operaciones necesarias en contexto, como la creación de errores o la asociación de requisitos para el resultado de la prueba seleccionada.

Full page panel view

Solución de problemas de datos de error de prueba

En el caso de los errores de prueba, los mensajes de error y los seguimientos de pila están disponibles para solucionar problemas. También puede ver todos los datos adjuntos asociados con el error de prueba en la pestaña Datos adjuntos .

Probar la administración de deudas

Puede crear o agregar a un error existente para administrar la deuda de prueba de errores o pruebas de larga duración. La pestaña Elementos de trabajo detalla todos los errores y requisitos asociados a una prueba para ayudarle a analizar el impacto de los requisitos, así como conocer el estado y quién está trabajando en el error.

El historial de ejecución de pruebas puede proporcionar información significativa sobre la confiabilidad o el rendimiento de las pruebas. Al solucionar un error, es útil saber cómo se ha realizado una prueba en el pasado. La pestaña Pruebas proporciona el historial de pruebas en contexto con los resultados de la prueba. La información del historial de pruebas se expone de forma progresiva a partir de la canalización de compilación actual a otras ramas, o la fase actual a otras fases, para la compilación y la versión respectivamente.

View historical trends

Visualización de la ejecución de pruebas en curso

Las pruebas, como la integración y las pruebas funcionales, se pueden ejecutar durante mucho tiempo. Por lo tanto, es importante ver el estado actual o casi en tiempo real de la ejecución de pruebas en cualquier momento dado. Incluso en los casos en los que las pruebas se ejecutan rápidamente, resulta útil conocer el estado de los resultados de las pruebas pertinentes tan pronto como sea posible; especialmente cuando se producen errores. La vista en curso elimina la necesidad de esperar a que finalice la ejecución de pruebas. Los resultados están disponibles casi en tiempo real a medida que avanza la ejecución, lo que le ayuda a realizar acciones más rápido. Puede depurar un error, presentar un error o anular la canalización.

In progress release view

Nota:

La característica está disponible actualmente para la compilación y la versión, mediante la tarea Prueba de Visual Studio en un trabajo de Varios agentes. Estará disponible para los trabajos del Agente único en una versión futura.

En la vista siguiente se muestra el resumen de pruebas en curso en una versión, que notifica el recuento total de pruebas y el número de errores de prueba en un momento dado. Los errores de prueba están disponibles para solucionar problemas, crear errores o realizar cualquier otra acción adecuada.

In progress summary view

Visualización de los resultados de pruebas resumidos

Durante la ejecución de pruebas, una prueba podría generar varias instancias o pruebas que contribuyen al resultado general. Algunos ejemplos son, pruebas que se vuelven a ejecutar, pruebas compuestas de una combinación ordenada de otras pruebas (pruebas ordenadas) o pruebas que tienen diferentes instancias basadas en un parámetro de entrada (pruebas controladas por datos).

Dado que estas pruebas están relacionadas, se deben notificar junto con el resultado general derivado de las instancias o pruebas individuales. Estos resultados de la prueba se notifican como un resultado de prueba resumido en la pestaña Pruebas :

  • Volver a ejecutar pruebas con errores: la capacidad de volver a ejecutar pruebas con errores está disponible en la versión más reciente de la tarea Prueba de Visual Studio . Durante una nueva ejecución, se pueden realizar varios intentos para una prueba con errores y cada error podría tener una causa principal diferente debido al comportamiento no determinista de la prueba. Los informes de prueba proporcionan una vista combinada para todos los intentos de una nueva ejecución, junto con el resultado general de la prueba como una unidad resumida. Además, las API de administración de pruebas ahora admiten la capacidad de publicar y consultar resultados de pruebas resumidos.

    Rerun failed tests

  • Pruebas controladas por datos: de forma similar a la repetición de pruebas con errores, todas las iteraciones de las pruebas controladas por datos se notifican en esa prueba en una vista resumida. La vista resumida también está disponible para las pruebas ordenadas (.orderedtest en Visual Studio).

    Data driven test

Nota:

Las métricas de la sección de resumen de pruebas, como el número total de pruebas, superadas, con errores u otras, se calculan mediante el nivel raíz del resultado de la prueba resumida.

Visualización de pruebas anuladas

La ejecución de pruebas puede anularse debido a varios motivos, como código de prueba incorrecto, errores en el origen en pruebas o problemas de entorno. Independientemente del motivo de la anulación, es importante poder diagnosticar el comportamiento e identificar la causa principal. Las pruebas anuladas y las ejecuciones de pruebas se pueden ver junto con las ejecuciones completadas en la pestaña Pruebas .

View stopped tests.

Nota:

La característica está disponible actualmente para la compilación y la versión, mediante la tarea Prueba de Visual Studio en un trabajo multiagente o la publicación de resultados de pruebas mediante las API de administración de pruebas. Estará disponible para los trabajos del Agente único en una versión futura.

Resultados de pruebas inferidos automáticamente

Azure DevOps puede deducir automáticamente la salida de las pruebas que se ejecutan en las canalizaciones para algunos marcos de prueba admitidos. Estos informes de prueba inferidos automáticamente no requieren ninguna configuración específica de las canalizaciones y son una manera de empezar a usar informes de pruebas.

Example of an Automatically Inferred Test Report

Consulte la lista de ejecutores para los que se deducen automáticamente los resultados de las pruebas.

Dado que solo hay metadatos de prueba limitados en estos informes inferidos, están limitados en características y funcionalidades. Las siguientes características no están disponibles para los informes de prueba inferidos:

  • Agrupar los resultados de la prueba por archivo de prueba, propietario, prioridad y otros campos
  • Buscar y filtrar los resultados de la prueba
  • Comprobación de los detalles de las pruebas superadas
  • Obtener una vista previa de los datos adjuntos generados durante las pruebas dentro de la propia interfaz de usuario web
  • Asociar un error de prueba con un nuevo error o ver la lista de elementos de trabajo asociados para este error
  • Consulte build-on-build analytics for testing in Pipelines (Análisis de compilación en canalizaciones).

Nota:

Algunos ejecutores como Mocha tienen varios periodistas de consola integrados, como dot-matrix y progress-bar. Si ha configurado una salida de consola no predeterminada para el ejecutor de pruebas o usa un informador personalizado, Azure DevOps no podrá deducir los resultados de la prueba. Solo puede deducir los resultados del informador predeterminado .

Ayuda y soporte técnico