Revisar los resultados de la prueba

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2019

Las pruebas automatizadas se pueden configurar para que se ejecuten como parte de una compilación o versión para varios lenguajes. Los informes de prueba proporcionan una manera eficaz y coherente de ver los resultados de las pruebas ejecutadas mediante diferentes marcos de pruebas, con el fin de medir la calidad de la canalización, revisar la rastreabilidad, solucionar errores y controlar la propiedad del error. Además, proporciona muchas funcionalidades avanzadas de informes que se exploran en las secciones siguientes.

También puede realizar un análisis más profundo de los resultados de las pruebas mediante el servicio Analytics. Para obtener un ejemplo del uso de esto con las canalizaciones de compilación e implementación, consulte Análisis de los resultados de las pruebas.

Lea el glosario para comprender la terminología del informe de prueba.

Los resultados publicados de las pruebas se pueden ver en la pestaña Pruebas, en un resumen de compilación o versión.

Resultados superficiales de pruebas en la pestaña Pruebas

Los resultados de las pruebas se pueden mostrar en la pestaña Pruebas mediante una de las siguientes opciones:

• Resultados de pruebas deducidos automáticamente. De forma predeterminada, la canalización puede deducir automáticamente los resultados de una prueba para algunos ejecutores de pruebas populares. Para ello, se analizan los registros de errores generados durante la operación de compilación y, a continuación, se comprueban las firmas de errores de prueba. Actualmente, Azure DevOps admite los siguientes lenguajes y ejecutores de pruebas para deducir automáticamente los resultados de las pruebas:

  • JavaScript: Mocha, Jest y Jasmine

  • Python: Unittest

    Nota:

    Este informe de prueba deducido es limitado. Algunas características disponibles en los informes de prueba con formato completo no están presentes aquí (más detalles). Se recomienda publicar un informe de prueba con formato completo para obtener la experiencia completa de pruebas y conclusiones en canalizaciones. Consulte también:

  • Publicación de informes de pruebas con formato completo para ejecutores de pruebas de JavaScript

  • Publicación de informes de pruebas con formato completo para ejecutores de pruebas de Python

• Tiempo de ejecución de la prueba. Tareas de ejecución de pruebas integradas, como Visual Studio Test, que publican automáticamente los resultados de las pruebas en la canalización, u otras como Ant, Maven, Gulp, Grunt y Xcode, que proporcionan esta funcionalidad como una opción dentro de la tarea.

• Tarea de publicación de resultados de pruebas. Tarea que publica los resultados de las pruebas en Azure Pipelines o TFS cuando se ejecutan pruebas con su elección de ejecutor y los resultados están disponibles en cualquiera de los formatos de resultados de pruebas admitidos.

• API. Resultados de pruebas publicados directamente mediante las API de administración de pruebas.

Información de prueba superficial más allá de la pestaña Pruebas

La pestaña Pruebas proporciona un resumen detallado de la ejecución de pruebas. Esto resulta útil para realizar un seguimiento de la calidad de la canalización, así como para solucionar errores. Azure DevOps también proporciona otras formas de exponer la información de prueba:

• El panel proporciona visibilidad del progreso del equipo. Agregue uno o varios widgets que muestren información relacionada con la prueba:

  • Calidad de los requisitos
  • Tendencia de resultados de pruebas
  • Estado de la implementación

• El análisis de pruebas proporciona información muy relevante sobre los resultados de las pruebas medidos durante un periodo de tiempo. Puede ayudar a identificar áreas problemáticas en la prueba proporcionando datos como las principales pruebas con errores, etc.

Resultados de la prueba en la compilación

El resumen de compilación proporciona una vista a escala de tiempo de los pasos clave ejecutados en la compilación. Si se ejecutaron y notificaron pruebas como parte de la compilación, aparece un hito de prueba en la vista a escala de tiempo. El hito de prueba proporciona un resumen de los resultados de la prueba como una medida del porcentaje de paso junto con indicadores de errores y anulaciones, si existen.

Visualización de los resultados de pruebas en la versión

En la vista de canalización puede ver todas las fases y las pruebas asociadas. La vista proporciona un resumen de los resultados de las pruebas como una medida del porcentaje de paso junto con indicadores de errores y anulaciones, si existen. Estos indicadores son iguales que en la vista a escala de tiempo de la compilación, lo que proporciona una experiencia coherente en la compilación y la versión.

Pestaña Pruebas

Los resúmenes de compilación y versión proporcionan detalles de la ejecución de pruebas. Elija Resumen de pruebas para ver los detalles en la pestaña Pruebas. Esta página contiene las siguientes secciones

• Resumen: proporciona métricas cuantitativas clave para la ejecución de pruebas, como el recuento total de pruebas, las pruebas con error, el porcentaje de superación, etc. También proporciona indicadores diferenciales de cambio en comparación con la ejecución anterior.

• Resultados: enumera todas las pruebas ejecutadas y notificadas como parte de la compilación o versión actual. La vista predeterminada muestra solo las pruebas con errores y anuladas para centrarse en las pruebas que requieren atención. Sin embargo, puede elegir otros resultados mediante los filtros proporcionados.

• Detalles: lista de pruebas que puede ordenar, agrupar, buscar y filtrar para encontrar los resultados de las pruebas que necesita.

Seleccione cualquier ejecución de prueba o resultado para ver el panel de detalles, que muestra información adicional necesaria para solucionar problemas, como el mensaje de error, el seguimiento de la pila, los datos adjuntos, los elementos de trabajo, la tendencia histórica, etc.

Sugerencia

Si usa la tarea Prueba de Visual Studio para ejecutar pruebas, el diagnóstico registrado de las pruebas (mediante cualquiera de los métodos Console.WriteLine, Trace.WriteLine o TestContext.WriteLine) aparecerá como datos adjuntos para una prueba de error.

Las siguientes funcionalidades de la pestaña Pruebas ayudan a mejorar la productividad y resolución de problemas.

Filtrado de resultados de pruebas de gran tamaño

Con el tiempo, los activos de prueba se acumulan y las aplicaciones de gran tamaño pueden alcanzar fácilmente las decenas de miles de pruebas. Para estas aplicaciones con muchas pruebas, puede resultar difícil navegar por los resultados para identificar errores de prueba, asociar causas principales o encontrar la propiedad de los problemas. Los filtros facilitan la navegación rápida para los resultados de las pruebas de su interés. Puede filtrar por Nombre de prueba, Resultado (con errores, superados, etc.), Archivos de prueba (archivos que contienen pruebas) y Propietario (para archivos de prueba). Todos los criterios de filtro son acumulativos por naturaleza.

Además, con varias opciones de agrupación, como la ejecución de pruebas, el archivo de prueba, la prioridad, el requisito, etc., puede organizar la vista Resultados tal y como desee.

Prueba de la administración de deudas con errores

Para administrar la deuda de prueba por errores o pruebas de larga duración, puede crear un error o agregar datos a un error existente y ver todos los elementos de trabajo asociados en la pestaña de elementos de trabajo.

Experiencia inmersiva de solución de problemas

Los mensajes de error y los seguimientos de la pila son largos por naturaleza y necesitan suficiente espacio real para ver los detalles durante la solución de problemas. Para proporcionar una experiencia inmersiva de solución de problemas, la vista Detalles se puede expandir a pantalla completa mientras sigue siendo capaz de realizar las operaciones necesarias en contexto, como la creación de errores o la asociación de requisitos para el resultado de la prueba seleccionada.

Solución de problemas de datos para pruebas con errores

En el caso de las pruebas con errores, los mensajes de error y los seguimientos de la pila están disponibles para solucionar los problemas. También puede ver todos los datos adjuntos asociados a la prueba con errores en la pestaña Datos adjuntos.

Prueba de administración de deudas

Puede crear o agregar a un error existente para administrar la deuda de prueba para detectar errores o pruebas de larga duración. La pestaña Elementos de trabajo detalla todos los errores y requisitos asociados a una prueba para ayudarle a analizar el impacto de los requisitos, así como conocer el estado y quién está trabajando en el error.

Prueba de tendencias con datos históricos

El historial de ejecución de pruebas puede proporcionar información significativa sobre la confiabilidad o el rendimiento de las pruebas. Al solucionar un error, es útil saber cómo se ha realizado una prueba en el pasado. La pestaña Pruebas proporciona el historial de pruebas en contexto con los resultados de la prueba. La información del historial de pruebas se expone de forma progresiva a partir de la canalización de compilación actual a otras ramas, o la fase actual a otras fases, para la compilación y la versión, respectivamente.

Visualización de la ejecución de pruebas en curso

Las pruebas, como la integración y las pruebas funcionales, se pueden ejecutar durante mucho tiempo. Por lo tanto, es importante ver el estado actual o casi en tiempo real de la ejecución de pruebas en cualquier momento dado. Incluso en los casos en los que las pruebas se ejecutan rápidamente, resulta útil conocer el estado de los resultados de las pruebas pertinentes tan pronto como sea posible, especialmente cuando se producen errores. La vista en curso elimina la necesidad de esperar a que finalice la ejecución de pruebas. Los resultados están disponibles casi en tiempo real a medida que avanza la ejecución, lo que le ayuda a tomar medidas más rápido. Puede depurar un error, presentar un error o anular la canalización.

Nota:

La característica está disponible actualmente para la compilación y la versión mediante la tarea Prueba de Visual Studio en un trabajo de varios agentes. Estará disponible para los trabajos de un solo agente en una versión futura.

En la vista siguiente se muestra el resumen de pruebas en curso en una versión, que notifica el recuento total de pruebas y el número de errores de prueba en un momento dado. Los errores de prueba están disponibles para solucionar problemas, crear errores o realizar cualquier otra acción apropiada.

Visualización del resumen de los resultados de pruebas

Durante la ejecución de pruebas, una prueba podría generar varias instancias o pruebas que contribuyen al resultado general. Algunos ejemplos son pruebas que se vuelven a ejecutar, pruebas compuestas de una combinación ordenada de otras pruebas (pruebas ordenadas) o pruebas que tienen diferentes instancias basadas en un parámetro de entrada (pruebas controladas por datos).

Dado que estas pruebas están relacionadas, se deben notificar junto con el resultado general derivado de las instancias o pruebas individuales. Estos resultados de prueba se notifican como un resultado de prueba resumido en la pestaña Pruebas:

• Volver a ejecutar pruebas con errores: la capacidad de volver a ejecutar pruebas con errores está disponible en la versión más reciente de la tarea Prueba de Visual Studio. Durante una nueva ejecución, se pueden realizar varios intentos para una prueba con errores y cada error podría tener una causa principal diferente debido al comportamiento no determinista de la prueba. Los informes de prueba proporcionan una vista combinada de todos los intentos de una nueva ejecución, junto con el resultado general de la prueba como una unidad resumida. Además, las API de administración de pruebas ahora poseen la habilidad de publicar y consultar resultados de pruebas resumidos.

  

• Pruebas controladas por datos: de forma similar a volver a ejecutar pruebas con errores, todas las iteraciones de las pruebas controladas por datos se notifican en esa prueba en una vista resumida. La vista resumida también está disponible para las pruebas ordenadas (.orderedtest en Visual Studio).

  

Nota:

Las métricas de la sección de resumen de pruebas, como el número total de pruebas, superadas, con errores u otras, se calculan mediante el nivel raíz del resultado de la prueba resumida.

Visualización de pruebas anuladas

La ejecución de pruebas puede anularse debido a varios motivos, como un código de prueba incorrecto, errores en el origen en pruebas o problemas de entorno. Independientemente del motivo de la anulación, es importante poder diagnosticar el comportamiento e identificar la causa principal. Las pruebas anuladas y las ejecuciones de pruebas se pueden ver junto con las ejecuciones completadas en la pestaña Pruebas.

Nota:

La característica está disponible actualmente para la compilación y la versión, mediante la tarea Prueba de Visual Studio en un trabajo de varios agentes o la publicación de resultados de pruebas mediante las API de administración de pruebas. Estará disponible para los trabajos de un solo agente en una versión futura.

Resultados de pruebas deducidos automáticamente

Azure DevOps puede deducir automáticamente la salida de las pruebas que se ejecutan en las canalizaciones para algunos marcos de prueba admitidos. Estos informes de prueba deducidos automáticamente no requieren ninguna configuración de las canalizaciones específica y son una manera de empezar a usar informes de pruebas.

Consulte la lista de ejecutores para los que se deducen automáticamente los resultados de las pruebas.

Dado que solo hay metadatos de prueba limitados en estos informes deducidos, están limitados en características y funcionalidades. Las siguientes características no están disponibles para los informes de prueba deducidos:

• Agrupar los resultados de la prueba por archivo de prueba, propietario, prioridad y otros campos
• Buscar y filtrar los resultados de las pruebas
• Consultar los detalles de las pruebas superadas
• Obtener una vista previa de los datos adjuntos generados durante las pruebas dentro de la propia interfaz de usuario web
• Asociar un error de prueba con un nuevo error o ver la lista de elementos de trabajo asociados para este error
• Consulte Ejecutar análisis de pruebas durante la compilación de canalizaciones

Nota:

Algunos ejecutores como Mocha tienen varios informadores integrados en la consola, como dot-matrix y progress-bar. Si ha configurado una salida de consola no predeterminada para el ejecutor de pruebas o usa un informador personalizado, Azure DevOps no podrá deducir los resultados de la prueba. Solo puede deducir los resultados del informador predeterminado.

Artículos relacionados

• Análisis de los resultados de las pruebas
• Requisitos de pruebas de seguimiento
• Revisión de los resultados de cobertura de código

Ayuda y soporte técnico

• Vea la guía de solución de problemas
• Obtenga consejos sobre Stack Overflow y soporte técnico de Developer Community