Administración de pruebas no confiables

Azure Pipelines

La productividad de los desarrolladores se basa en la capacidad de las pruebas para encontrar problemas reales con el código en desarrollo o actualizarse de forma oportuna y confiable. Las pruebas de flaky presentan una barrera para encontrar problemas reales, ya que los errores a menudo no se relacionan con los cambios que se prueban. Una prueba no uniforme es una prueba que proporciona resultados diferentes, como pasar o producir un error, incluso cuando no hay cambios en el código fuente o el entorno de ejecución. Las pruebas desa prueba también afectan a la calidad del código enviado.

El objetivo de incorporar la administración de pruebas desa pruebas en el producto es reducir la causa de problemas del desarrollador mediante pruebas desaprobación y atender a todo el flujo de trabajo. La administración de pruebas de flaky proporciona las siguientes ventajas.

• Detección: detección automática de pruebas no activas con reejeje o extensibilidad para conectar su propio método de detección personalizado

• Administración de flakiness: una vez que una prueba se marca como desa prueba, los datos están disponibles para todas las canalizaciones de esa rama.

• Informes sobre pruebas no marcadas: posibilidad de elegir si desea evitar errores de compilación causados por pruebas no consonantes o usar la etiqueta flaky solo para solucionar problemas.

• Resolución: creación manual de errores o marcación manual y prueba de desmarcación como desmarcado en función del análisis

• Cerrar el bucle: restablecer la prueba desajustada como resultado de la resolución de errores o la entrada manual

Habilitar la administración de pruebas no confiables

Para configurar la administración de pruebas no Project, seleccione Administración de pruebas en la Pipelines pruebas.

Deslice el botón On/Off (Encendido/Desactivado) a On (En).

La configuración predeterminada para todos los proyectos es usar pruebas desa pruebas para solucionar problemas.

Detección de pruebas de flaky

La administración de pruebas de Flaky admite la detección personalizada y del sistema.

• Detección delsistema: la detección de errores en el producto usa datos de reejeje de prueba. La detección se realiza a través de la ejecución de la tarea VSTest de la funcionalidad de pruebas con errores o el reintento de fase en la canalización. Puede seleccionar canalizaciones específicas en el proyecto para el que desea detectar pruebas desa pruebas.

  Nota

  Una vez que una prueba se marca como desa prueba, los datos están disponibles para todas las canalizaciones de esa rama para ayudar a solucionar problemas en cada canalización.

• Detección personalizada:puede integrar su propio mecanismo de detección con Azure Pipelines y usar la funcionalidad de informes. Con la detección personalizada, debe actualizar los metadatos de los resultados de pruebas para las pruebas no precisas. Para obtener más información, consulte Resultados de pruebas, Result Meta Data - Update REST API ( Metadatos de resultados: actualización de la API rest).

Opciones de prueba de flaky

Las opciones de prueba de Flaky especifican cómo están disponibles las pruebas no precisas en los informes de pruebas, así como las funcionalidades de resolución, como se describe en las secciones siguientes.

Administración e informes de pruebas no confiables

En la página Administración de pruebas, en Opciones de pruebas de Flaky,puede establecer opciones sobre cómo se incluyen las pruebas desa pruebas en el informe Resumen de pruebas. Los datos de prueba no deseados para las pruebas superada y con errores están disponibles en Resultados de la prueba. La etiqueta Flaky le ayuda a identificar las pruebas desa pruebas. De forma predeterminada, las pruebas no marcadas se incluyen en el resumen de pruebas. Sin embargo, si desea asegurarse de que los errores de pruebas no fallan en la canalización, puede optar por no incluirlos en el resumen de pruebas y suprimir el error de prueba. Esta opción garantiza que las pruebas no superadas (tanto superadas como con errores) se quitan del porcentaje de superación y se muestran en Pruebas no notificadas,como se muestra en la captura de pantalla siguiente.

Pruebas marcadas como desa pruebas

Puede marcar o desmarcar una prueba como desmarcada en función del análisis o el contexto; para ello, elija Flaky (o UnFlaky, en función de si la prueba ya está marcada como desmarcada).

Cuando una prueba se marca como desinflada o desinflada en una canalización, no se realiza ningún cambio en la canalización actual. Solo en ejecuciones futuras de esa prueba se evalúa el cambio de configuración desa prueba. Las pruebas marcadas como flaky tienen la etiqueta Flaky marcada en la interfaz de usuario.

Ayuda y soporte técnico

• Vea la guía de solución de problemas
• Obtenga consejos sobre Stack Overflowy obtenga soporte técnico a través de la página developer Community

Artículos relacionados

• Revisar los resultados de la prueba
• Tarea Prueba de Visual Studio
• Tarea Resultados de pruebas publicación
• Resultados de pruebas, metadatos de resultados: actualización de la API REST