Administración de pruebas no confiables

Azure DevOps Services

La productividad de los desarrolladores depende de la capacidad de las pruebas para detectar problemas reales con el código en desarrollo o actualizarlo de forma oportuna y confiable. Las pruebas no confiables suponen un obstáculo para detectar problemas reales, ya que los errores no suelen estar relacionados con los cambios que se están probando. Una prueba no confiable es aquella que proporciona resultados diferentes, como correcta o incorrecta, incluso cuando no hay cambios en el código fuente o el entorno de ejecución. Las pruebas no confiables también afectan a la calidad del código enviado.

Nota:

Esta característica solo está disponible en Azure DevOps Services. Normalmente, las nuevas características se introducen primero en el servicio en la nube y, luego, se pone a disposición local en la siguiente versión principal o actualización de Azure DevOps Server. Para más información, consulte Escala de tiempo de características de Azure DevOps.

El objetivo de integrar la administración de pruebas no confiables en el producto es reducir las molestias que causan a los desarrolladores y tener en cuenta todo el flujo de trabajo. La administración de pruebas no confiables proporciona las siguientes ventajas.

• Detección: detección automática de pruebas no confiables con repetición o extensibilidad para conectar su propio método de detección personalizado.

• Administración de la falta de confiabilidad: una vez que una prueba está marcada como no confiable, los datos están disponibles para todas las canalizaciones de esa rama.

• Informe sobre pruebas no confiables: posibilidad de elegir si quiere evitar errores de compilación causados por pruebas no confiables o usar la etiqueta "no confiable" solo para solucionar problemas.

• Resolución: creación manual de errores o marcación y desmarcación manual de pruebas como no confiables en función del análisis

• Cierre del bucle: restablecimiento de la prueba no confiable como resultado de la resolución de errores o la entrada manual.

Habilitar la administración de pruebas no confiables

Para configurar la administración de pruebas no confiables, elija Configuración del proyecto y seleccione Administración de pruebas en la sección Canalizaciones.

Deslice el botón Activar/Desactivar a Activar.

La configuración predeterminada para todos los proyectos es usar pruebas no confiables para solucionar problemas.

Detección de pruebas no confiables

La administración de pruebas no confiables admite la detección personalizada y del sistema.

• Detección del sistema: la detección de pruebas no confiables en el producto usa datos de repetición de pruebas. La detección se realiza mediante la repetición de la tarea VSTest de la funcionalidad de pruebas con errores o de reintento de fase en la canalización. Puede seleccionar canalizaciones específicas del proyecto para las que le gustaría detectar pruebas no confiables.

  Nota:

  Una vez que una prueba se marca como no confiable, los datos están disponibles para todas las canalizaciones de esa rama para ayudar a solucionar problemas en cada canalización.

• Detección personalizada: puede integrar su propio mecanismo de detección de pruebas no confiables con Azure Pipelines y usar la funcionalidad de informes. Con la detección personalizada, debe actualizar los metadatos de resultados de las pruebas no confiables. Para más información, consulte Resultados de pruebas, Metadatos de resultados: actualización de la API REST.

Opciones de pruebas no confiables

Las opciones de pruebas no confiables especifican cómo están disponibles las pruebas no confiables en los informes de pruebas, así como las funcionalidades de resolución, como se describe en las secciones siguientes.

Administración e informes de pruebas no confiables

En la página "Administración de pruebas" en Opciones de pruebas no confiables, puede establecer opciones para el modo en que se incluyen las pruebas no confiables en el informe Resumen de pruebas. Los datos de pruebas no confiables para pruebas superadas y con errores están disponibles en Resultados de pruebas. La etiqueta No confiable le ayuda a identificar las pruebas no confiables. De forma predeterminada, las pruebas no se incluyen en el resumen de pruebas. Sin embargo, si quiere asegurarse de que los errores de las pruebas no confiables no se produzcan en la canalización, puede elegir no incluirlas en el resumen de pruebas y suprimir el error de prueba. Esta opción garantiza que las pruebas no confiables (superadas y erróneas) se quiten del porcentaje de aprobadas y se muestren en Pruebas no notificadas, como se muestra en la captura de pantalla siguiente.

Nota:

El informe de resumen de pruebas solo se actualiza para la tarea Prueba de Visual Studio y la tarea Publicar resultados de pruebas. Es posible que tenga que agregar un script personalizado para suprimir los errores de las pruebas no confiables en otros escenarios.

Pruebas marcadas como no confiables

Puede marcar o desmarcar una prueba como no confiable en función del análisis o el contexto; para ello, elija No confiable (o Confiable, según si la prueba ya está marcada como no confiable).

Cuando una prueba se marca como no confiable o confiable en una canalización, no se realizan cambios en la canalización actual. Solo en las futuras ejecuciones de esa prueba se evalúa la configuración de la marca no confiable modificada. Las pruebas marcadas como no confiables tienen la etiqueta Marcada como no confiable en la interfaz de usuario.

Ayuda y soporte técnico

• Vea la guía de solución de problemas
• Obtenga consejos en Stack Overflow y reciba soporte técnico a través de Developer Community

Artículos relacionados

• Revisar los resultados de la prueba
• Tarea Prueba de Visual Studio
• Tarea Publicar resultados de pruebas
• Resultados de pruebas, metadatos de resultados: actualización de la API REST