Informe De indicadores de calidad de compilación

Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018 - TFS 2013
Azure DevOps Server anteriormente se denominaba Visual Studio Team Foundation Server.

El informe Indicadores de calidad de la compilación muestra la cobertura de pruebas, la renovación de código y el número de errores para una definición de compilación especificada. Puede utilizar este informe como ayuda para determinar la medida en que la calidad de las partes del código se aproxima a la calidad de versión de lanzamiento.

Importante

Este informe solo es aplicable a las compilaciones XAML, que están en desuso para TFS 2018 y versiones posteriores. Si el proceso de compilación no se basa en compilaciones XAML, este informe y el almacenamiento de TFS para compilaciones no darán ningún dato significativo.

Idealmente, las tasas de prueba, los errores y la renovación de código producirían la misma imagen, pero a menudo no lo hacen. Cuando encuentre una diferencia, puede utilizar el informe Indicadores de calidad de la compilación para examinar los detalles de una compilación y una serie de datos concretas. Dado que este informe combina los resultados de pruebas, la cobertura de código de las pruebas, la renovación de código y los errores, podrá ver muchas perspectivas a la vez.

Para obtener información sobre cómo acceder a informes, actualizarlos o administrarlos, vea Reporting Services Reports.

Nota

Este informe requiere que la colección de proyectos de equipo que contiene el proyecto de equipo se aprovisionó con SQL Server Reporting Services. Este informe no está disponible si no aparece Informes al abrir Team Explorer Report y expandir el nodo de proyecto de equipo.

Puede usar este informe para responder a las siguientes preguntas:

- ¿Cuál es la calidad del software?
- ¿Con qué frecuencia se pasan las pruebas y cuánto código se está probando?
- En función del código y las métricas de prueba, ¿es probable que el equipo cumpla los objetivos?

Requisitos previos

Para ver el informe, debe estar asignado o pertenecer a un grupo al que se le haya asignado el rol Explorador en Reporting Services. Para obtener más información, vea Agregar usuarios a proyectos de equipo.

Datos del informe

Los datos que aparecen en el informe Indicadores de calidad de la compilación se derivan del almacén de datos. En el eje X se enumeran las compilaciones específicas que incluye el informe, en función de los filtros que se han establecido para:

  • Plataforma
  • Configuración
  • Definición de compilación

Cada barra vertical representa un conjunto de datos derivados de una o más compilaciones. En la variante de tamaño de código del informe, la longitud de cada barra vertical representa el tamaño de la base de código activada. Las barras se escalan de modo que la figura más grande se ajuste al alto del gráfico. Las pruebas manuales se pueden ejecutar en cualquier momento después de la compilación y están asociadas a esa compilación. Las pruebas que aún no se han ejecutado se cuentan como "no concluyentes".

La siguiente ilustración muestra un ejemplo de informe Indicadores de calidad de la compilación.

Example Build Quality Indicators report

En la siguiente tabla se describe la información que aparece para cada indicador de calidad del informe:

Indicador de calidad Description
Errores activos (número) Gráfico de líneas que muestra el número de errores que estaban activos en el momento de la compilación. Nota: Los errores no están asociados explícitamente a las compilaciones. Algunos de los errores que se enumeran podrían no afectar a las compilaciones que aparecen en el gráfico. Puede utilizar el parámetro Área para filtrar los errores por área de producto. Esta técnica podría mostrar errores que probablemente afecten a las compilaciones del informe.
Renovación de código (líneas) Gráfico de líneas que muestra el número de líneas de código que el equipo agregó, quitó y cambió en las casillas antes de la compilación. La renovación de código se calcula determinando el número de líneas de código que se han agregado, eliminado o modificado en la compilación dividido por el número total de líneas de la compilación.
Cobertura de código (porcentaje) Gráfico de líneas que muestra el porcentaje de código que cubren las pruebas.
Pruebas no concluyentes Parte gris del gráfico de barras apiladas, que indica el número de pruebas que no se realizaron correctamente o se pausaron. Si la compilación no se ha hecho correctamente, las pruebas no se cuentan ni se cuentan como no concluyentes.
Pruebas con errores Parte roja del gráfico de barras apiladas, que indica el número de pruebas no superadas para la compilación.
Pruebas superadas Parte verde del gráfico de barras apiladas, que indica el número de pruebas superadas para la compilación.

Nota

Para obtener más información sobre el significado de los resultados de las pruebas con errores y de pasar, vea Progreso del plan de pruebas.

Puede filtrar el informe de las siguientes formas:

  • Cambie el intervalo del eje X especificando el número de compilaciones y especificando la fecha de finalización para el informe. La fecha de la primera compilación mostrada dependerá de la frecuencia de las compilaciones.

  • Filtre el conjunto de compilaciones que muestra el informe especificando la plataforma, la configuración y la definición de compilación que se van a incluir en el informe. Establezca los parámetros en esa secuencia porque el conjunto de valores disponibles para la definición de compilación depende de la plataforma y de la configuración.

  • Filtre los errores que se enumeran en el informe especificando las áreas de producto que se van a incluir. Este filtro no afecta al conjunto de compilaciones que aparecen en el eje X, la renovación de código, la cobertura de código o los resultados de las pruebas.

    Para obtener más información, vea Filtrado del informe más adelante en este artículo.

Actividades de administración de pruebas y compilaciones necesarias

Para que el informe Indicadores de calidad de compilación sea útil y muestre todos los indicadores de calidad que puede mostrar, los miembros del equipo deben llevar a cabo las siguientes actividades para administrar pruebas y compilaciones:

  • Configure un sistema de compilación. Para usar Team Foundation Build, debe configurar un sistema de compilación.

    Para obtener más información, vea Agentes de compilación y versión.

  • Cree definiciones de compilación. Puede crear varias definiciones de compilación, de modo que cada una de ellas pueda ejecutarse para generar código para una plataforma diferente. Asimismo, puede ejecutar cada compilación para una configuración diferente.

    Para más información, consulte Introducción a CI/CD.

  • Defina las pruebas que se ejecutarán automáticamente como parte de la compilación. Como parte de la definición de compilación, puede definir las pruebas que se ejecutarán como parte de la compilación o que generarán un error si no se superan las pruebas.

    Para más información, consulte Configuración de pruebas continuas para las compilaciones.

  • Configure las pruebas para recopilar datos de cobertura de código. Para que los datos de cobertura de código aparezcan en el informe, los miembros del equipo deben instrumentar las pruebas para recopilar esos datos.

  • Ejecute compilaciones con regularidad. Puede ejecutar compilaciones a intervalos establecidos o después de cada protección. Puede crear compilaciones periódicas cuando utilice el desencadenador de programación.

    Para obtener más información, vea Desencadenadores de compilación.

    Nota

    Aunque un miembro del equipo puede calificar manualmente una compilación mediante el Explorador de compilación, esta clasificación no se refleja en el informe Indicadores de calidad de compilación. La valoración de las compilaciones aparece en el informe Resumen de la compilación. Para obtener más información, vea Calificar la calidad de una compilación completada y Resumen de compilación.

Cambiar el número de compilaciones en el informe

La presentación del informe Indicadores de calidad de compilación variará en función del número de compilaciones que incluya el informe y de otros filtros que aplique al informe. Puede centrar el informe en un intervalo concreto de compilaciones cambiando el número de compilaciones que aparecen en el informe.

Para establecer el número de compilaciones que se representan en el informe

  1. En Number of Builds(Número de compilaciones), escriba el número que se incluirá.

  2. Junto a Fin (fecha),seleccione el icono de calendario y, a continuación, seleccione la fecha correspondiente al último día en que se ejecutaron las compilaciones que desea incluir en el informe.

  3. Seleccione Ver informe.

Interpretar el informe

Puede revisar el informe para buscar respuestas a estas preguntas para cualquier definición de compilación concreta:

  • ¿Cuál es la calidad del software?

  • ¿Está el equipo probando suficiente código?

  • ¿Se están superando las pruebas?

  • ¿Es probable que el equipo finalice en función del código y las métricas de prueba?

  • ¿Con qué frecuencia se superan las pruebas y con qué frecuencia se prueba el código?

    Nota

    La proporción de segmentos coloreados respecto a grises refleja la fracción del código que cubren las pruebas, pero las proporciones dentro de los segmentos coloreados solo reflejan aproximadamente las fracciones de código que superan o no las pruebas. Esta ambigüedad se debe a que la fracción de verde dentro del segmento coloreado representa realmente el número de pruebas que se superan. Un solo error en una parte del código puede hacer que muchas pruebas no se superen, o un único error puede representar un error importante en el diseño que tenga consecuencias en toda la base de código.

Versión positiva de informe

Un informe Indicadores de calidad de la compilación positivo muestra los siguientes indicadores:

  • La mayoría de las pruebas se superan (áreas grandes de color verde) y pocas pruebas no se superan (cantidades pequeñas de color rojo).

  • El porcentaje de color rojo es inferior al 20-30 por ciento.

    Como muestra la siguiente ilustración, las tasas de cobertura de código y de pruebas superadas son altas y aumentan con el tiempo. La renovación de código, los errores activos, las pruebas no concluyentes y las pruebas con errores son bajas y van a la baja.

    Healthy version of Build Qualities Indicator

Versiones en mal estado del informe de indicadores de calidad de compilación

Una versión negativa del informe Indicadores de calidad de la compilación mostrará uno o más de los siguientes indicadores. Quizá desee investigar la causa según la siguiente orientación.

  • Menos cobertura de código y más renovación de código. En la ilustración siguiente se muestra cómo la cobertura de código está en deserción y el cambio de código va a subir. Estos datos son una advertencia clara de que el nuevo código se protege sin las correspondientes pruebas unitarias que lo cubran.

    Code Churn in Build Quality Indicators report

  • Baja tasa de pruebas que se ejecutan. La siguiente ilustración muestra una tasa baja de pruebas en ejecución. Estos datos pueden indicar que el equipo no está realizando suficientes pruebas. Este bloqueo podría indicar falta de recursos o que los evaluadores estén haciendo otras tareas, como escribir la automatización de pruebas en lugar de probar la funcionalidad actual. En cualquier caso, podría estar justificado equilibrar los recursos.

    Low rate tests in Build Quality Indicators report

  • Alta renovación de código, baja tasa de cobertura de código. La renovación de código alta sugiere que los errores se introducirán como efectos secundarios de los cambios. En un proyecto perfectamente refactorizado, se puede ver la existencia de renovación de código sin cambios en la cobertura de código ni en las tasas de superación de pruebas. De lo contrario, una alta renovación de código podría indicar una cobertura reducida y la necesidad de reescribir pruebas.

    La siguiente ilustración muestra una alta tasa de renovación de código y una baja tasa de cobertura de código de las pruebas, aunque las tasas de superación de pruebas sigan siendo altas. Estos datos indican que las pruebas que se ejecutan no ejecutan el nuevo código.

    High Code Churn in Build Quality Indicators report

  • Alta tasa de pruebas con errores. La siguiente ilustración muestra que muchas pruebas se realizan con una cobertura de código razonable, pero que no se están superando las pruebas. Estos datos podrían indicar prácticas de desarrollo poco rigurosas o, en iteraciones tempranas, que las pruebas son demasiado duras para esta etapa del producto.

    Test Failing in Build Quality Indicators report

    Las pruebas con errores se deben abordar rápidamente. Si corregir el código no es práctico, las pruebas con errores se deben deshabilitar temporalmente y se debe registrar un error. Aunque a veces es aceptable tratar los errores de análisis de código con menos urgencia al principio del proyecto, no debe permitir que las secciones rojas se alojen demasiado.

  • Alta tasa de pruebas que pasan y alta tasa de errores activa. La siguiente ilustración muestra una alta tasa de pruebas superadas pero, no obstante, una alta tasa de errores de entrada. Esta situación se puede producir por varias razones. Es posible que las pruebas no sean suficientemente rigurosas para esta etapa del producto.

    Low Test Rate in Build Quality Indicators report

    En iteraciones tempranas las pruebas simples son buenas pero, cuando el producto madura, las pruebas deben ejercitar integraciones y escenarios más amplios. Es posible que las pruebas estén obsoletas o que no se esté probando la funcionalidad apropiada. Podría ser el momento de cambiar las técnicas de prueba.

  • Las tasas de paso de prueba aumentan y no aumenta la cobertura de código. Habitualmente, cuantas más pruebas se realizan, se debe cubrir más código. Por otro lado, si la ejecución de pruebas y las tasas de superación de pruebas aumentan sin un aumento correspondiente en la cobertura de código, es posible que las pruebas incrementales sean redundantes.

  • El número de errores activos aumenta, pero los errores de prueba no aumentan. Si el número de errores activos aumenta y las pruebas no muestran los errores correspondientes, es probable que las pruebas no estén probando la misma funcionalidad que los errores están informando.

  • El recuento de errores activos está disminuyendo, pero los pases de prueba no aumentan. Si el recuento de errores activos está bajando y las tasas de superación de pruebas no aumentan, es posible que esté en riesgo de aumentar la tasa de reactivación.

  • Áreas grandes de color gris. Los segmentos grises significan código que no se ha creado ni probado en la compilación determinada. Estos datos solo aparecen en un informe periódico en el que una o varias de las compilaciones especificadas no se han producido dentro del período.

Filtrado del informe

Puede filtrar el informe Indicadores de calidad de la compilación de las siguientes maneras:

  • Cambie el intervalo de tiempo especificando el número de compilaciones y la fecha de finalización para el informe.

  • Filtre el conjunto de compilaciones representadas en el informe especificando la plataforma, la configuración y la definición de compilación que se incluirán en el informe.

    Nota

    Puede configurar las definiciones de compilación para que no se ejecuten pruebas, se ejecuten algunas o se ejecuten todas. El informe tendrá grandes variaciones en función de la configuración de las definiciones de compilación.

  • Filtre los errores que se enumeran en el informe especificando las áreas de producto que se van a incluir.

    En la siguiente ilustración se muestran los filtros disponibles:

    Filters for Build Quality Indicators

    Aplique los filtros en la secuencia que se especifica en el procedimiento siguiente. Las opciones que están disponibles con algunos filtros dependen de los filtros establecidos previamente.

Para filtrar las compilaciones que aparecen en el informe

  1. En Number of Builds(Número de compilaciones), escriba el número que se incluirá.

  2. Junto a Fecha de finalización, seleccione el icono de calendario y, a continuación, seleccione la última fecha para que las compilaciones incluyan.

  3. En la lista Plataforma , active la casilla de cada plataforma que se incluirá.

  4. En la lista Configuración, active la casilla de cada configuración que se incluirá.

  5. En la lista Definición de compilación , active la casilla de cada definición de compilación que se incluirá.

  6. Seleccione Ver informe.

Para filtrar los números de errores que se muestran en el informe

  1. En la lista Área , active la casilla de cada resultado de prueba que se incluirá.

    Este paso filtra el informe basándose en la jerarquía de los resultados de pruebas.

  2. Seleccione Ver informe.

Reporting Services informes