Informe de ejemplo de pruebas flaky

Azure DevOps Services

En este artículo se muestra cómo crear un informe en el que se muestra la lista de pruebas poco activas para una canalización. Un ejemplo se muestra en la imagen siguiente.

Sample - Test Summary - Report

Importante

Power BI integración y acceso a la fuente OData del servicio Analytics se encuentran en versión preliminar. Las consultas de ejemplo proporcionadas en este artículo solo son válidas en Azure DevOps Services y dependen de la versión v3.0-preview o posterior. Le recomendamos que use estas consultas y nos proporcione comentarios.

En concreto, encontrará consultas de ejemplo para los informes siguientes:

  • Pruebas flaky para el flujo de trabajo de compilación
  • Pruebas flaky para el flujo de trabajo de versión
  • Pruebas flaquiosas para una rama determinada
  • Pruebas flaky para un archivo de prueba determinado
  • Pruebas de flaky para un propietario de prueba determinado

Requisitos previos

  • Debe ser miembro de un proyecto con acceso básico o superior. Si no se ha agregado como miembro del proyecto, se agrega ahora. Cualquier persona con acceso al proyecto, excepto las partes interesadas, puede ver las vistas de Análisis.
  • Para que los datos de Analytics estén disponibles, se debe habilitar el servicio correspondiente. Por ejemplo, para consultar los datos de seguimiento del trabajo, Boards debe estar habilitado. Si está deshabilitado, no se mostrarán las vistas de Analytics . Para volver a habilitar un servicio, consulte Activar o desactivar un servicio de Azure DevOps.
  • Para usar las vistas de Analytics, habilite la característica vista previa de vistas de Análisis para usuarios individuales o para la organización.
  • Además, debe tener el permiso *Ver analytics establecido en Permitir. Para más información, consulte Concesión de permisos para acceder al servicio Analytics.
  • Para usar Power BI para Azure DevOps o para ejercer una consulta de OData para Analytics, debe tener el permiso View Analytics establecido en Permitir. De forma predeterminada, se concede acceso a todos los colaboradores con acceso básico. Para editar las vistas de Análisis compartidas, debe tener establecido el permiso Editar vistas de Análisis compartido en Permitir. Para más información, consulte Concesión de permisos para acceder al servicio Analytics.

Consultas de ejemplo

Nota:

En este artículo se da por supuesto que ha leído Información general de informes de ejemplo mediante consultas de OData y que tiene conocimientos básicos de Power BI.

Puede pegar la consulta de Power BI que se muestra a continuación directamente en la ventana Obtener consulta en blanco de datos>. Para obtener más información, consulte Introducción a los informes de ejemplo mediante consultas de OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineId eq 7813 "
                &"And Date/Date ge 2020-02-04Z "
        &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
            &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
            &"ResultNotImpactedCount with sum as NotImpactedCount, "
        &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlaykRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Cadenas de sustitución

Cada consulta contiene las siguientes cadenas que debe reemplazar por sus valores. No incluya corchetes {} con la sustitución. Por ejemplo, si el nombre de la organización es "Fabrikam", reemplace {organization} por Fabrikam, no {Fabrikam}por .  

  • {organization} - Nombre de la organización
  • {project} - Nombre del proyecto de equipo
  • {pipelinename} : el nombre de la canalización. Ejemplo: Fabrikam hourly build pipeline.
  • {startdate} - La fecha de inicio del informe. Formato: AAAA-MM-DDZ. Ejemplo: 2021-09-01Z representa el 1 de septiembre de 2021. No incluya comillas o corchetes y use dos dígitos para ambos, mes y fecha.

Desglose de consultas

En la tabla siguiente se describe cada parte de la consulta.

Elemento de consulta

Descripción

$apply=filter(

Iniciar filtro()

Pipeline/PipelineName eq '{pipelineName}'

Devolver ejecuciones de prueba para la canalización especificada

and CompletedOn/Date ge {startdate}

Devolver ejecuciones de pruebas en o después de la fecha especificada

and Workflow eq 'Build'

Devolución de ejecuciones de pruebas para el flujo de trabajo "Build"

)

Cerrar filter()

/groupby(

Iniciar groupby()

(TestSK, Test/TestName),

Agrupar por el nombre de la prueba

aggregate(

Inicie el agregado. Para todas las ejecuciones de prueba que coinciden con los criterios de filtro anteriores:

ResultCount with sum as TotalCount,

Cuente el número total de ejecuciones de prueba como TotalCount.

ResultPassCount with sum as PassedCount,

Cuente el número total de ejecuciones de pruebas superdas como PassedCount.

ResultFailCount with sum as FailedCount,

Cuente el número total de ejecuciones de pruebas con error como FailedCount.

ResultNotExecutedCount with sum as NotExecutedCount

Cuente el número total de ejecuciones de pruebas no ejecutadas como NotExecutedCount.

ResultNotImpactedCount with sum as NotImpactedCount,

Cuente el número total de ejecuciones de pruebas no afectadas como NotImpactedCount.

ResultFlakyCount with sum as FlakyCount

Cuente el número total de ejecuciones de pruebas poco activas como FlakyCount.

))

Cierre aggregate() y groupby()

/filter(FlakyCount gt 0)

Filtrar solo las pruebas que eran poco a poco al menos una vez

/compute(

Iniciar proceso()

(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate

Para todas las pruebas de flaky, calcule la tasa flaky.

)

Cerrar compute()

Transformaciones de Power BI

La consulta devuelve algunas columnas que necesita expandir y acoplar en sus campos para poder usarlas en Power BI. En este ejemplo, esta entidad es Test.

Después de cerrar el Editor avanzado y permanecer en el Editor de Power Query, seleccione el botón expandir en Probar.

Expandir la columna Prueba

  1. Elija el botón expandir.

    Power BI + OData - Choose expand button

  2. Active la casilla "(Seleccionar todas las columnas)" para expandir

    Power BI + OData - Select all columns

  3. La tabla contiene ahora la entidad expandida Test.TestName.

    Power BI + OData - Expanded entity

Cambiar el tipo de columna

La consulta no devuelve todas las columnas en el formato en el que puede consumirlas directamente en Power BI informes. Puede cambiar el tipo de columna como se muestra.

  1. Cambie el tipo de columna TotalCount, PassedCount, FailedCount, NotExecutedCount, NotImpactedCount y FlakyCount a Número entero.

    Power BI + OData - change column type

  2. Cambie el tipo de columna FlakyRate a Número decimal.

    Change the type of column FlakyRate to Decimal Number.

Cambie el nombre de los campos y la consulta y, a continuación, Cierre & aplicar

Cuando haya terminado, puede optar por cambiar el nombre de las columnas.

  1. Haga clic con el botón derecho en un encabezado de columna y seleccione Cambiar nombre...

    Power BI Rename Columns

  2. También puede cambiar el nombre de la consulta de la consulta predeterminada Query1 a algo más significativo.

    Power BI Rename Query

  3. Una vez hecho, elija Cerrar & aplicar para guardar la consulta y volver a Power BI.

    Power BI Close & Apply

Creación del informe

Power BI muestra los campos en los que puede informar.

Nota:

En el ejemplo siguiente se supone que nadie ha cambiado el nombre de ninguna columna.

Sample - Test Summary - Fields

Para un informe sencillo, siga estos pasos:

  1. Seleccione Power BI Tabla de visualización.
  2. Agregue el campo "Test.TestName" a Valores.
  3. Agregue el campo "TotalCount" a Valores.
  4. Agregue el campo "PassedCount" a Valores.
  5. Agregue el campo "FailedCount" a Valores.
  6. Agregue el campo "FlakyCount" a Valores.
  7. Agregue el campo "FlakyRate" a Valores.

El informe debe tener este aspecto.

Sample - Test Summary - Report

Puede usar las siguientes consultas para crear informes diferentes pero similares mediante los mismos pasos definidos anteriormente en este artículo.

Pruebas flaky para el flujo de trabajo de versión

Es posible que desee ver las pruebas poco eficaces de una canalización para el flujo de trabajo de versión , en lugar del flujo de trabajo de compilación.

Puede pegar la consulta de Power BI que se muestra a continuación directamente en la ventana Obtener consulta en blanco de datos>. Para obtener más información, consulte Introducción a los informes de ejemplo mediante consultas de OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Workflow), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Filtrar por rama

Es posible que desee ver las pruebas despaqueadas de una canalización solo para una rama determinada. Para crear el informe, lleve a cabo los siguientes pasos adicionales junto con lo que se ha definido anteriormente en este artículo.

  • Expanda Rama a Branch.BranchName
  • Seleccione Power BI segmentación de visualización y agregue el campo Branch.BranchName al campo de la segmentación de datos.
  • Seleccione la canalización en la segmentación para la que necesita ver el resumen de resultados.

Puede pegar la consulta de Power BI que se muestra a continuación directamente en la ventana Obtener consulta en blanco de datos>. Para obtener más información, consulte Introducción a los informes de ejemplo mediante consultas de OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
        &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
            &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
            &"ResultNotImpactedCount with sum as NotImpactedCount, "
        &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Filtrar por archivo de prueba

Es posible que desee ver las pruebas despaqueadas de una canalización solo para un archivo de prueba determinado. Para crear el informe, lleve a cabo los siguientes pasos adicionales junto con lo que se ha definido anteriormente en este artículo.

  • Expanda Rama en Test.ContainerName
  • Seleccione Power BI segmentación de visualización y agregue el campo Test.ContainerName al campo de la segmentación.
  • Seleccione la canalización en la segmentación para la que necesita ver el resumen de resultados.

Puede pegar la consulta de Power BI que se muestra a continuación directamente en la ventana Obtener consulta en blanco de datos>. Para obtener más información, consulte Introducción a los informes de ejemplo mediante consultas de OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Filtrar por propietario de prueba

Es posible que desee ver las pruebas desabladas de una canalización para las pruebas que pertenecen solo a un propietario de prueba determinado. Para crear el informe, lleve a cabo los siguientes pasos adicionales junto con lo que se ha definido anteriormente en este artículo.

  • Expanda Rama en Test.TestOwner
  • Seleccione Power BI segmentación de visualización y agregue el campo Test.TestOwner al campo de la segmentación de datos.
  • Seleccione la canalización en la segmentación para la que necesita ver el resumen de resultados.

Puede pegar la consulta de Power BI que se muestra a continuación directamente en la ventana Obtener consulta en blanco de datos>. Para obtener más información, consulte Introducción a los informes de ejemplo mediante consultas de OData.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
            &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
            &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
            &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Lista completa de informes de ejemplo de Pipelines

Canalización

Canalización y prueba