Probar diferentes configuraciones

Azure Test Plans | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018-2015

Es probable que los usuarios instalen o ejecuten la aplicación en una amplia variedad de configuraciones (como sistemas operativos diferentes, exploradores web distintos y otras variaciones). Querrá ejecutar al menos algunas de las pruebas en fases que tengan esas distintas configuraciones.

Use los planes de prueba para decidir qué pruebas desea ejecutar en qué configuraciones. Debe asegurarse de que, al ejecutar las pruebas, haya configurado las fases para las configuraciones que necesita.

Puede dibujar una matriz esquemática de las combinaciones que desea probar:

Matriz de pruebas de las configuraciones del explorador y del sistema operativo

A continuación, puede:

Requisitos previos

  • Debe conectarse a un proyecto. Si aún no tiene un proyecto, cree uno.

  • Debe agregarse a un proyecto. Para agregarlo, agregue usuarios a un proyecto o equipo.

  • Para ver los elementos de trabajo relacionados con las pruebas, debe tener acceso básico o superior y permisos para ver los elementos de trabajo en la ruta de acceso de área correspondiente.

  • Para agregar planes de pruebas y conjuntos de pruebas, casosde prueba manuales,eliminar artefactos de prueba y definir configuraciones de prueba, debe tener el nivel de acceso Básico + Test Plans o tener una de las siguientes suscripciones de Visual Studio:

  • Para agregar o editar artefactos relacionados con pruebas, debe tener los permisos siguientes:

    • Para agregar o modificar planes de prueba, conjuntos de pruebas, casos de prueba u otros tipos de elementos de trabajo basados en pruebas, debe tener el permiso Editar elementos de trabajo en este nodo establecido en Permitir en la ruta de acceso de área correspondiente.
    • Para modificar las propiedades del plan de pruebas, como la configuración de compilación y prueba, debe tener el permiso Administrar planes de pruebas establecido en Permitir en la ruta de acceso de área correspondiente.
    • Para crear y eliminar conjuntos de pruebas, agregar y quitar casos de prueba de los conjuntos de pruebas, cambiar las configuraciones de prueba asociadas a los conjuntos de pruebas y modificar una jerarquía del conjunto de pruebas (mover un conjunto de pruebas), debe tener el permiso Administrar conjuntos de pruebas establecido en Permitir en la ruta de acceso de área correspondiente.

Para más información, consulte Acceso y permisos de prueba manual.

Creación de configuraciones y variables

Una configuración de prueba es una combinación de valores de variables de configuración. Las variables de configuración podrían ser, por ejemplo, el sistema operativo, el explorador, el tipo de CPU o la base de datos. Una configuración podría ser "Windows 8 + CPU de 32 bits" o "Windows 10 + CPU de 64 bits".

Cree primero las variables de configuración. A continuación, combine varios valores de variable para crear una configuración.

  1. Abra la página Configuraciones en el Test Plans web, seleccione el icono y seleccione Nueva variable de configuración.

    Captura de pantalla que muestra la opción Nueva variable de configuración en el menú Nuevo.

  2. Escriba un nombre para la variable, como Browsery una descripción. Seleccione Agregar nuevo valory agregue un valor. Agregue tantos valores como desee a la variable de configuración y guárdelo.

    Captura de pantalla que muestra cómo agregar valores a una nueva variable de configuración.

  3. Repita los pasos para crear cualquier otra variable de configuración que necesite. Por ejemplo, cree una variable de configuración denominada Sistema operativo con los nombres de cada sistema operativo en el que quiera probar.

    Captura de pantalla que muestra cómo establecer los valores de una variable de configuración de sistemas operativos.

  4. Seleccione el icono + y seleccione Nueva configuración de +

    Captura de pantalla que muestra la opción Nueva configuración de prueba en el menú Nuevo.

  5. Escriba un nombre para la configuración de prueba y agregue las variables de configuración que ha creado. Elija un valor para cada variable para esta configuración.

    Captura de pantalla que muestra cómo agregar variables a la nueva configuración de prueba.

    Asegúrese de que la opción Asignar a nuevos planes de prueba está activada para que esta configuración sea la predeterminada para todos los nuevos planes de prueba que cree.

  6. Guarde la nueva configuración de prueba.

Una configuración de prueba es una combinación de valores de variables de configuración. Las variables de configuración podrían ser, por ejemplo, el sistema operativo, el explorador, el tipo de CPU o la base de datos. Una configuración podría ser "Windows 8 + CPU de 32 bits" o "Windows 10 + CPU de 64 bits".

Primero debe crear las variables de configuración. A continuación, combine varios valores de variable para crear una configuración.

  1. Abra la página Configuraciones en el Test Plans web, elija el icono nuevo y seleccione Nueva variable de configuración.

    Adición de una nueva variable de configuración

  2. Escriba un nombre para la variable, como Browsery escriba un valor. Agregue tantos valores como desee a la variable de configuración y guárdelo.

    Establecimiento de los valores de una nueva variable de configuración

  3. Repita los pasos para crear cualquier otra variable de configuración que necesite. Por ejemplo, cree una variable de configuración denominada Sistema operativo con los nombres de cada sistema operativo en el que quiera probar.

    Establecimiento de los valores de una variable de configuración de sistemas operativos

  4. Elija el icono nuevo y seleccione Nueva configuración de prueba.

    Adición de una nueva configuración de prueba

  5. Escriba un nombre para la configuración de prueba y agregue las variables de configuración que ha creado. Elija un valor para cada variable para esta configuración.

    Agregar variables a la nueva configuración de prueba

    Asegúrese de que la opción Asignar a nuevos planes de prueba está activada para que sea la configuración predeterminada para todos los nuevos planes de prueba que cree.

  6. Guarde la nueva configuración de prueba.

Asignación de configuraciones a planes y conjuntos de pruebas

Puede asignar configuraciones a un conjunto de pruebas o a un caso de prueba individual. Las configuraciones asignadas a un conjunto de pruebas se aplican a todas las pruebas o conjuntos que incluye.

  1. Para asignar una configuración a un conjunto de pruebas, en la página Planes de prueba, seleccione un plan. En el área Conjuntos de pruebas, seleccione un conjunto de pruebas y seleccione Más opciones o haga clic con el botón derecho para abrir el menú contextual y, a continuación, seleccione Asignar configuración.

    Captura de pantalla que muestra la opción de menú Asignar configuración.

    Si agrega varias configuraciones a un conjunto de pruebas, los casos de prueba se repiten con cada una de las configuraciones que ha asignado.

    Captura de pantalla que muestra varias asignaciones de configuración a un conjunto de pruebas.

  2. Si es necesario, invalide la configuración predeterminada asignada a un caso de prueba y asigne la configuración que necesita. Seleccione uno o varios casos de prueba, abra el menú contextual y seleccione Asignar configuración.

    Captura de pantalla que muestra la asignación de una configuración asignada a un caso de prueba.

  3. Busque y seleccione las configuraciones que se asignarán a los casos de prueba.

    Captura de pantalla que muestra cómo establecer configuraciones para un caso de prueba.

Puede asignar configuraciones a un plan de pruebas, un conjunto de pruebas o un caso de prueba individual. Las configuraciones asignadas a un plan de pruebas o conjunto de pruebas se aplican a todas las pruebas o conjuntos que incluye.

  1. Para asignar una configuración a un plan de prueba, en la página Planes de prueba, abra el menú contextual del plan y elija Asignar configuración al plan de prueba.

    Asignación de una configuración a un plan de prueba

  2. Para asignar una configuración a un conjunto de pruebas, abra el menú contextual del conjunto y elija Asignar configuración al conjunto de pruebas.

    Asignación de una configuración a un conjunto de pruebas

    Si agrega varias configuraciones a un plan o conjunto de pruebas, los casos de prueba se repiten en el plan o conjunto con cada una de las configuraciones que ha asignado.

    Asignación de varias configuraciones a un conjunto de pruebas

  3. Si es necesario, invalide la configuración predeterminada asignada a un caso de prueba y asigne la configuración que necesita. Seleccione uno o varios casos de prueba, abra el menú contextual y elija Asignar configuraciones.

    Invalidación de la configuración predeterminada asignada a un caso de prueba

  4. Busque y seleccione las configuraciones que se asignarán a estos casos de prueba.

    Establecimiento de las configuraciones necesarias para un caso de prueba

Ejecutar pruebas con cada configuración

Configure una plataforma de pruebas para una configuración determinada, como probar la aplicación mediante Google Chrome en Windows 10.

  1. Seleccione y ejecute una prueba que tenga asignada esta configuración.

    Captura de pantalla que muestra una prueba con una configuración específica y la opción Ejecutar para la aplicación web seleccionada.

    Al ejecutar la prueba, aparece un recordatorio de la configuración en la barra de estado.

    Captura de pantalla que muestra la configuración de esta prueba en la barra de estado.

  1. Configure una plataforma de pruebas para una configuración determinada, como probar la aplicación mediante Google Chrome en Windows 10.

  2. Seleccione y ejecute una prueba que tenga asignada esta configuración.

    Ejecución de la prueba con la configuración asignada

    Al ejecutar la prueba, se muestra un recordatorio de la configuración necesaria en la barra de estado de la Test Runner configuración.

    La configuración necesaria aparece en la ventana Test Runner configuración.

Seguimiento de los resultados de las pruebas para cada configuración

  1. Abra la página Gráficos del conjunto de pruebas, seleccione Nuevoy nuevo gráfico de resultados de prueba.

    Captura de pantalla que muestra la opción de menú Nuevo gráfico de resultados de prueba.

  2. Elija un tipo de gráfico, como un gráfico circular o un gráfico de barras, seleccione Agrupar por configuración y elija Aceptar.

    Captura de pantalla que muestra cómo elegir una opción de configuración para agrupar por en el cuadro de diálogo Configurar gráfico.

    Se crea un gráfico que puede ayudarle a realizar un seguimiento de las pruebas en función de las configuraciones. Puede anclar este gráfico al panel.

    Captura de pantalla que muestra un gráfico de barras con valores para No ejecutar, Pasar y Error.

Si tiene un caso de prueba que aparece en varios conjuntos de pruebas, puede establecer las distintas configuraciones para cada conjunto. El mismo caso de prueba puede tener distintas opciones de configuración en diferentes conjuntos de pruebas y planes de pruebas.

  1. Abra la página Gráficos del plan de pruebas o conjunto de pruebas, elija Nuevoy seleccione Nuevo gráfico de resultados de prueba.

    Creación de un nuevo gráfico de resultados de prueba

  2. Elija el tipo de gráfico que necesita, seleccione Configuración en la lista Agrupar por y elija Aceptar.

    Elección del tipo de gráfico que necesita

    Se crea un gráfico que puede ayudarle a realizar un seguimiento de las pruebas en función de las configuraciones. Puede anclar este gráfico al panel.

    Gráfico de resultados de la prueba de configuración

Si tiene un caso de prueba que aparece en varios planes de pruebas y conjuntos de pruebas, puede establecer las distintas configuraciones para cada uno de ellos. El mismo caso de prueba puede tener distintas opciones de configuración en diferentes conjuntos de pruebas y planes de pruebas.