Ejecución de pruebas automatizadas desde planes de pruebas

• Tipo de prueba y ejecutor:seleccione Pruebas automatizadas mediante la fase de versión.

• Compilación:seleccione la compilación que tiene los archivos binarios de prueba. Los resultados de la prueba se asociarán a esta compilación.

• Canalización de versión:seleccione una canalización de la lista de canalizaciones de versión que pueden consumir el artefacto de compilación seleccionado.

• Fase de versión:seleccione el nombre de la fase configurada en la canalización de versión.

P: ¿Por qué usar fases de versión para ejecutar pruebas?

A: Azure Pipelines ofrece un flujo de trabajo de orquestación atractivo para obtener archivos binarios de prueba como artefactos y ejecutar pruebas. Este flujo de trabajo comparte los mismos conceptos que se usan en el flujo de trabajo de pruebas programadas, lo que significa que a los usuarios que ejecutan pruebas en el flujo de trabajo programado les será fácil adaptarse. por ejemplo, mediante la clonación de una canalización de versión de pruebas programadas existente.

Otra ventaja importante es la disponibilidad de un amplio conjunto de tareas en el catálogo de tareas que permiten realizar una serie de actividades antes y después de ejecutar pruebas. Entre los ejemplos se incluyen la preparación y limpieza de datos de prueba, la creación y limpieza de archivos de configuración, etc.

P: ¿Cómo funciona la selección de "Ejecución de prueba" en la Visual Studio de prueba de prueba versión 2?

Un: El subs sistema de administración de pruebas usa el objeto de ejecución de pruebas para pasar la lista de pruebas seleccionadas para su ejecución. La tarea de prueba busca el identificador de ejecución de pruebas, extrae la información de ejecución de pruebas, como los nombres de contenedor y método de prueba, ejecuta las pruebas, actualiza los resultados de la ejecución de pruebas y establece los puntos de prueba asociados a los resultados de la prueba en la ejecución de pruebas. Desde una perspectiva de auditoría, la tarea Visual Studio proporciona un seguimiento de las versiones históricas y los identificadores de ejecución de pruebas hasta las pruebas enviadas para la ejecución de pruebas a petición.

P: ¿Se debe ejecutar el agente en modo interactivo o como servicio?

Un: Si está ejecutando pruebas de IU como pruebas de IU codificadas o selenium, el agente de las máquinas de pruebas debe ejecutarse en modo interactivo con el inicio de sesión automático habilitado, no como servicio, para permitir que el agente inicie un explorador web. Si usa un explorador sin cabeza como PhantomJS,el agente se puede ejecutar como servicio o en modo interactivo. Consulte Agentes de compilación y versión,Implementar un agente en Windowsy Grupos de agentes.

P: ¿Dónde puedo encontrar documentación detallada sobre cómo ejecutar pruebas de Selenium?

Un: Consulte Introducción a las pruebas de Selenium.

P: ¿Qué ocurre si selecciono varias configuraciones para la misma prueba?

Un: Actualmente, el flujo de trabajo a petición no tiene en cuenta la configuración.

P: ¿Qué ocurre si necesito descargar archivos binarios de productos y probar archivos binarios de diferentes compilaciones? ¿O si necesito obtener artefactos de un origen como Jenkins?

Un: La funcionalidad actual está optimizada para que una compilación de un único equipo se pueda probar a petición mediante un flujo Azure Pipelines trabajo. Evaluaremos la compatibilidad con versiones de varios artefactos, incluidos artefactos no Azure Pipelines como Jenkins, en función de los comentarios de los usuarios.

P: Ya tengo una canalización de versión de prueba programada. ¿Puedo volver a usar la misma canalización para ejecutar pruebas a petición o debo crear una nueva canalización como se mostró anteriormente?

Un: Se recomienda usar una canalización de versión independiente y una fase para las pruebas automatizadas a petición de Azure Test Plans porque:

• Es posible que no quiera implementar la aplicación cada vez que quiera ejecutar algunas pruebas a petición. Las fases de prueba programadas se suelen configurar para implementar el producto y, a continuación, ejecutar pruebas.

• Novedades se desencadenan para cada ejecución a petición. Si tiene muchos evaluadores que ejecutan algunas ejecuciones de pruebas a petición todos los días, la canalización de versión de pruebas programadas podría sobrecargarse con versiones para estas ejecuciones, lo que dificulta encontrar las versiones que se desencadenaron para la canalización que contiene pruebas programadas e implementación en producción.

• Es posible que desee configurar la tarea Visual Studio test con un identificador de ejecución de prueba como entrada para que pueda realizar un seguimiento de lo que desencadenó la versión. Vea ¿Cómo funciona la selección de "Ejecución de pruebas (paraejecuciones a petición)" en la Visual Studio Tarea Prueba? .

P: ¿Puedo desencadenar estas ejecuciones y ver los resultados en Microsoft Test Manager?

R: No. Microsoft Test Manager no admitirá la ejecución de pruebas automatizadas en compilaciones de Team Foundation. Solo funciona en la interfaz basada en web para Azure Pipelines y TFS. Todas las nuevas inversiones en desarrollo de productos de pruebas manuales y automatizadas estarán en la interfaz basada en web. No se planea ningún desarrollo adicional para Microsoft Test Manager. Consulte Guía sobre el Microsoft Test Manager de datos.

P: Tengo varios evaluadores en mi equipo. ¿Pueden ejecutar pruebas desde diferentes conjuntos de pruebas o planes de pruebas en paralelo mediante la misma canalización de versión?

Un: Pueden usar la misma canalización de versión para desencadenar varias ejecuciones de prueba en paralelo si:

• El grupo de agentes asociado a la fase tiene suficientes agentes para atender solicitudes paralelas. Si no hay suficientes agentes disponibles, se pueden desencadenar ejecuciones, pero las versiones se pondrán en cola para su procesamiento hasta que estén disponibles.

• Tiene suficientes trabajos para habilitar trabajos paralelos. Vea Trabajos paralelos en Azure Pipelines o Trabajos paralelos en TFS para obtener más información.

• Los evaluadores no ejecutan las mismas pruebas en paralelo. Esto puede provocar que los resultados se sobrescriban en función del orden de ejecución.

Para permitir que varias ejecuciones de pruebas diferentes se ejecuten en paralelo, establezca la opción desencadenador de fase Azure Pipelines para el comportamiento cuando varias versiones estén esperando a implementarse de la siguiente manera:

• Si la aplicación admite pruebas que se ejecutan en paralelo desde orígenes diferentes, establezca esta opción en Permitir que varias versiones se implementen al mismo tiempo.

• Si la aplicación no admite pruebas que se ejecutan en paralelo desde orígenes diferentes, establezca esta opción en Permitir solo una implementación activa a la vez.

P: ¿Cómo pasar parámetros a mi código de prueba desde una canalización de compilación o versión?

A. Use un archivo runsettings para pasar valores como parámetros al código de prueba. Por ejemplo, en una versión que contiene varias fases, puede pasar la dirección URL de la aplicación adecuada a cada una de las tareas de prueba de cada una. El archivo runsettings y los parámetros correspondientes deben especificarse en la Visual Studio de prueba.

P: ¿Cuáles son los escenarios de error o problemas típicos que debo tener en cuenta si las pruebas no se ejecutan?

Un: Compruebe y resuelva los problemas como se muestra a continuación:

• La canalización de versión y la fase en la que quiero ejecutar pruebas no se muestran después de seleccionar la compilación.

  • Asegúrese de que la canalización de compilación que genera la compilación está vinculada como el artefacto principal en la Artifacts de la canalización de versión.

• Aparece un error que dice que no tengo permisos suficientes para desencadenar una versión.

  • Configure Los permisos Crear versiones y Administrar implementaciones para el usuario en el menú Seguridad de la canalización de versión. Consulte Permisos de versión.

• Aparece un error que dice que no se encontraron pruebas automatizadas.

  • Compruebe el estado de automatización de las pruebas seleccionadas. Haga esto en el elemento de trabajo para el caso de prueba o use el vínculo Opciones de columna de Azure Test Plans para agregar la columna Estado de Automation a la lista de pruebas. Consulte la sección requisitos previos para obtener información sobre la automatización de pruebas manuales.

• Mis pruebas no se ejecutaron y sospecho que la canalización de versión es incorrecta.

  • Use el vínculo de la página Ejecutar resumen para acceder a la instancia de versión usada para ejecutar las pruebas y ver los registros de versión.

• Mis pruebas tienen el estado de error o permanecen "en curso" incluso después de que se desencadene la versión a la fase.

  • Compruebe si la fase de versión seleccionada tiene seleccionada la tarea y la versión correctas. Debe usar la versión 2 o posterior de la tarea Visual Studio prueba. No se admiten la versión 1 de la tarea y la tarea Ejecutar pruebas funcionales.

Consulte también

• Asociación de pruebas automatizadas a casos de prueba
• Asociación de los resultados de pruebas automatizadas con los requisitos
• Escenarios y funcionalidades de pruebas continuas

Azure Test Plans | Azure DevOps Server 2020 | Azure DevOps Server 2019 | TFS 2018 | TFS 2017

Automatice los casos de prueba en los planes de prueba y ejecutarlos directamente desde Azure Test Plans . Las pruebas automatizadas proporcionan las siguientes ventajas:

• Un proceso fácil de usar para los evaluadores que pueden no estar bien comprobados con la ejecución de pruebas en flujos de trabajo de compilación o versión.
• Flexibilidad para ejecutar pruebas seleccionadas a petición, en lugar de pruebas programadas en flujos de trabajo de compilación o versión donde se ejecutan todas las pruebas que cumplen los criterios de filtro.
• La capacidad de volver a ejecutar algunas pruebas que no se pudieron realizar debido a problemas de infraestructura de pruebas, o bien tiene una nueva compilación que incluye correcciones para las pruebas con errores.

Requisitos previos

• Debe conectarse a un proyecto. Si aún no tiene un proyecto, cree uno.
• Debe agregarse a un proyecto. Para agregarlo, agregue usuarios a un proyecto o equipo.
• Para ver o ejecutar pruebas manuales o automatizadas, debe tener acceso Básico o superior.

Para más información, consulte Acceso y permisos de prueba manual.

Además, necesitará:

• Un plan de pruebas que contiene las pruebas automatizadas que ha asociado a métodos de prueba automatizados mediante Visual Studio 2017o Visual Studio 2015o versiones anteriores.
• Canalización de compilación que genera compilaciones que contienen los archivos binarios de prueba.
• Una aplicación para probar. Puede implementar la aplicación como parte del flujo de trabajo de compilación y versión y también usarla para pruebas a petición.
• Permisos para crear y administrar versiones, editar un entorno de versión y administrar la implementación. Para obtener más información, vea Establecer permisos para canalizaciones de versión y Permisos de versión.

Configurar el entorno

1. En la Test Plans, elija el plan de prueba, abra el menú contextual y elija Configuración del plan de prueba.

   

2. En el cuadro de diálogo Configuración del plan de prueba, seleccione la canalización de compilación que genera compilaciones que contienen los archivos binarios de prueba. A continuación, puede seleccionar un número de compilación específico para probar o permitir que el sistema use automáticamente la compilación más reciente cuando se ejecuten las pruebas.

   

3. Necesitará una canalización de versión que se creó a partir de la plantilla Ejecutar pruebas automatizadas desde Test Manager para ejecutar pruebas desde planes de pruebas en Azure Test Plans . Si tiene una canalización de versión existente que se creó con esta plantilla, selecciónelo y, a continuación, seleccione la fase existente en la canalización de versión donde se ejecutarán las pruebas. De lo contrario, elija el vínculo Crear nuevo en el cuadro de diálogo para crear una nueva canalización de versión que contenga una sola fase con la tarea Visual Studio prueba ya agregada.

   

   Cómo pasar parámetros a mi código de prueba desde una canalización de compilación o versión?

4. Asigne nombres significativos a la canalización de versión y a la fase según sea necesario.

5. Necesita que la Visual Studio test platform esté instalada en el equipo del agente. Si Visual Studio ya está instalado en el equipo del agente, puede omitir este paso. Si no es así, debe agregar la Visual Studio Instalador de plataforma de prueba a la definición de canalización.

6. Agregue la Visual Studio Prueba a la canalización de versión y configúrela de la siguiente manera:

   • Compruebe que la versión 2 de la Visual Studio prueba está seleccionada. El número de versión se muestra en la lista desplegable de la parte superior izquierda del panel de configuración de la tarea.

     

   • Compruebe que Select tests using (Seleccionar pruebas mediante) está establecido en Test run (Ejecutar prueba). ¿Qué significa esta configuración?

     

   • Para la configuración Versión de la plataforma de prueba, seleccione Instalado por el instalador de herramientas.

     

   • Si tiene pruebas de interfaz de usuario que se ejecutan en exploradores físicos o clientes gruesos, asegúrese de que el agente está configurado para ejecutarse como un proceso interactivo con el inicio de sesión automático habilitado. La configuración de un agente para que se ejecute de forma interactiva debe realizarse antes de poner en cola la compilación o la versión (establecer la casilla Combinación de pruebas contiene pruebas de IU no configura el agente en modo interactivo automáticamente; solo se usa como recordatorio para configurar el agente correctamente para evitar errores).

   • Si está ejecutando pruebas de interfaz de usuario en un explorador sininformación, no se requiere la configuración del proceso interactivo.

   • Seleccione cómo se aprovisiona la plataforma de prueba y la versión de Visual Studio o la ubicación de la plataforma de prueba que está instalada en las máquinas de pruebas.

   • Si las pruebas necesitan parámetros de entrada como direcciones URL de aplicación o cadenas de conexión de base de datos, seleccione el archivo de configuración correspondiente de los artefactos de compilación. Puede usar las tareas Publicar artefactos de compilación de la canalización de compilación para publicar el archivo de configuración en una ubicación de colocación si este archivo no está incluido en los artefactos. En el ejemplo que se muestra a continuación, la dirección URL de la aplicación se expone en el archivo de configuración de ejecución y se invalida para establecerla en una dirección URL de almacenamiento provisional mediante la configuración Invalidar parámetros de ejecución de prueba.

     

     Para obtener información sobre la configuración de opciones de la Visual Studio test, vea Visual Studio Test task.

7. Elija el elemento de trabajo Agente y compruebe que la cola de implementación está establecida en la que contiene las máquinas donde desea ejecutar las pruebas. Si las pruebas requieren máquinas especiales del grupo de agentes, puede agregar demandas que las seleccionen en tiempo de ejecución.

   

   Puede minimizar los tiempos de prueba mediante la distribución de pruebas entre varios agentes estableciendo Paralelismo en Varias ejecuciones y especificando el número de agentes.

   Nota

   Si está ejecutando pruebas de interfaz de usuario como CodeUI o Selenium en exploradores físicos como IE, Firefox o Chrome, el agente de las máquinas debe ejecutarse en modo interactivo y no como servicio. Más detalles.

8. En la página Canalización de la canalización de versión, compruebe que la canalización de compilación que contiene los archivos binarios de prueba está vinculada a esta canalización de versión como origen de artefacto.

   

9. Guarde la canalización de versión.

10. Si eligió Crear nuevo en el cuadro de diálogo Configuración del plan de prueba del paso 2 de este ejemplo, vuelva a la página del explorador que contiene la configuración del plan de pruebas. En el cuadro de diálogo Configuración del plan de prueba, seleccione la canalización de versión y la fase que acaba de guardar.

    

Ejecución de las pruebas automatizadas

1. En el Test Plans web, abra el plan de pruebas y seleccione un conjunto de pruebas que contenga las pruebas automatizadas.

2. Seleccione las pruebas que desea ejecutar, abra el menú Ejecutar y elija Ejecutar prueba.

   

   Los archivos binarios de prueba para estas pruebas deben estar disponibles en los artefactos de compilación generados por la canalización de compilación.

3. Elija Aceptar para iniciar el proceso de prueba. El sistema comprueba que solo se seleccionan las pruebas automatizadas (se omiten las pruebas manuales), valida la fase para asegurarse de que la tarea Prueba de Visual Studio está presente y tiene una configuración válida, comprueba el permiso del usuario para crear una versión para la canalización de versión seleccionada, crea una ejecución de prueba y, a continuación, desencadena la creación de una versión en la fase seleccionada.

   

4. Elija Ver ejecución de pruebas para ver el progreso de la prueba y analizar las pruebas con errores. Los resultados de las pruebas tienen la información pertinente para depurar pruebas con errores, como el mensaje de error, el seguimiento de la pila, los registros de consola y los datos adjuntos.

5. Una vez completada la ejecución de la prueba, la página Ejecuciones del Azure Test Plans muestra los resultados de la prueba. La página Resumen de ejecución muestra información general de la ejecución.

   

   Hay un vínculo a la versión que se usa para ejecutar las pruebas, lo que facilita la búsqueda de la versión que ejecutó las pruebas si necesita volver más tarde y analizar los resultados. Use también este vínculo si desea abrir la versión para ver los registros de versión.

   Nota: La asociación manual de archivos no se admite para los resultados de pruebas automatizadas.

   ¿Cuáles son los escenarios de error típicos o los problemas que debo buscar si no se ejecutan las pruebas?

6. En la página Resultados de la prueba se enumeran los resultados de cada prueba en la ejecución de pruebas. Seleccione una prueba para ver la información de depuración de pruebas con errores, como el mensaje de error, el seguimiento de la pila, los registros de consola y los datos adjuntos.

   

7. Abra la Test Plans y seleccione el plan de pruebas para ver el estado de las pruebas si las pruebas se actualizan una vez completada la ejecución de pruebas. Seleccione una prueba para ver los resultados recientes de la prueba.

   

Preguntas más frecuentes

P: ¿Qué permisos necesito para ejecutar pruebas automatizadas desde Azure Test Plans?

Debe ser colaborador de Project o tener los permisos siguientes:

• Creación de versiones
• Administración de versiones
• Edición de la fase de versión
• Administrar la implementación

Para obtener más información, vea Establecer permisos para canalizaciones de versión y Permisos de versión.

P: ¿Puedo invalidar la compilación o el conjunto de fases en el nivel de plan de prueba para una instancia específica de la ejecución de pruebas?

Un: Sí, puede hacerlo mediante el comando Ejecutar con opciones. Abra el menú contextual del conjunto de pruebas en la columna izquierda y elija Ejecutar con opciones.

Escriba los valores siguientes en el cuadro de diálogo Ejecutar con opciones y, a continuación, elija Aceptar: