Cómo: Configurar y ejecutar pruebas programadas después de compilar la aplicación

Puede ejecutar pruebas al término de una compilación para evaluar la calidad de dicha compilación. Estas pruebas suelen denominarse pruebas de comprobación de la compilación (BVT) o pruebas de humo. Suelen constar de un amplio conjunto de pruebas que se utilizan para comprobar las principales áreas de una aplicación en una compilación concreta. Una generación se considera correcta si todas las pruebas de la BVT se han superado.

Puede utilizar uno o varios tipos de pruebas automatizadas como parte de la prueba de comprobación de la compilación. Puede ejecutar los siguientes tipos de pruebas:

• Pruebas unitarias

• Pruebas unitarias de base de datos

• Pruebas de IU codificadas

• Pruebas de rendimiento web

• Pruebas de carga

• Pruebas genéricas

Al crear pruebas BVT, se utilizan Visual Studio, control de versiones de Team Foundation y Team Foundation Build. Primero, se utiliza Visual Studio para asignar categorías a las pruebas que se van a usar para la prueba BVT. A continuación, se protegen las pruebas automatizadas marcadas con las categorías de pruebas en el control de código fuente mediante control de versiones de Team Foundation. Después, se agrega el filtro de categoría de pruebas a la definición de compilación. Por último, se utiliza Team Foundation Build para poner en cola una compilación de modo que se ejecuten las pruebas si la compilación es correcta.

Nota

El equipo cliente debe tener instalado Team Explorer y la sesión de usuario de Visual Studio se debe conectar a un equipo de Team Foundation Server. Para obtener información sobre cómo conectar con Team Foundation Server, vea How to: Connect to a Team Project in Team Foundation Server.

En este tema, se describen todos los procedimientos necesarios para crear y ejecutar pruebas de comprobación de la compilación:

• Crear categorías de pruebas para la BVT

• Proteger las pruebas de comprobación de la compilación

• Crear una definición de compilación

• Agregar al grupo TeamTestControllerUsers los equipos o cuentas de usuario para los agentes de compilación y de prueba

• Configurar el agente para que ejecute pruebas de IU codificadas

• Ejecutar la definición de compilación de la BVT

  Nota

  Puede usar listas de pruebas para ejecutar las pruebas de comprobación de la compilación. Sin embargo, en lugar de usar la funcionalidad de listas de pruebas de las versiones anteriores de Microsoft Visual Studio 2010, se recomienda utilizar las categorías de pruebas, a menos que haya que crear una directiva de protección que requiera una lista de pruebas. Para obtener más información sobre cómo crear una lista de pruebas, vea Cómo: Crear una lista de pruebas.

Crear categorías de pruebas para la BVT

Puede utilizar los operadores lógicos & (AND), | (OR) y !(NOT) para crear filtros y seleccionar las pruebas que se van a ejecutar en función de las categorías asignadas a las pruebas. Se pueden crear varias categorías de pruebas y usarlas para la definición de compilación a fin de flexibilizar la forma en que se seleccionan las pruebas.

Para crear categorías de pruebas para los métodos de prueba

1. En el menú Prueba, haga clic en Ventanas y, a continuación, seleccione Vista de pruebas.

   Se mostrará la ventana Vista de pruebas.

2. Seleccione una prueba.

3. En el recuadro de propiedades de la prueba seleccionada, haga clic en los puntos suspensivos (…) que aparecen en la columna Categorías de prueba. Se mostrará la ventana Categoría de prueba.

4. En el campo Agregar nueva categoría, escriba el nombre de la nueva categoría de pruebas.

5. Haga clic en Agregar.

6. Haga clic en Aceptar. La nueva categoría de pruebas se asignará a la prueba y estará disponible para las otras pruebas en la ventana Vista de pruebas.

7. Para crear más categorías de pruebas, repita los pasos del 4 al 6.

   Para obtener más información sobre cómo asignar categorías de pruebas agregando un atributo al método de prueba, vea Cómo: Agrupar y ejecutar pruebas automatizadas mediante categorías de pruebas.

Proteger las pruebas de comprobación de la compilación

En este procedimiento, protegerá todos los archivos de su solución. También las categorías de pruebas que agregó a los métodos de prueba.

Para proteger las pruebas de comprobación de la compilación en el control de código fuente

1. Conéctese a un equipo de Team Foundation Server. Para obtener más información, vea How to: Connect to a Team Project in Team Foundation Server.

2. Si su solución aún no está en el control de código fuente, agréguela al control. Para obtener más información, vea Agregar archivos al control de versiones.

3. Haga clic en Ver y, a continuación, haga clic en Protecciones pendientes. Se mostrará la ventana Protección pendiente.

4. Proteja todos los archivos de la solución. Para obtener más información, vea Proteger los cambios pendientes.

   Nota

   Puede que exista un proceso de equipo concreto que determine cómo se crean y se administran las BVT. Por ejemplo, el proceso podría requerir la comprobación local de la compilación, antes de proteger el código y las pruebas que se ejecutarán en él.

   Al finalizar la operación de protección, se muestra un icono de candado al lado de cada archivo en el Explorador de soluciones, para indicar el estado Protegido. Para obtener más información, vea How to: Identify Version Control Item Status in Solution Explorer.

   Las pruebas protegidas estarán disponibles para que se usen en una compilación. Ahora puede crear una definición de compilación que contenga las pruebas que desea ejecutar en la BVT.

Crear una definición de compilación

Para crear la definición de compilación de la BVT

1. En Team Explorer, haga clic en el proyecto de equipo.

2. Haga clic con el botón secundario del mouse en Compilaciones y, después, haga clic en Definición de nueva compilación.

   Se mostrará la pestaña Definición de nueva compilación.

3. Escriba la información correspondiente a la nueva definición de compilación. Para obtener más información, vea Crear una definición de compilación básica.

4. En el cuadro de texto Nombre de definición de compilación, especifique el nombre que se va a asociar a la definición de compilación.

5. (Opcional) En el cuadro Descripción, escriba una descripción adecuada.

6. Haga clic en Área de trabajo.

   La tabla Carpetas de trabajo incluye de forma predeterminada la carpeta de control de código fuente correspondiente al proyecto de equipo para el que se van a crear las nuevas definiciones de compilación y una carpeta local en el agente de compilación. La carpeta local del agente de compilación se muestra en la columna Carpeta local. Todas las rutas de acceso de área de trabajo del agente de compilación se asignan respecto al directorio raíz predeterminado que se muestra.

7. Para copiar un área de trabajo existente en la lista de carpetas de trabajo, haga clic en el botón Copiar área de trabajo existente para abrir el cuadro de diálogo Seleccione un área de trabajo.

   El área de trabajo seleccionada se normaliza en el directorio raíz común del agente de compilación, $(SourceDir). SourceDir es una variable de entorno que se expande a $(BuildDir) \Sources.

   También puede hacer clic en una celda de tabla vacía en la Carpeta de control de código fuente y, a continuación, hacer clic en los puntos suspensivos (…) para buscar la carpeta de control de código fuente que va a agregar como carpeta de trabajo. La carpeta de control de código fuente que selecciona se normaliza también en el directorio raíz común del agente de compilación.

8. Haga clic en Valores predeterminados de compilación.

   En el recuadro Valores predeterminados de compilación, puede seleccionar el controlador de compilación, si hay alguno, en la lista desplegable Controlador de compilación. De forma opcional, puede hacer clic en Administrar para abrir el cuadro de diálogo Administrar controladores de compilación.

   En Copiar el resultado de la compilación en la siguiente carpeta de entrega escriba la ubicación de la ruta UNC, como \\servidor\recurso compartido. Los archivos binarios generados y los archivos de registro se almacenarán en esta carpeta en cuanto finalice la compilación. Para obtener más información acerca de cómo configurar una carpeta de entrega, vea Configurar carpetas de entrega.

   Si piensa ejecutar pruebas de IU codificadas, pruebas de rendimiento web o pruebas de carga como parte de la definición de compilación, debe utilizar el resultado de la compilación que está en esta ubicación para iniciar o instalar la aplicación. Para instalar la aplicación automáticamente después de que la compilación termine y antes de que se hagan las pruebas, use la plantilla predeterminada de laboratorio, que implementa la aplicación en un entorno virtual, o modifíquela para implementar la aplicación en un entorno físico.

   Nota

   Antes de completar este paso, debe haber creado una carpeta pública en la que la cuenta TFSService tenga todos los permisos. Para obtener más información sobre las cuentas de servicio de Team Foundation, vea Ver los servicios de Team Foundation Server.

9. Haga clic en Proceso.

10. En la sección Obligatorio, haga clic en Elementos para compilar. A continuación, haga clic en los puntos suspensivos (...).

    Se mostrará el cuadro de diálogo Elementos para compilar.

11. Haga clic en Agregar. A continuación, busque la solución o el proyecto que desee compilar en el árbol del control de versiones y, después, haga clic en Aceptar.

12. En el cuadro de diálogo Elementos para compilar, haga clic en Aceptar.

13. Para agregar una categoría de pruebas que se van a ejecutar una vez completada la compilación, abra la sección Básico. En la sección Pruebas automatizadas, abra Ensamblado de prueba y, a continuación, haga clic en Filtro de categoría. Escriba el filtro que necesite para seleccionar los métodos de prueba según la categoría de pruebas.

    Nota

    El filtro de categoría de pruebas está compuesto por uno o varios nombres de categoría de pruebas separados por los operadores lógicos '&', '|', '!', '&!'. Por ejemplo, ShoppingCart&SmokeTest ejecutará todas las pruebas con las categorías de pruebas ShoppingCart y SmokeTest. O bien, puede seleccionar simplemente todas las pruebas de una categoría escribiendo SmokeTest. (Los operadores lógicos '&' y '|' no se pueden usar juntos para crear un filtro de categoría de pruebas.)

14. Si desea especificar el modelo de búsqueda para buscar ensamblados de prueba, haga clic en Especificación de archivo de ensamblado de prueba. Escriba la cadena de búsqueda. Por ejemplo, **\*test*.dll si todos los dll contienen la palabra "test" en su nombre.

    Nota

    Con esta cadena de búsqueda, se realizará una búsqueda recursiva en los directorios para encontrar todos los dll que coincidan con *test*.dll en el directorio Archivos binarios. Para obtener más información sobre este tema, vea Definir el proceso de compilación.

15. (Opcional) Para seleccionar un archivo de configuración de pruebas que se va a usar en la ejecución de pruebas, abra Pruebas automatizadas, abra Ensamblado de prueba, haga clic en Archivo TestSettings y, a continuación, haga clic en los puntos suspensivos (...).

    Se mostrará el cuadro de diálogo Examinar. Busque el archivo de configuración .test que contenga la configuración de pruebas que desea utilizar y, a continuación, haga clic en Aceptar.

    Si el archivo de configuración de pruebas utiliza un controlador de pruebas y agentes de prueba, vea el siguiente procedimiento: Agregar equipos o cuentas de usuario para los agentes de compilación y prueba al grupo TeamTestControllerUsers.

    Si está ejecutando pruebas de UI codificadas, vea el siguiente procedimiento para configurar los agentes basándose en el archivo de configuración de pruebas: Configurar los agentes para que ejecuten pruebas de IU codificadas.

    Nota

    Puede utilizar la configuración de agente que figura en la sección de opciones avanzadas para seleccionar un agente concreto. Por ejemplo, si ejecuta pruebas de IU codificadas y debe seleccionar un agente que se ejecute como un proceso interactivo, podrá seleccionarlo en esta sección.

    Para obtener más información sobre los archivos de configuración de pruebas, vea Crear una configuración de pruebas para ejecutar pruebas automatizadas desde Visual Studio.

    Nota

    Hay dos archivos de configuración de pruebas predeterminados. De forma predeterminada, Local.testsettings solo recopila información del sistema. Si también desea recopilar los datos de IntelliTrace y los datos de análisis del impacto de las pruebas para determinar las pruebas que deberían ejecutarse según los cambios en la compilación, seleccione el archivo de configuración de pruebas denominado TraceAndTestImpact.testsettings.

16. (Opcional) Para ejecutar las pruebas de carga como parte del proceso de compilación, debe configurar un repositorio de resultados de pruebas de carga y configurar el controlador de pruebas especificado en la configuración de pruebas de modo que use dicho repositorio. Para obtener más información, vea Cómo: Seleccionar un repositorio de resultados de pruebas de carga.

17. Para guardar la nueva definición de compilación, haga clic en Guardar.

    La nueva definición de compilación aparece en la ventana de Team Explorer, bajo la carpeta Compilaciones.

    Nota

    Si desea agregar una lista de las pruebas que se van a ejecutar una vez completada la compilación en lugar de una categoría de pruebas, podrá agregar argumentos de la línea de comandos. Para obtener más información sobre los argumentos de la línea de comandos, vea Ejecutar pruebas automatizadas desde la línea de comandos.

Agregar al grupo TeamTestControllerUsers los equipos o cuentas de usuario para los agentes de compilación y de prueba

Si el archivo de configuración de pruebas que agregó a la definición de compilación utiliza un controlador de pruebas y agentes de prueba, deberá agregar los equipos de los agentes de compilación o de prueba al grupo de seguridad TeamTestControllerUsers en el equipo del controlador de pruebas. Por ejemplo, si desea ejecutar pruebas de IU codificadas como parte del proceso de compilación, deberá agregar dichos equipos a este grupo de seguridad.

Precaución
Si los agentes de compilación o los agentes de prueba están configurados de modo que usen un usuario diferente en lugar de la cuenta Network Service, asegúrese de agregar esta cuenta de usuario de dominio al grupo TeamTestControllerUsers.

Para agregar al grupo TeamTestControllerUsers los equipos o usuarios para los agentes de compilación y de prueba

1. En el equipo del controlador de pruebas, haga clic en Inicio, en Panel de control, en Herramientas administrativas y, a continuación, en Administración de equipos.

   Se mostrará el cuadro de diálogo Administración de equipos.

2. Abra Usuarios locales y grupos y, a continuación, haga clic en Grupos.

   Se mostrarán los grupos.

3. Para agregar los usuarios o equipos, haga clic con el botón secundario en TeamTestControllerUsers y elija Agregar al grupo.

   Se mostrará el cuadro de diálogo Propiedades de TeamTestControllerUsers.

4. Compruebe la lista de miembros para ver si ya se han agregado los equipos o la cuenta de usuario de dominio. Si no es el caso, haga clic en Agregar.

   Aparecerá el cuadro de diálogo Seleccionar usuarios, equipos o grupos.

5. De forma predeterminada, se muestran solo los usuarios o grupos. Para agregar equipos, haga clic en Tipos de objeto, seleccione Equipos y, a continuación, haga clic en Aceptar.

6. Para agregar un equipo, escriba el nombre del equipo en Escriba los nombres de objeto que desea seleccionar y, a continuación, haga clic en Aceptar.

   Precaución
   Debe agregar el equipo donde se ejecuta el agente de compilación y el equipo donde se ejecuta el agente de prueba.

7. Para agregar una cuenta de usuario de dominio, compruebe si la ubicación es correcta, escriba el nombre de la cuenta de usuario en Escriba los nombres de objeto que desea seleccionar y, a continuación, haga clic en Aceptar

   Importante
   Repita este paso para agregar todas las cuentas de usuario que sean necesarias.

8. Para aplicar los cambios, haga clic en Aceptar.

Configurar los agentes para que ejecuten pruebas de IU codificadas

Si desea ejecutar pruebas de IU codificadas como parte de las pruebas programadas una vez compilada la aplicación, debe hacer algo de lo siguiente:

• Use un archivo de configuración de pruebas que especifique un controlador de pruebas y los roles para que la aplicación ejecute las pruebas. Cree esta configuración de pruebas mediante Microsoft Visual Studio 2010. Para cada uno de los agentes de prueba asignados al rol que ejecuta las pruebas de la configuración de pruebas, debe seguir los pasos de este procedimiento a fin de configurar el agente de prueba de modo que se ejecute como un proceso en lugar de un servicio. Para obtener más información sobre los controladores y agentes de pruebas, vea Configurar máquinas de pruebas para ejecutar pruebas o recopilar datos e Instalar y configurar los agentes de Visual Studio y los controladores de compilación y pruebas.

• Use un archivo de configuración de pruebas que no especifica un controlador de pruebas. Si hace esto, debe configurar el servicio del agente de compilación para poder interactuar con el escritorio. Seleccione la propiedad del servicio para Permitir que el servicio interactúe con el escritorio. Esto permite al agente de compilación ejecutar la prueba de IU codificada.

  Precaución
  Si ejecuta una prueba de IU codificada que inicia un explorador, se usa la cuenta del servicio de compilación para iniciar ese explorador. Esta cuenta de servicio debe ser igual que la cuenta de usuario que actúa como usuario activo en este equipo. Si no es la misma cuenta de usuario, el explorador no se iniciará.

Para configurar los agentes de prueba de modo que ejecuten pruebas de IU codificadas

• Si desea configurar los agentes de pruebas para ejecutar pruebas de IU codificadas, siga los pasos de este tema: Cómo: Configurar el agente de pruebas para ejecutar pruebas que interactúen con el escritorio.

Para ejecutar la BVT mediante Team Build

Para ejecutar la BVT mediante Team Build

1. En Team Explorer, haga clic en el proyecto de equipo.

2. Haga clic con el botón secundario en Compilaciones y, a continuación, haga clic en Poner nueva compilación en cola.

3. (Opcional) Cambie la ubicación y el directorio de la generación.

4. Haga clic en Cola.

   Se iniciará la compilación y se mostrará el cuadro de diálogo Explorador de compilaciones.

5. Cuando se complete la compilación, haga clic en Completada para ver los detalles.

6. Para ver los detalles de la compilación, haga doble clic en ella en la lista.

   Se mostrará una nueva pestaña con la información de la compilación. Puede ver el estado de la ejecución de pruebas.

7. Para ver los detalles de los resultados una prueba, haga clic en la flecha para abrir la prueba y, a continuación, haga clic en Ver resultados de pruebas.

8. Seleccione una carpeta para almacenar localmente los resultados de pruebas.

   Los resultados se mostrarán en la ventana Resultados de pruebas.

   Para obtener más información, vea Compilar la aplicación.

Vea también

Conceptos

Ejecutar pruebas automatizadas

Definir categorías de listas para agrupar las pruebas

Definir listas de pruebas para agrupar las pruebas

Probar el rendimiento y esfuerzo de la aplicación

Otros recursos

Uso del control de versiones