Gestion de nouveaux efforts de test
Vous pouvez utiliser le Centre de tests de Gestionnaire de tests Microsoft à partir de Visual Studio 2010 Ultimate ou de Visual Studio Test Professional pour planifier votre effort de test, en fonction de votre stratégie. Gestionnaire de tests Microsoft est une nouvelle application qui vous permet de créer un plan de test associé à votre projet d'équipe. Dans votre plan de test, vous pouvez définir les tests que vous prévoyez d'exécuter pour une itération spécifique. En outre, vous pouvez créer des configurations de test qui spécifient la configuration de test à utiliser pour effectuer les tests. En définissant les tests à exécuter et les configurations de test employées, vous pouvez utiliser le plan de test pour mesurer votre progression dès que vous commencez à effectuer vos tests.
Vous pouvez créer pour votre plan de test des cas de test pouvant être utilisés pour les tests manuels et automatisés. Vous pouvez ajouter toutes les informations dont vous avez besoin pour effectuer un test manuellement en ajoutant des étapes de test avec des actions et les résultats attendus. De plus, vous pouvez partager des étapes de test communes avec d'autres tests pour réduire l'effort lié à la maintenance des étapes de test manuel.
Lorsque vous exécutez ces tests manuels à l'aide de Gestionnaire de tests Microsoft, vous pouvez collecter les détails des actions que vous exécutez dans un journal et en tant qu'enregistrement que vous pourrez utiliser la prochaine fois pour accélérer vos tests manuels. Vous pouvez capturer une vidéo de votre bureau, créer une capture instantanée et ajouter des commentaires à vos résultats de test. Vous pouvez également rassembler d'autres informations de diagnostic lorsque vous exécutez un test et les enregistrer dans le résultat des tests. Si nécessaire, vous pouvez créer des bogues lorsque vous effectuez ces tests et ajouter automatiquement à un bogue toutes les données que vous collectez.
Avec Microsoft Visual Studio 2010, vous pouvez créer différents types de tests automatisés. Vous pouvez créer des tests unitaires pour tester différentes méthodes de votre code, des tests codés de l'interface utilisateur pour tester votre interface utilisateur, des tests génériques appelant des méthodes API et des tests de charge pour vérifier les performances de votre application avec différents niveaux de contrainte. Vous pouvez associer des tests automatisés à vos cas de test pour exécuter ces tests dans le cadre de votre plan de test.
Après avoir effectué les tests, vous pouvez créer des rapports concernant votre progression. Lorsque vous utilisez des plans de test pour structurer votre approche de test, vous pouvez répondre aux questions suivantes :
Combien de tests ont réussi ou échoué ?
Combien de tests doivent encore être exécutés pour cette itération ?
Quand les tests seront-ils terminés ?
Quelles fonctionnalités du produit présentent des taux d'échec de test élevés ?
Quelles configurations de test ont des taux d'échec élevés ?
À qui reste-t-il le plus de tests à exécuter ?
Les ressources peuvent-elles être réaffectées de façon à ce que les tests restants soient mieux équilibrés ?
Quelle build les testeurs doivent-ils utiliser en fonction des modifications apportées au code et des résolutions de bogue ?
Pour plus d'informations sur les stratégies de test, consultez Tester de manière anticipée et fréquente.
Mise en route de la gestion de cas de test
Pour tester le logiciel, vous commencez par planifier votre stratégie de test, vous exécutez les tests, puis vous signalez tous les bogues que vous trouvez. Ensuite, vous pouvez examiner votre progression et déterminer si vous souhaitez réexécuter des tests, vérifier des résolutions de bogue ou ajouter des cas de test et des configurations de test. Vous pouvez également décider que vos tests sont terminés pour l'itération actuelle. Les étapes suivantes vous aideront à commencer à utiliser Gestionnaire de tests Microsoft.
Connexion à votre projet d'équipe
Plan de votre effort de test
Exécution des tests
Suivi de votre progression
Se connecter
Vous devez d'abord vous connecter à Team Foundation Server et à votre projet d'équipe à l'aide de Gestionnaire de tests Microsoft. Le projet d'équipe est le même que celui utilisé pour ajouter des spécifications pour votre application, maintenir le code source et générer l'application à tester. Les artefacts de test sont créés et gérés dans ce même projet d'équipe. Vos résultats de test sont également associés à ce projet d'équipe. Lorsque vous êtes connecté à ce projet, vous pouvez y créer un plan de test à utiliser pour votre planning de test.
L'illustration suivante indique comment se connecter à un projet d'équipe.
.png "Se connecter à votre projet d'équipe")
Notes
Seules s'afficheront les projets d'équipe auxquels vous êtes autorisé à accéder. Pour plus d'informations sur les autorisations, consultez Autorisations de Team Foundation Server.
Pour plus d'informations, consultez Comment : se connecter à un projet d'équipe pour la première fois à partir du Gestionnaire de tests Microsoft.
Plan
Vous devez définir votre effort de test à l'aide d'un plan de test dans Gestionnaire de tests Microsoft. Ce plan peut être simple ou complexe selon les besoins de votre projet. Il vous permet de choisir les tests à exécuter et de mesurer la progression des tests.
Vous pouvez spécifier des configurations de test pour définir le logiciel ou le matériel à utiliser pour effectuer les tests dans le cadre de votre plan. Vous créez ensuite une hiérarchie de suites de tests dans le plan. Il peut s'agir d'une seule suite de tests contenant tous vos cas de test, ou vous pouvez utiliser la hiérarchie des suites de tests pour fournir une structure permettant de regrouper des cas de test. Cette structure peut effectuer un regroupement en fonction de spécifications ou de récits utilisateur de votre projet d'équipe. Enfin, vous pouvez ajouter à une suite de tests des cas de test manuel contenant des étapes d'action et de validation, ou des tests automatisés.
L'illustration suivante présente les artefacts de test de votre plan de test.
.png "Composants d'un plan de test")
Utilisez les rubriques suivantes pour vous aider à planifier votre effort de test :
Tâches |
Rubriques associées |
|---|---|
Planification de la matrice de configurations en vue de l'exécution de vos tests : vous pouvez créer des configurations de test pour définir le logiciel ou le matériel à utiliser pour effectuer vos tests. Vous pouvez spécifier des configurations par défaut pour votre plan et déterminer les tests à exécuter, ainsi que les configurations à utiliser pour ceux-ci. |
|
Création de votre plan : vous devez créer un plan pour vos tests et ajouter les configurations de test à utiliser comme configurations par défaut. |
|
Ajout de suites de tests et de cas de test à votre plan : vous pouvez créer des suites de tests pour regrouper vos cas de test. Vous pouvez créer des suites de tests en fonction de spécifications ou de récits utilisateur. Vous pouvez également créer des suites en sélectionnant des cas de test existants ou en ajoutant des nouveaux. Vous pouvez ensuite ajouter des étapes de test manuel à ces cas de test. Vous avez également la possibilité d'associer des tests automatisés à vos cas de test pour pouvoir les exécuter à partir d'un plan. |
|
Importation de suites de tests à partir d'un autre plan de test : vous pouvez importer des suites de tests à partir d'un plan de test existant si vous avez besoin des mêmes suites de tests dans un autre plan de test. |
|
Assignation de la personne chargée d'exécuter les tests : vous pouvez assigner les tests de votre plan de test à des testeurs spécifiques de votre équipe. Par défaut, les tests sont assignés aux propriétaires des cas de test. Toutefois, vous pouvez modifier cette assignation. |
|
Planification de l'installation requise pour les tests : vous pouvez planifier les environnements et les paramètres de test dont vous pouvez avoir besoin pour effectuer les tests. Les environnements peuvent être des environnements physiques ou virtuels. |
Test
Une fois que vous avez créé votre plan et qu'il existe une build de votre application à tester, vous êtes prêt à effectuer vos tests. Vous pouvez sélectionner cette build comme build à utiliser pour vos tests. Les combinaisons de configurations de test et de suites de tests que vous avez créées dans votre plan de test sont prêtes à être exécutées comme indiqué dans l'illustration suivante.
.png "Exécution de tests manuels dans différentes suites de tests")
Les tests manuels sont exécutés localement à l'aide de Test Runner qui vous permet d'enregistrer les résultats de chaque étape de test et d'enregistrer les résultats du test à chaque exécution de ce dernier.
Vous pouvez utiliser Gestionnaire de tests Microsoft pour configurer des paramètres de test afin de déterminer comment exécuter les tests et sélectionner les données et les diagnostics à collecter lors de l'exécution des tests. Vous pouvez collecter des données et des informations de diagnostic localement ou à distance en utilisant des environnements de test. Lorsque vous effectuez vos tests, vous pouvez enregistrer ces données et ces diagnostics avec vos résultats et les utiliser pour créer des bogues détaillés si nécessaire.
En règle générale, vous faites appel à un environnement lorsque vous testez une application plus complexe. Un environnement se compose d'un ensemble de rôles. Un rôle spécifie la fonction d'un ordinateur dans l'environnement. Par exemple, un rôle spécifique peut être nommé 'Site Web du magasin de données client'.
L'environnement vous permet d'exécuter les tests, de collecter des données ou d'effectuer des actions système sur les ordinateurs pour chaque rôle spécifique. Un ordinateur peut être une machine physique ou virtuelle. Par exemple, vous avez la possibilité d'exécuter vos tests sur un ordinateur et de collecter les informations système relatives à un ordinateur sur lequel le serveur Web est installé pour votre application. Par ailleurs, vous pouvez exécuter vos tests dans un environnement utilisant plusieurs ordinateurs et collecter les données d'impact de test sur ces ordinateurs, puis employer l'émulation de réseau sur l'ordinateur exécutant le client Web pour votre application.
Trois exemples de scénarios montrant comment vous pouvez définir vos paramètres de test avec un plan de test pour exécuter les tests sont présentés dans l'illustration suivante.
.png "Concepts de paramètres de test")
Utilisez les rubriques suivantes pour vous guider dans l'exécution de vos tests :
Tâches |
Rubriques associées |
|---|---|
Configuration d'ordinateurs de test pour exécuter des tests ou collecter des données : vous pouvez créer des paramètres de test pour définir les rôles dont vous avez besoin pour l'application testée et déterminer comment collecter des données et des diagnostics pour chaque rôle. Vous pouvez utiliser un environnement physique ou virtuel contenant les rôles de vos paramètres de test pour assigner les ordinateurs réels qui seront utilisés lors de l'exécution des tests. Vous avez besoin d'un contrôleur de test pour créer des environnements physiques et virtuels. Vous ne pouvez créer des environnements virtuels qu'à l'aide de Visual Studio Lab Management. |
|
Exécution de tests manuels à partir d'un plan de test : Vous pouvez exécuter des tests manuels à partir de votre plan de test à l'aide de Test Runner pour enregistrer le résultat de chaque étape (réussite ou échec). Vous avez la possibilité d'enregistrer le résultat du test et toutes les données qui sont collectées lors de l'exécution de ce dernier. |
|
Accélération des tests manuels : vous pouvez enregistrer les actions d'interface utilisateur exécutées lorsque vous effectuez un test manuel. Lorsque vous réexécutez le test, vous pouvez utiliser cet enregistrement des actions pour accélérer le processus en lisant l'enregistrement jusqu'à l'étape de test que vous devez exécuter pour vérifier un bogue. |
|
Exécution de tests automatisés : vous pouvez exécuter directement des tests à partir de Microsoft Visual Studio 2010, de Team Build ou de la ligne de commande. Vous pouvez associer un test automatisé à un cas de test à partir de Microsoft Visual Studio 2010 et exécuter ce cas de test dans le cadre de votre plan de test à l'aide de Gestionnaire de tests Microsoft pour pouvoir suivre les résultats de vos tests automatisés avec tout test manuel. |
|
Analyse des résultats de tests : vous pouvez analyser les résultats de vos tests automatisés à partir d'une série de tests spécifique. Vous pouvez classer les bogues en fonction de vos résultats. Vous pouvez également examiner les résultats de la couverture du code pour vérifier que vos tests testent réellement le plus d'éléments possibles de votre application. |
|
Exécution de tests exploratoires : si vous souhaitez effectuer des tests exploratoires sans étape de test spécifique, vous pouvez créer un cas de test avec une seule étape d'exploration. Vous pouvez ensuite utiliser ce cas de test comme base pour explorer les fonctionnalités de votre application et garder une trace des éléments testés à l'aide du journal des actions et d'un enregistrement vidéo. Vous pouvez également enregistrer des bogues exploratoires et sélectionner une section spécifique de votre journal des actions à utiliser dans le bogue selon le temps écoulé. |
Suivi
Vous pouvez maintenant effectuer un suivi de votre effort de test défini dans votre plan de test. Vous pouvez vérifier s'il existe d'autres builds pour votre plan et consulter les tests recommandés à exécuter pour ces builds selon les modifications de code. Vous pouvez exécuter des rapports standard ou vos propres requêtes personnalisées pour assurer le suivi de la qualité de l'application testée.
Utilisez les rubriques suivantes pour vous aider à effectuer le suivi de votre effort de test :
Tâches clés |
Rubriques associées |
|---|---|
Affichage de rapports vous aidant à suivre la progression des tests : vous pouvez afficher des rapports relatifs à la disponibilité des cas de test et à la progression de votre plan de test. |
|
Recherche de tests à réexécuter en fonction des modifications apportées au code : vous pouvez comparer les builds pour identifier les tests qu'il est recommandé de réexécuter, en fonction des modifications apportées à l'application testée. |
|
Triage des bogues : Vous pouvez examiner les bogues et déterminer les étapes ultérieures à suivre. Vous pouvez également réaffecter des bogues si nécessaire. |
|
Utilisation de requêtes standard et personnalisées pour la création de rapports : vous pouvez utiliser des requêtes existantes pour créer des rapports relatifs aux cas de test et aux bogues. Vous avez également la possibilité de créer vos propres requêtes personnalisées pour la création de rapports. |