Suivre vos résultats de tests

Quand vous créez et exécutez des tests, vous souhaitez pouvoir suivre leur état. Par exemple, vous souhaitez connaître le nombre de tests prêts à être effectués, ou le taux de réussite/d'échec des tests, ou encore le nombre de tests effectués jusqu'à présent.

Quelles sont les options qui existent en matière de création de rapports ?

• Graphiques épurés (Visual Studio Online ou Team Web Access)

• Requêtes d'élément de travail (Visual Studio Online ou Team Web Access)

• Rapports préexistants sur les données de l'entrepôt (instance locale de TFS uniquement)

• Créez vos propres rapports à partir des données de l'entrepôt (instance locale de TFS uniquement)

Utilisez des graphiques épurés pour afficher facilement les réponses à la plupart de vos questions en matière d'état. Vous pouvez épingler ces graphiques sur votre page d'accueil pour que toute l'équipe puisse en voir la progression en un coup d'œil. (Vous devez avoir TFS 2013 Update 4 ou une version ultérieure pour utiliser des graphiques épurés avec Team Web Access.)

Créez et exécutez des requêtes d'élément de travail pour générer des rapports à partir du hub de travail. À partir d'une requête d'élément de travail de liste plate, vous pouvez également générer un graphique pour cette requête. Par exemple, créez une requête pour afficher les bogues actifs et leur priorité, puis générez un graphique pour regrouper rapidement ces bogues actifs par priorité.

Toutefois, si les graphiques épurés ne vous fournissent pas les rapports dont vous avez besoin, vous pouvez explorer les données de manière plus détaillée à condition d'utiliser TFS localement. Vous pouvez accéder aux rapports existants sur les données de l'entrepôt, ou vous pouvez créer les vôtres avec Excel.

État des tests avec des graphiques épurés

Vous pouvez créer ces graphiques à partir du hub de test pour Team Web Access ou Visual Studio Online.

Suivre la progression des tests

Utilisez des graphiques de résultats de test pour suivre l'évolution d'un test. Choisissez parmi un ensemble fixe de champs prérenseignés liés aux résultats. Par défaut, un graphique à secteurs est créé pour chaque plan de test. Celui-ci est regroupé par le champ de résultat pour indiquer les derniers résultats de tous les tests inclus dans le plan de test.

Affichez ce graphique par défaut depuis l'onglet Graphiques.

Ajoutez vos propres graphiques de résultats de test pour visualiser ce qui est important pour votre équipe. Si vous savez déjà comment ajouter un graphique, passez aux exemples de graphiques que vous pouvez créer ci-dessous.

1. Sélectionnez le plan de test ou la suite de tests pour votre graphique sous l'onglet Plan de test. Créez ensuite un graphique.

   

2. Sélectionnez le type de graphique. Selon le graphique, configurez les champs à utiliser pour le regroupement, ou pour les lignes et les colonnes.

   

   Tous les graphiques cumulent les informations de toutes les suites de tests enfants du plan de test ou de la suite de test que vous avez sélectionnés.

3. Enregistrez le graphique. Il apparaît à présent sous l'onglet Graphiques du plan de test ou de la suite de tests que vous avez sélectionnés.

Tester les exemples de résultats

Quel est l'état du test d'une suite de tests spécifique ?

Sélectionnez la suite de tests sous l'onglet Plan de test et ajoutez un graphique à secteurs des résultats de test. Regroupez par résultat.

Quel est l'état du test pour les récits utilisateur dont mon équipe teste ce sprint ?

Si vous avez créé des suites de tests fondées sur des spécifications dans votre plan de test pour vos récits utilisateur, vous pouvez créer un graphique s'y rapportant.

1. Regroupez ces suites de tests fondées sur des spécifications dans une suite de tests statique.

2. Sélectionnez cette suite de tests statique sous l'onglet Plan de test.

3. Ajoutez un graphique à barres empilées des résultats de test. Choisissez Suite pour les lignes et Résultat pour les colonnes.

   

Combien de tests chaque testeur a-t-il laissé s'exécuter ?

Sélectionnez votre plan de test sous l'onglet Plan de test et ajoutez un graphique croisé dynamique de résultats de test. Choisissez Testeur pour les lignes et Résultat pour les colonnes.

Comment puis-je vérifier la qualité en fonction de la configuration ?

Utilisez soit un graphique à barres empilées, soit un graphique croisé dynamique. Choisissez Configuration pour les lignes et Résultat pour les colonnes.

Comment puis-je déterminer les raisons pour lesquelles les tests échouent pour mon équipe ?

Pour analyser les échecs, utilisez soit un graphique à barres empilées, soit un graphique croisé dynamique. Choisissez Testeur pour les lignes et le type Échec pour les colonnes. (Vous pouvez uniquement définir le type Échec pour les résultats de test à l'aide de Microsoft Test Manager.)

Comment puis-je déterminer la résolution à appliquer aux tests qui échouent pour mon équipe ?

Pour analyser les résolutions, utilisez soit un graphique à barres empilées, soit un graphique croisé dynamique. Choisissez Testeur pour les lignes et Résolution pour les colonnes. (Vous pouvez uniquement définir le type Résolution pour les résultats de test à l'aide de Microsoft Test Manager.)

Suivre l'état du cas de test

Utilisez les graphiques de cas de test pour connaître la progression des cas de test que vous créez. Les graphiques de cas de test vous permettent de créer des rapports sur les colonnes que vous ajoutez à l'onglet Tests. Par défaut, les champs de cas de test ne sont pas ajoutés à l'affichage sous l'onglet Tests.

Si vous savez déjà comment ajouter un graphique, passez aux exemples ci-dessous de graphiques que vous pouvez créer pour les cas de test.

1. Ajoutez les champs que vous voulez utiliser pour votre graphique de cas de test sous l'onglet Tests à l'aide des options Colonne. Les champs apparaissent ensuite en tant que choix dans les listes déroulantes de regroupement de vos graphiques de cas de test.

2. Sélectionnez le plan de test ou la suite de tests pour votre graphique sous l'onglet Plan de test. Ajoutez ensuite un graphique de cas de test.

   

   Tous les graphiques cumulent les informations de toutes les suites de tests enfants du plan de test ou de la suite de test que vous avez sélectionnés.

3. Sélectionnez le type de graphique. Selon le graphique, configurez les champs à utiliser pour le regroupement, pour les lignes et les colonnes ou la plage (graphiques de tendances uniquement).

   

   Vous ne pouvez pas effectuer de regroupement par suite de tests pour les graphiques de cas de test.

4. Enregistrez le graphique. Il apparaît à présent sous l'onglet Graphiques du plan de test ou de la suite de tests que vous avez sélectionnés.

Exemples de cas de test

Comment puis-je suivre le burndown de la création de cas de test ?

Utilisez un graphique de tendance en aires empilées pour afficher le burndown du nombre de cas de test prêts à être exécutés. Choisissez État pour le champ Empiler par et Croissant pour le champ de tri.

Comment puis-je suivre le burndown de l'état de l'automatisation ?

Utilisez un graphique de tendance en aires empilées pour afficher le burndown du nombre de cas de test automatisés. Choisissez État de l'automatisation pour le champ Empiler par et Croissant pour le champ de tri.

Si plusieurs équipes possèdent des cas de test dans mon plan de test, puis-je savoir combien chaque équipe en possède et déterminer les priorités des tests ?

Si vos équipes sont organisées par chemin de zone, alors vous pouvez utiliser un graphique à secteurs des cas de test. Choisissez Chemin de la zone pour le champ Grouper par.

Si vous voulez connaître les priorités de ces tests, alors créez un graphique à barres empilées. Choisissez Chemin de la zone pour les lignes et Priorité pour les colonnes.

Comment puis-je suivre l'état de la création de tests par les membres de l'équipe ?

Le suivi des propriétaires de cas de test est effectué par le champ Assigné à. Utilisez un graphique à barres empilées ou un graphique croisé dynamique. Choisissez Assigné à pour les lignes et État pour les colonnes.

Q&R

Q : Puis-je afficher les résultats de test récents d'un cas de test particulier ?

R : Oui. Sélectionnez le cas de test au sein d'une suite de tests, puis choisissez d'afficher le volet d'informations.

Affichez les résultats de test récents de ce cas de test.

Q : Comment les données sont-elles affichées dans les graphiques des cas de test qui se trouvent dans plusieurs suites de tests ?

R : Pour les graphiques de cas de test, si un cas de test a été ajouté à plusieurs suites de tests dans un plan, alors il est comptabilisé une seule fois. Pour les graphiques de résultats de test, chaque instance d'un test exécuté est comptabilisée pour chacune des suites de tests séparément.

Q : qui peut créer des graphiques ?

R : Vous devez avoir au moins une licence de base pour créer des graphiques.

Q : Comment puis-je partager l'état du test de mon équipe avec toutes mes parties prenantes ?

R : Épinglez un graphique sur la page d'accueil de votre équipe pour que tout le monde puisse le voir. Utilisez le menu contextuel du graphique.

Vous devez être administrateur d'équipe pour ce faire. Même les membres d'équipe dotés de licences de participant peuvent afficher les graphiques de test dans la page d'accueil. Pour en savoir plus sur la page d'accueil, cliquez ici. En savoir plus sur l'administration de l'équipe.

Q : Comment puis-je modifier ou supprimer un graphique ?

R : Sélectionnez l'option voulue dans le menu contextuel du graphique.

Suivi des bogues avec des graphiques épurés

Il est également important d'identifier les bogues détectés et résolus pour évaluer la qualité de votre application. Quelle est la priorité des bogues actifs ? Quelles sont les tendances des bogues ? Vous pouvez générer des graphiques épurés pour toute requête de liste plate que vous créez dans le hub de travail de la page Requêtes. Découvrez comment procéder avec Team Web Access ou Visual Studio Online en allant ici.

Q&R

Q : pouvez-vous suivre les bogues qui ont été spécifiquement créés à partir de cas de test ?

R : quand vous créez un bogue à partir de Test Runner, il est automatiquement lié au cas de test que vous exécutiez. Pour rechercher tous les bogues créés à partir des cas de test, ouvrez Microsoft Test Manager et accédez à l'onglet Test, puis choisissez Vérifier les bogues. Pour réexécuter le test d'un bogue qui a été corrigé, sélectionnez Vérifier.

Effectuer le suivi automatisé des résultats des tests avec Microsoft Test Manager

Pour afficher les graphiques des récentes séries de tests, utilisez Microsoft Test Manager. Vous pouvez l'ouvrir sur un ordinateur sur lequel Visual Studio Test Professional ou Visual Studio Enterprise a été installé. Connectez-le à votre projet d'équipe et plan de test, puis choisissez Centre de tests.

Pour obtenir une liste de séries de tests récentes, sélectionnez Test, puis Analyser les séries de tests. Chaque élément de la liste est une série de tests :

Microsoft Test Manager prend en charge un processus dans lequel vous examinez les résultats des tests après leur conclusion. Toute exécution qui inclut des tests qui ont échoué est signalée comme Nécessite un examen. Si vous ouvrez les détails de la série de tests, vous pouvez ajouter des notes, assigner la raison de l'échec, créer des bogues ou d'autres éléments de travail et modifier l'indicateur avec l'état Terminé :

Vous pouvez modifier les types de raisons d'échec si le processus de test le nécessite.

Effectuer le suivi de la qualité de build

Si vous avez une instance locale de TFS, vous pouvez utiliser ce rapport pour afficher le taux de réussite/d'échec des tests automatisés exécutés dans le cadre de votre processus de génération. Il peut vous indiquer les taux de réussite des tests pour chacune de vos builds. Vous pouvez voir si la situation s'améliore ou non.

En outre, SQL Server Reporting Services doit être installé pour TFS dans le cadre de ce rapport.

Effectuer le suivi de disponibilité

Si vous disposez d'une instance locale de TFS, vous pouvez également consulter l'historique des réussites/échecs des tests. Examinez les tendances de votre taux de réussite pour déterminer le moment où votre version sera disponible à l'aide de ce rapport. Voyez si la qualité de votre application s'améliore au fil de l'exécution de vos tests.

En outre, SQL Server Reporting Services doit être installé pour TFS dans le cadre de ce rapport.

Rapports personnalisés pour TFS local uniquement

SQL Server Reporting Services doit être installé pour TFS dans le cadre des rapports personnalisés.

Si vous disposez d'une instance locale de TFS, les plans de test et les suites de tests sont des éléments de travail dans TFS 2013 Update 3 ou version ultérieure. Vous pouvez créer vos propres rapports Excel à partir d'une requête en fonction de vos besoins en matière de plans de test, de suites de tests, de cas de test, de récits utilisateur, de spécifications et de bogues. Apprenez à créer un rapport Excel pour une requête de liste plate en allant ici.

Vous pouvez affiner la personnalisation si votre portail du projet d'équipe est configuré avec SharePoint Server, édition Entreprise. Dans ce cas, vous pouvez utiliser des rapports Excel pour créer un tableau de bord.

Si vous n'avez toujours pas le rapport dont vous avez besoin, il existe davantage d'options pour afficher les données directement. Découvrez les autres façons dont vous pouvez créer des rapports à l'aide du cube de données de traitement analytique en ligne (OLAP) (TFS_Analysis), qui est optimisé pour la génération de rapports. Par ailleurs, vous pouvez utiliser la base de données relationnelle de l'entrepôt (TFS_Warehouse) pour créer des rapports. Découvrez comment procéder en allant ici.

Q&R

Q : existe-t-il des rapports que je peux utiliser si je n'ai pas TFS 2013 Update 4 pour les graphiques épurés ?

R : si votre installation locale de TFS inclut des services de rapports, vous pouvez consulter le graphique de progression du plan de test, qui indique les tests de ce sprint ayant réussi ou échoué. Ouvrez http://<votre Team Foundation Server>/Reports et accédez à TfsReports > DefaultCollection > votre projet > Tests. Sinon, dans Team Explorer de Visual Studio, ouvrez Rapports.

Q : puis-je afficher un résumé des derniers résultats des tests de Microsoft Test Manager ?

R : Oui. Dans Microsoft Test Manager, accédez à l'onglet Plan, puis choisissez Résultats. Vous pouvez afficher les résultats par suite pour voir si chaque récit utilisateur a réussi ses tests.