Отчет "Ход выполнения плана тестирования"

После того как команда создала планы тестирования и начала проводить тесты, используя средства управления тестами в Team Foundation Server (TFS), которые включают в себя Test Runner, Microsoft Test Manager и центр тестирования Team Web Access (TWA), можно воспользоваться отчетом "Ход выполнения плана тестирования" для отслеживания процесса выполнения командой тестирования продукта.

Сведения об определении наборов тестов и планов тестирования см. в разделе Планирование ручных тестов с помощью Team Web Access.

Сведения о способах доступа к отчетам, их обновления и управления отчетами см. в разделе Отчеты (SQL Server Reporting Services).

Содержание раздела Данные в отчете Интерпретация отчета Фильтрация отчета

Этот отчет может использоваться для получения ответов на следующие вопросы: Какую часть тестирования выполнила команда? Будет ли завершено вовремя тестирование? Сколько осталось выполнить тестов? Сколько тестов завершается успешно? Сколько тестов завершается ошибками? Сколько тестов остановлено?

Требования

• Для просмотра отчета пользователь должен входить в группу, которой была предоставлена роль Обозреватель в службах отчетов. Для получения дополнительной информации см. Добавление пользователей в командные проекты.

• Коллекция командных проектов, в которой содержится командный проект, была создана с поддержкой служб SQL Server Reporting Services. Если при запуске Team Explorer и развертывании узла командного проекта не отображается пункт Отчеты, отчет недоступен. Инструкции по добавлению отчетов см. в разделе Добавление отчетов в командный проект.

Данные в отчете

Данные отчета "Ход выполнения плана тестирования" получаются из хранилища данных и результатов тестов, которые создаются при выполнении тестов с использованием Microsoft Test Manager. В отчете содержится площадная диаграмма, отображающая сведения о результатах последних тестов в указанных планах тестирования для определенного времени. Для получения дополнительной информации см. Выполнение ручных тестов с помощью Team Web Access.

На рисунке ниже показан пример отчета "Ход выполнения плана тестирования".

По горизонтальной оси откладываются дни спринта или итерации, а по вертикальной — тестовые точки. Тестовая точка — это связь тестового случая с конфигурацией теста в определенном наборе тестов. Подробнее о тестовых точках см. в статье Отчеты о ходе выполнения планов тестирования. В таблице ниже приводится значение каждого результата теста.

Результат теста	Описание
Передано	Количество пройденных тестовых случаев.
Сбой	Количество тестовых случаев, завершившихся сбоем.
С неопределенным результатом	Количество тестовых случаев, которые были выполнены и получили состояние "С неопределенным результатом".
Заблокировано	Количество тестовых случаев, выполнение которых было заблокировано.
Невыполненные	Количество тестовых случаев, которые не были выполнены.
Другой	Количество тестовых случаев, которые были выполнены и получили одно из следующих состояний: "Отменен", "Не выполнен", "Выполнен, но отменен", "Не может быть выполнен", "Отключен", "Тайм-аут", "Отложен", "Выполняется" или "С неопределенным результатом".

Создание фильтров для отчета "Ход выполнения плана тестирования" можно выполнить следующими способами:

• изменить начальную и конечную даты отчета;

• отфильтровать планы тестирования, перечисленные в отчете, по заданным путям к итерации, области и названиям или состояниям плана тестирования.

Подробнее см. в подразделе Фильтрация отчета далее в этом разделе.

Необходимые действия для управления тестовыми случаями и планами тестирования

Для обеспечения точности и актуальности отчета "Ход выполнения плана тестирования" команда должна выполнить следующие действия по управлению планами тестирования:

• определить тестовые случаи и указать пути итерации и области для каждого тестового случая;

• определить планы тестирования и указать их текущее состояние;

• Для ручных тестов, отмечать результаты каждого проверочного шага в тестовом случае как "пройдено" или "не пройдено".

  Важно!

  Если тест проверочный, тест-инженеры должны отмечать шаги теста состояниями.Общий результат теста показывает состояние всех отмеченных шагов теста.Таким образом, тест получит состояние "не пройдено", если какой-либо из шагов теста отмечен как непройденный или не отмечен.

  В случае автоматических тестов каждый тест автоматически отмечается как пройденный или завершенный неудачей.

• Для поддержки фильтрации тестовым случаям необходимо назначить пути итерации и области.

Интерпретация отчета

Количество успешно выполненных планов тестирования и планов тестирования, завершившихся сбоем, можно отслеживать. Отчет "Ход выполнения плана тестирования" содержит совокупное значение всех планов тестирования, сгруппированных по состоянию результата.

Вопросы, ответы на которые содержатся в отчете

С помощью отчета можно определить ход работ в рамках спринта, итерации или за определенный период времени. Например, можно получить ответы на следующие вопросы.

• Какую часть тестирования выполнила команда?

• Будет ли завершено вовремя тестирование?

• Сколько осталось выполнить тестов?

• Сколько тестов завершается успешно?

• Сколько тестов завершается ошибками?

• Сколько тестов остановлено?

Рабочая версия отчета

В рабочей версии отчета "Ход выполнения плана тестирования" показано постепенное выполнение и завершение планов тестирования, как продемонстрировано на рисунке ниже. В идеале, в отчете содержится примерно одинаковое число тестовых случаев для заданного плана. С течением цикла разработки количество выполненных тестов должно увеличиваться, а количество тестовых случаев с другими состояниями должно уменьшаться.

Нерабочая версия отчета

Ниже перечислены некоторые признаки нерабочей версии отчета "Ход выполнения плана тестирования".

• Большое количество тестовых случаев завершаются неудачей.

  Если в диаграмме над зеленым преобладает красный цвет, количество тестовых случаев, завершающихся неудачами, превышает количество успешно завершенных тестовых случаев. В зависимости от текущей стадии в цикле продукта, возможно, следует проверить причину завершения большего количества тестовых случаев неудачей.

• Число тестовых случаев, которые выполняются успешно, остается неизменным.

  Как показано на рисунке ниже, число успешных тестовых случаев и тестовых случаев, завершившихся неудачей или невыполненных, остается неизменным. Возможно, следует изучить факторы, воздействующие на каждую область.

  

Фильтрация отчета

Фильтрация отчета "Ход выполнения плана тестирования" позволяет просмотреть тестовые случаи, определенные для заданных итерации, областей продукта, планов тестирования и состояний планов тестирования. На рисунке ниже показаны доступные фильтры.

Изменение интервала времени отчета

1. Щелкните значок календаря рядом с полем Начало итерации (дата) или Конец итерации (дата) и выберите дату.

2. Нажмите кнопку Просмотр отчета.

Фильтрация планов тестирования и тестовых случаев, перечисленных в отчете

1. Выполните одно или оба указанных ниже действия.

   • В списке Итерация или Область установите флажок для каждого включаемого пути итерации или области продукта.

   • В списках План тестирования и Состояние плана тестирования установите флажки для каждого включаемого плана тестирования и состояния плана тестирования.

2. Нажмите кнопку Просмотр отчета.

См. также

Другие ресурсы

Отчеты (SQL Server Reporting Services)

MSF for Agile Software Development для Visual Studio ALM