Панель мониторинга "Тест" (CMMI)

Статья
06/10/2015

На панели мониторинга "Тест" отображаются пять отчетов, позволяющие отслеживать операции тестирования, создавать отчеты о ходе выполнения, находить пропуски в покрытии тестами и определять области, требующие дополнительного внимания. Данные включают тестирование за последние четыре недели.

Содержание раздела

Данные, отображающиеся на панели мониторинга
Действия, необходимые для отслеживания тестирования
Наблюдение за ходом выполнения тестирования
Определение пробелов в тестировании
Наблюдение за непройденными тестами и регрессиями
Настройка панели мониторинга "Тест"

Эту панель мониторинга можно использовать, чтобы получать ответы на следующие вопросы:

Создаются ли тестовые случаи в соответствии с графиком?
Определила ли команда тестовые случаи для всех требований?
Каковы доли успешных, неуспешных и заблокированных тестовых случаев?
Указывают ли метрики ошибок тестов на проблему, требующую дополнительного изучения?
В каком состоянии находится вчерашнее построение?
Что входит в число последних возвратов?

Требования

Доступ к панели мониторинга "Тест" и всем другим панелям мониторинга возможен только в том случае, если портал командного проекта работает и настроен на использование SharePoint Server Enterprise Edition. Для получения дополнительной информации см. Панели мониторинга.
Для просмотра панели мониторинга необходимо иметь разрешение или принадлежать к группе, имеющей разрешение Чтение в Продукты SharePoint для командного проекта. Для изменения, копирования или настройки панели мониторинга необходимо иметь разрешение или принадлежать к группе, имеющей разрешения Члены в Продукты SharePoint для командного проекта.

Для просмотра рабочего элемента необходимо быть членом группы Читатели или иметь разрешение Просмотр рабочих элементов на этом узле со значением Разрешить. Для создания или изменения рабочего элемента необходимо быть членом группы Участники или располагать разрешением Изменение рабочих элементов на этом узле со значением Разрешить.

Для получения дополнительной информации см. Добавление пользователей в командные проекты.
Для изменения отчета в приложении Office Excel необходимо быть членом группы безопасности TfsWarehouseDataReaders в службах аналитики SQL Server и необходимо иметь разрешение или принадлежать к группе, имеющей разрешения Члены в Продукты SharePoint для командного проекта. Для получения дополнительной информации см. Предоставление доступа к базам данных хранилища данных для Visual Studio ALM.
Для просмотра рабочего элемента необходимо быть членом группы Читатели или иметь разрешение Просмотр рабочих элементов на этом узле со значением Разрешить. Для создания или изменения рабочего элемента необходимо быть членом группы Участники или располагать разрешением Изменение рабочих элементов на этом узле со значением Разрешить. Для получения дополнительной информации см. Добавление пользователей в командные проекты.
Отчеты Ход выполнения плана тестирования, Готовность тестовых случаев, Состояние тестирования требований и Действия тестирования доступны, только когда команда создает планы тестирования и выполняет тесты так, как описано в разделе Планирование ручных тестов с помощью Team Web Access.

Данные, содержащиеся на панели мониторинга "Тест"

С помощью панели мониторинга "Тест" можно определить, насколько успешно команда выполняет тестирование требований. Чтобы узнать о веб-частях, которые отображаются на панели мониторинга тестов, см. приведенные далее рисунок и таблицу.

Панель мониторинга тестирования

Диаграммы выработки, хода выполнения и трендов и отчеты от Шаг 1 до Шаг 5 не отображаются, если недоступен сервер, содержащий службы аналитики для командного проекта.

Веб-часть	Отображаемые данные	Связанный раздел
	Гистограмма результатов всех тестов, сгруппированных по последнему записанному результату на протяжении последних четырех недель. Результаты включают следующие значения: Никогда не запускавшиеся, Заблокировано, Сбой или Выполнено.	Отчет "Ход выполнения плана тестирования"
	Гистограмма, показывающая количество тестовых случаев, находящихся в состоянии Разработать или Готово в последние четыре недели.	Отчет "Готовность тестовых случаев"
	Горизонтальная линейчатая диаграмма отображает количества результатов теста для каждого сочетания тестового случая и конфигурации теста, определенное для каждого требования. В диаграмме результаты тестов группируются по последним тестовым запускам; отображаемые параметры: Выполнено (зеленый), Непройденный (красный), Блокировано (фиолетовый) или Никогда не запускавшиеся (серый).	Отчет "Состояние тестирования требования" в формате Excel (CMMI)
	График показывает совокупное количество всех результатов запусков ручных тестовых случаев в течение последних четырех недель.	Отчет "Действия тестирования" в формате Excel
	Гистограмма, показывающая общее число всех результатов тестов со сбоями, отсортированных по типу сбоя, в течение последних четырех недель. Типы сбоев включают следующие: Регрессия, Новая проблема и Известная проблема.	Отчет "Анализ сбоя" в формате Excel
	Список предстоящих событий. Этот список является производным от веб-части SharePoint.	Неприменимо
	Количество активных, разрешенных и закрытых рабочих элементов. Чтобы открыть список рабочих элементов, можно выбрать номер. Этот список является производным от веб-части Team Web Access.	Типы и рабочий процесс рабочего элемента шаблона процесса CMMI
	Список последних сборок, включая сведения об их состоянии. Для просмотра дополнительных сведений выберите конкретную сборку. Этот список является производным от веб-части Team Web Access. Условные обозначения: : Сборка не начата : Выполняется сборка : Сборка успешно завершена : Ошибка сборки : Сборка остановлена : Сборка частично успешно выполнена	Managing and Reporting on Builds
	Список последних возвратов. Для просмотра дополнительных сведений выберите конкретный возврат. Этот список является производным от веб-части Team Web Access.	Разработка кода и управление ожидающими изменениями

Действия, необходимые для отслеживания тестирования

Для обеспечения точности и актуальности отчетов на панели мониторинга "Тест", команда должна выполнить следующие действия.

Определить тестовые случаи и требования и создать связи Тест выполнил между тестовыми случаями и требованиями.
Определите планы тестирования и назначьте им тестовые случаи.
Для ручных тестов, отмечать результаты каждого проверочного шага в тестовом случае как "пройдено" или "не пройдено".

Важно!

Если тест проверочный, тест-инженеры должны отмечать шаги теста состояниями.Общий результат теста отражает состояние всех шагов теста, отмеченных тестером.Таким образом, тест получит состояние "завершен неудачей", если тест-инженер отметил какой-либо шаг теста как завершенный неудачей или не отметил его вовсе.

В случае автоматических тестов каждый тест автоматически отмечается как пройденный или завершенный неудачей.
(Необязательно) Чтобы включить фильтрацию, назначьте каждому тестовому случаю значения Путь итерации и Путь к области.

Наблюдение за ходом выполнения тестирования

Можно использовать первые три отчета на панели мониторинга "Тест", чтобы следить за ходом выполнения теста и отвечать на следующие вопросы.

Отчет	Вопросы, на которые отвечает отчет	Примечания
Готовность тестовых случаев	Сколько тестовых случаев определила команда по тестированию? Сколько тестовых случаев готовы к выполнению на данный момент? Сколько тестовых случаев все еще следует написать и просмотреть? Достаточно ли общего количества тестовых случаев для количества требований, реализуемых командой? Какой процент тестовых случаев команда по тестированию может выполнить на данный момент? Сможет ли команда подготовить все тестовые случаи к концу итерации?	На хороший ход выполнения указывает равномерное увеличение числа тестовых случаев, разрабатываемых и перемещаемых командой в состояние готовности. На проблемы с ходом выполнения указывает отсутствие или небольшое число готовых к выполнению тестовых случаев. Если все тестовые случаи находятся длительное время в состоянии разработки, возможно, какая-то проблема блокирует дальнейшее выполнение. Может потребоваться изучение причин блокировки. Если количество тестовых случаев выглядит недостаточным, может возникнуть пробел в тестировании. Количество тестовых случаев, определенных для проекта, должно быть равно или больше количества требований, реализуемых командой. Количество тестовых случаев выглядит недостаточным.
Ход выполнения плана тестирования	Сколько тестовых случаев завершается успешно? Сколько тестовых случаев завершается неудачей? Сколько тестовых случаев блокируется? Сколько тестовых случаев не выполнено? Каков процент тестовых случаев, завершившихся успешно по всем планам тестирования? Какую часть тестирования выполнила команда? Будет ли завершено вовремя тестирование?	С течением цикла разработки, количество выполненных тестов должно увеличиваться, а количество тестовых случаев с другими состояниями должно убывать. На проблемы с ходом выполнения указывает слишком большое число неудачных тестовых случаев. В зависимости от текущей стадии в цикле продукта, возможно, следует проверить причину завершения большего количества тестовых случаев неудачей. Если число тестовых случаев, не выполненных или завершенных неудачей, не меняется, может быть нужно исследовать причины, связанные с каждой из областей.
Состояние тестирования требования	Выполняются ли тестовые случаи для каждого требования? Если тестовые случаи блокируются или не выполняются, понимает ли команда причины блокировки и устраняет ли их?	На хороший ход выполнения показывает высокая доля успешно выполняемых тестовых случаев для каждого требования. На проблемы с ходом выполнения указывает большое число тестовых случаев для определенного требования, находящихся в состоянии Никогда не запускавшиеся, Заблокировано или Сбой. Может быть нужно исследовать причины, не дающие успешно пройти тестовым случаям, определенным для требования.

Определение пробелов в тестировании

Можно использовать отчет Состояние тестирования требования, чтобы определять, покрывают ли тесты весь код, и отвечать на следующие вопросы.

Какие требования имеют наименьшее общее количество тестовых случаев?
Какие требования имеют наибольшее общее количество тестовых случаев, которые заблокированы или никогда не выполнялись.
Соответствует ли ожиданиям объем тестового случая для каждого требования?
Какие требования отличаются высоким процентом сбоев тестов?
Сколько тестовых случаев в среднем определено для требования?

Наблюдение за непройденными тестами и регрессиями

Отслеживая сбои тестов, можно заранее определять и решать проблемы в коде. Можно использовать два последние отчета панели мониторинга "Тест", чтобы узнавать количество тестов, завершающихся неудачей.

Отчет	Вопросы, на которые отвечает отчет	Примечания
Действия тестирования, выполняемые вручную	Уменьшается ли количество тестов, не выполненных командой? Уменьшает ли команда общее количество заблокированных тестов? Уменьшается ли со временем количество тестов, завершающихся неудачей? Выполняется ли больше тестов? Имеются ли какие-либо необъяснимые пики активности тестирования?	Отчет Действия тестирования, выполняемые вручную показывает результаты каждого тестового случая для каждой конфигурации теста и для всех планов тестирования. Выявленные пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой. Может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.
Анализ ошибок тестирования	Сколько тестов находится в состоянии регрессии? Поддерживает ли команда общее число регрессий или сбоев тестов в пределах ожидаемого диапазона или командных целей? Решает ли команда своевременно новые и известные проблемы?	Хороший отчет "Анализ ошибок тестирования" содержит умеренное число новых и известных проблем и регрессий. При возникновении в этих областях каких-либо пиков может потребоваться дополнительное исследование. Пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой. Кроме того, может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.

Действия тестирования, выполняемые вручную

Уменьшается ли количество тестов, не выполненных командой?
Уменьшает ли команда общее количество заблокированных тестов?
Уменьшается ли со временем количество тестов, завершающихся неудачей?
Выполняется ли больше тестов?
Имеются ли какие-либо необъяснимые пики активности тестирования?

Отчет Действия тестирования, выполняемые вручную показывает результаты каждого тестового случая для каждой конфигурации теста и для всех планов тестирования. Выявленные пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой.

Может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.

Анализ ошибок тестирования

Сколько тестов находится в состоянии регрессии?
Поддерживает ли команда общее число регрессий или сбоев тестов в пределах ожидаемого диапазона или командных целей?
Решает ли команда своевременно новые и известные проблемы?

Хороший отчет "Анализ ошибок тестирования" содержит умеренное число новых и известных проблем и регрессий. При возникновении в этих областях каких-либо пиков может потребоваться дополнительное исследование. Пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой.

Кроме того, может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.

Настройка панели мониторинга "Тест"

Настроить панель мониторинга "Тест" можно следующим образом:

Изменять фильтры для каждого отчета в Office Excel, чтобы сосредоточить внимание на определенных областях или итерациях продуктов.
Фильтровать отчет Действия тестирования, выполняемые вручную в Office Excel по определенным планам тестирования или ручным или автоматизированным тестовым случаям.
Добавлять существующие отчеты Excel, например Состояние ошибки, Обработка кода и Покрытие кода, на панель мониторинга.
Создавать и добавлять отчеты в Office Excel, показывающие работу определенных членов команды. Пример см. в разделе Отчет "Ошибки по назначению" в формате Excel.

Дополнительные сведения о работе с отчетами в приложении Office Excel, а также о настройке этих отчетов содержатся на следующих страницах веб-сайта Майкрософт: