Панель мониторинга "Тест" (Agile)

С помощью панели мониторинга "Тест" можно отслеживать операции тестирования, создавать отчеты о ходе выполнения, находить пробелы в покрытии тестами и определять области, требующие дополнительного изучения. Эта панель мониторинга показывает пять отчетов, предоставляющих сведения о тестировании за последние четыре недели.

Доступ к панелям мониторинга осуществляется через портал командного проекта. Доступ к панели мониторинга "Тест" возможен только в том случае, если этот портал работает и может использовать SharePoint Server Enterprise Edition. Для получения дополнительной информации см. Панели мониторинга.

Содержание раздела Данные, отображаемые на панели мониторинга Необходимые действия для мониторинга тестовых операций Наблюдение за ходом выполнения тестирования Определение пробелов в тестировании Наблюдение за непройденными тестами и регрессиями Настройка панели мониторинга "Тест"

Эту панель мониторинга можно использовать для ответа на следующие вопросы. Создаются ли тестовые случаи в соответствии с графиком? Определила ли команда тестовые случаи для всех описаний функциональности пользователей? Каковы доли успешных, неуспешных и заблокированных тестовых случаев? Указывают ли метрики ошибок тестов на проблему, требующую дополнительного изучения? В каком состоянии находится вчерашнее построение? Что входит в число последних возвратов?

Требования

• Доступ к панели мониторинга "Тест" и всем другим панелям мониторинга возможен только в том случае, если портал командного проекта работает и настроен на использование SharePoint Server Enterprise Edition. Для получения дополнительной информации см. Панели мониторинга.

• Для просмотра панели мониторинга необходимо иметь разрешение или принадлежать к группе, имеющей разрешение Чтение в Продукты SharePoint для командного проекта. Для изменения, копирования или настройки панели мониторинга необходимо иметь разрешение или принадлежать к группе, имеющей разрешения Члены в Продукты SharePoint для командного проекта.

  Для просмотра рабочего элемента необходимо быть членом группы Читатели или иметь разрешение Просмотр рабочих элементов на этом узле со значением Разрешить. Для создания или изменения рабочего элемента необходимо быть членом группы Участники или располагать разрешением Изменение рабочих элементов на этом узле со значением Разрешить.

  Для получения дополнительной информации см. Добавление пользователей в командные проекты.

• Для изменения отчета в приложении Office Excel необходимо быть членом группы безопасности TfsWarehouseDataReaders в службах аналитики SQL Server и необходимо иметь разрешение или принадлежать к группе, имеющей разрешения Члены в Продукты SharePoint для командного проекта. Для получения дополнительной информации см. Предоставление доступа к базам данных хранилища данных для Visual Studio ALM.

• Отчеты Ход выполнения плана тестирования, Готовность тестовых случаев, Состояние тестирования требований и Действия тестирования доступны, только когда команда создает планы тестирования и выполняет тесты так, как описано в разделе Планирование ручных тестов с помощью Team Web Access.

Данные, отображаемые на панели мониторинга

С помощью панели мониторинга "Тест" можно определить, насколько успешно команда выполняет тестирование описаний функциональности пользователей. Чтобы узнать о веб-частях, которые отображаются на панели мониторинга тестов, см. приведенные далее рисунок и таблицу.

Диаграммы выработки, хода выполнения и трендов и отчеты от до не отображаются, если недоступен сервер, содержащий службы аналитики для командного проекта.

Веб-часть	Отображаемые данные	Связанный раздел
	Гистограмма результатов всех тестовых случаев, сгруппированных по последнему записанному результату на протяжении последних четырех недель. Результаты включают следующие значения: Никогда не запускавшиеся, Заблокировано, Сбой или Выполнено.	Отчет "Ход выполнения плана тестирования"
	Гистограмма, показывающая количество тестовых случаев, находящихся в состоянии Разработать или Готово в последние четыре недели.	Отчет "Готовность тестовых случаев"
	Горизонтальная линейчатая диаграмма, показывающая количество результатов теста для каждой комбинации тестового случая и конфигурации теста, определенной для каждого описания функциональности пользователей. В диаграмме результаты тестов группируются по последним тестовым запускам; отображаемые параметры: Выполнено (зеленый), Непройденный (красный), Блокировано (фиолетовый) или Никогда не запускавшиеся (серый).	Отчет "Состояние тестирования описания функциональности пользователей" в формате Excel (гибкая разработка)
	График показывает совокупное количество всех результатов запусков ручных тестовых случаев в течение последних четырех недель.	Отчет "Действия тестирования" в формате Excel
	Гистограмма, показывающая общее число всех результатов тестовых случаев со сбоями, отсортированных по типу сбоя, в течение последних четырех недель. Типы сбоев включают следующие: Регрессия, Новая проблема и Известная проблема.	Отчет "Анализ сбоя" в формате Excel
	Список предстоящих событий. Этот список является производным от веб-части SharePoint.	Неприменимо
	Количество активных, разрешенных и закрытых рабочих элементов. Открыть список рабочих элементов можно путем нажатия каждого номера. Этот список является производным от веб-части Team Web Access.	Неприменимо
	Список последних сборок, включая сведения об их состоянии. Для просмотра дополнительных сведений выберите конкретную сборку. Этот список является производным от веб-части Team Web Access. Условные обозначения: : Сборка не начата : Выполняется сборка : Сборка успешно завершена : Ошибка сборки : Сборка остановлена : Сборка частично успешно выполнена	Запуск сборок, наблюдение за сборками и управление ими
	Список последних возвратов. Для просмотра дополнительных сведений выберите конкретный возврат. Этот список является производным от веб-части Team Web Access.	Разработка кода и управление ожидающими изменениями

Необходимые действия для мониторинга тестовых операций

Для обеспечения точности и актуальности отчетов на панели мониторинга "Тест", команда должна выполнить следующие действия.

• Определить тестовые случаи и описания функциональности пользователей и создать связи Тест выполнил между тестовыми случаями и описаниями функциональности пользователей.

• Определите планы тестирования и назначьте им тестовые случаи.

• Для ручных тестов, отмечать результаты каждого проверочного шага в тестовом случае как "пройдено" или "не пройдено".

  Важно!

  Если тест проверочный, тест-инженеры должны отмечать шаги теста состояниями.Общий результат тестового случая отражает состояние всех шагов теста, отмеченных инженером-испытателем.Таким образом, тестовый случай получит состояние "Завершен неудачей", если инженер-испытатель отметил какой-либо шаг теста как завершенный неудачей или не отметил его вовсе.

  Что касается автоматических тестов, каждый тестовый случай автоматически отмечается как пройденный или завершившийся неудачей.

• (Необязательно) Чтобы включить фильтрацию, назначьте каждому тестовому случаю значения Путь итерации и Путь к области.

Наблюдение за ходом выполнения тестирования

Можно использовать первые три отчета панели мониторинга "Тест", чтобы следить за ходом выполнения теста и отвечать на вопросы в следующей таблице.

Отчет	Вопросы, на которые отвечает отчет	Примечания
Готовность тестовых случаев	Сколько тестовых случаев определила команда по тестированию? Сколько тестовых случаев готовы к выполнению на данный момент? Сколько тестовых случаев все еще следует написать и просмотреть? Достаточно ли общего количества тестовых случаев для количества пользовательских описаний функциональности, реализуемых командой? Какой процент тестовых случаев команда по тестированию может выполнить на данный момент? Сможет ли команда подготовить все тестовые случаи к концу итерации?	На хороший ход выполнения указывает равномерное увеличение числа тестовых случаев, разрабатываемых и перемещаемых командой в состояние готовности. На проблемы с ходом выполнения указывает отсутствие или небольшое число готовых к выполнению тестовых случаев. Если все тестовые случаи находятся длительное время в состоянии разработки, возможно, какая-то проблема блокирует дальнейшее выполнение. Может потребоваться изучение причин блокировки. Если количество тестовых случаев выглядит недостаточным, может возникнуть пробел в тестировании. Количество тестовых случаев, определенных для проекта, должно быть равно или больше количества описаний функциональности пользователей, реализуемых командой. Количество тестовых случаев выглядит недостаточным.
Ход выполнения плана тестирования	Сколько тестовых случаев завершается успешно? Сколько тестовых случаев завершается неудачей? Сколько тестовых случаев блокируется? Сколько тестовых случаев не выполнено? Каков процент тестовых случаев, завершившихся успешно по всем планам тестирования? Какую часть тестирования выполнила команда? Будет ли завершено вовремя тестирование?	С течением цикла разработки, количество выполненных тестов должно увеличиваться, а количество тестовых случаев с другими состояниями должно убывать. На проблемы с ходом выполнения указывает слишком большое число неудачных тестовых случаев. В зависимости от текущей стадии в цикле продукта, возможно, следует проверить причину завершения большего количества тестовых случаев неудачей. Если число тестовых случаев, не выполненных или завершенных неудачей, не меняется, может быть нужно исследовать причины, связанные с каждой из областей.
Состояние тестирование описаний функциональности пользователей	Выполняются ли тестовые случаи для каждого описания функциональности пользователей? Если тестовые случаи блокируются или не выполняются, понимает ли команда причины блокировки и устраняет ли их?	На хороший ход выполнения показывает высокая доля успешно выполняемых тестовых случаев для каждого описания функциональности пользователей. На проблемы с ходом выполнения указывает большое число тестовых случаев для определенного описания функциональности пользователя, находящихся в состоянии Никогда не запускавшиеся, Заблокировано или Сбой. Может быть нужно исследовать причины, не дающие успешно пройти тестовым случаям, определенным для описания функциональности пользователя.

Определение пробелов в тестировании

Можно использовать отчет Состояние тестирования описания функциональности пользователей, чтобы определять, покрывают ли тесты весь код, и отвечать на следующие вопросы.

• Какие описания функциональности пользователей имеют наименьшее общее количество тестовых случаев?

• Какие описания функциональности пользователей имеют наибольшее общее количество тестовых случаев, которые заблокированы или никогда не выполнялись.

• Соответствует ли ожиданиям объем тестового случая для каждого описания функциональности пользователей?

• Какие описания функциональности пользователей отличаются высоким процентом сбоев тестов?

• Сколько тестовых случаев в среднем определено для описания функциональности пользователей?

Наблюдение за непройденными тестами и регрессиями

Отслеживая сбои тестов, можно заранее определять и решать проблемы в коде. Можно использовать два последние отчета панели мониторинга "Тест", чтобы узнавать количество тестов, завершающихся неудачей.

Отчет	Вопросы, на которые отвечает отчет	Примечания
Действия тестирования, выполняемые вручную	Уменьшается ли количество тестов, не выполненных командой? Уменьшает ли команда общее количество заблокированных тестов? Уменьшается ли со временем количество тестов, завершающихся неудачей? Выполняется ли больше тестов? Имеются ли какие-либо необъяснимые пики активности тестирования?	Отчет Действия тестирования, выполняемые вручную показывает результаты каждого тестового случая для каждой конфигурации теста и для всех планов тестирования. Выявленные пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой. Может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.
Анализ ошибок тестирования	Сколько тестов находится в состоянии регрессии? Поддерживает ли команда общее число регрессий или сбоев тестов в пределах ожидаемого диапазона или командных целей? Решает ли команда своевременно новые и известные проблемы?	Хороший отчет "Анализ ошибок тестирования" содержит умеренное число новых и известных проблем и регрессий. При возникновении в этих областях каких-либо пиков может потребоваться дополнительное исследование. Пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой. Кроме того, может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.

Настройка панели мониторинга "Тест"

Панель мониторинга "Тест" можно настраивать следующими способами.

• Изменять фильтры для каждого отчета в Office Excel, чтобы сосредоточить внимание на определенных областях или итерациях продуктов.

• Фильтровать отчет Действия тестирования, выполняемые вручную в Office Excel по определенным планам тестирования или ручным или автоматизированным тестовым случаям.

• Добавлять существующие отчеты Excel, например Состояние ошибки, Обработка кода и Покрытие кода, на панель мониторинга.

• Создавать и добавлять отчеты в Office Excel, показывающие работу определенных членов команды. Пример см. в разделе Отчет "Ошибки по назначению" в формате Excel.

Дополнительные сведения о работе с отчетами в приложении Office Excel, а также о настройке этих отчетов содержатся на следующих страницах веб-сайта Майкрософт:

• Способы настройки отчетов сводной таблицы

• Редактирование и удаление книги из служб Excel

• Публикация книги в службах Excel

• Сохранение файла в библиотеке SharePoint или на другом веб-сайте