Отслеживание результатов тестов

При создании и запуске тестов необходимо иметь возможность отслеживать состояние. Например, количество тестов, готовых к запуску, соотношение удачно выполненных и сбойных тестов или общее число проведенных тестов.

Какие варианты отчетов существуют?

• Упрощенные диаграммы (Visual Studio Online или Team Web Access)

• Запросы рабочих элементов (Visual Studio Online или Team Web Access)

• Существующие отчеты данных хранилища (только локальные TFS)

• Создание собственных отчетов данных хранилища (только локальные TFS)

Использование упрощенных диаграмм позволяет легко просмотреть ответы на многие вопросы о состоянии теста. Эти диаграммы можно закрепить на домашней странице, что позволит всей команде быстро ориентироваться в ходе выполнения тестирования. (Чтобы использовать упрощенные диаграммы с Team Web Access, необходимо иметь TFS 2013 с обновлением 4 или более поздней версии.)

Создавайте и запускайте запросы рабочих элементов для создания отчетов из рабочего концентратора. На основе запроса рабочих элементов плоского списка можно также создавать диаграммы для этого запроса. Например, создайте запрос для отображения активных ошибок и их приоритетов, а затем создайте диаграмму, чтобы быстро сгруппировать эти активные ошибки по приоритетам.

Но если упрощенные диаграммы не предоставляют необходимые отчеты, при использовании локальной версии TFS можно получить более глубокую детализацию данных. Вы можете получить доступ к существующим отчетам по данным хранилища данных или создать собственные с помощью Excel.

Состояние тестирования с упрощенными диаграммами

Эти диаграммы можно создать в концентраторе тестов для Team Web Access или для Visual Studio Online.

Отслеживание хода выполнения тестирования

Диаграммы результатов теста помогают отслеживать ход выполнения тестирования. Выберите нужные поля из фиксированного набора предварительно заполненных полей, связанных с результатами. По умолчанию для каждого плана тестирования создается круговая диаграмма. Данные в этой диаграмме группируются по полю результатов, показывая последние результаты для всех тестов в плане тестирования.

Эта диаграмма по умолчанию доступна на вкладке «Диаграммы».

Добавьте собственные диаграммы для результатов тестирования, чтобы отобразить данные, важные для вашей команды. Если вы уже знаете, как добавлять диаграммы, перейдите к разделу примеров доступных диаграмм ниже.

1. Выберите план тестирования или набор тестов для диаграммы на вкладке «План тестирования». Затем создайте новую диаграмму.

   

2. Выберите тип диаграммы. На основании выбранной диаграммы настройте поля, по которым будут группироваться данные (или строки и столбцы).

   

   Все диаграммы включают данные для всех дочерних наборов тестов выбранного плана тестирования или набора тестов.

3. Сохраните диаграмму. Теперь диаграмма будет отображаться на вкладке «Диаграммы» для выбранного плана тестирования или набора тестов.

Примеры результатов теста

Как узнать состояние тестов конкретного набора тестов?

Выберите набор тестов на вкладке «План тестирования» и добавьте круговую диаграмму результатов тестирования. Выполните группировку по результату.

Как узнать состояние тестов для пользовательских историй, тестируемых моей командой в этом спринте?

Если вы создали наборы тестов на основе требований в плане тестирования для пользовательских историй, вы можете создать для них диаграмму.

1. Сгруппируйте эти наборы тестов на основе требований в статический набор тестов.

2. Выберите этот статический набор тестов на вкладке «План тестирования».

3. Добавьте линейчатую диаграмму с накоплением для результатов тестирования. Выберите в качестве сводного поля строк «Набор», а в качестве сводного поля столбцов — «Результат».

   

Сколько тестов осталось выполнить каждому инженеру-испытателю?

Выберите план тестирования на вкладке «План тестирования» и добавьте диаграмму сводной таблицы результатов тестирования. Выберите в качестве сводного поля строк «Инженер-испытатель», а в качестве сводного поля столбцов — «Результат».

Как проверить качество на основе конфигурации?

Используйте линейчатую диаграмму с накоплением или диаграмму сводной таблицы. Выберите в качестве сводного поля строк «Конфигурация», а в качестве сводного поля столбцов — «Результат».

Как отследить непройденные тесты для моей команды?

Для анализа непройденных тестов используйте линейчатую диаграмму с накоплением или диаграмму сводной таблицы. Выберите для строк поле «Инженер-испытатель», а для столбцов — поле «Сбой». (Тип «Сбой» для результатов тестирования можно задать только с помощью Microsoft Test Manager.)

Как отследить разрешение для непройденных тестов для моей команды?

Для анализа разрешения используйте линейчатую диаграмму с накоплением или диаграмму сводной таблицы. Выберите для строк поле «Инженер-испытатель», а для столбцов — поле «Разрешение». (Тип «Разрешение» для результатов тестирования можно задать только с помощью Microsoft Test Manager.)

Отслеживание состояния тестовых случаев

Используйте диаграммы тестовых случаев, чтобы узнать ход выполнения создания тестовых случаев. Диаграммы тестовых случаев позволяют гибко создавать отчеты по столбцам, добавляемым вами на вкладке «Тесты». По умолчанию поля тестовых случаев не добавляются в представление на вкладке «Тесты».

Если вы уже знаете, как добавлять диаграммы, перейдите к разделу примеров доступных диаграмм для тестовых случаев ниже.

1. Добавьте любые поля, которые требуется использовать для диаграммы тестовых случаев, на вкладке «Тесты» с помощью параметров «Столбец». Затем поля станут доступны как пункты раскрывающихся списков для группировки диаграмм тестовых случаев.

2. Выберите план тестирования или набор тестов для диаграммы на вкладке «План тестирования». Затем добавьте диаграмму тестового случая.

   

   Все диаграммы включают данные для всех дочерних наборов тестов выбранного плана тестирования или набора тестов.

3. Выберите тип диаграммы. На основании выбранной диаграммы настройте поля, по которым будут группироваться данные, строки и столбцы или диапазон (только для диаграмм трендов).

   

   Диаграммы тестовых случаев нельзя группировать по набору тестов.

4. Сохраните диаграмму. Теперь диаграмма будет отображаться на вкладке «Диаграммы» для выбранного плана тестирования или набора тестов.

Примеры тестовых случаев

Как отследить сгорание для создания тестовых случаев?

Используйте диаграмму тренда с областями с накоплением для просмотра сгорания — числа тестовых случаев, готовых к запуску. Выберите «Состояние» для накопления по полю и «По убыванию» для поля сортировки.

Как отследить сгорание для состояния автоматизации?

Используйте диаграмму тренда с областями с накоплением для просмотра сгорания — числа автоматизированных тестовых случаев. Выберите «Состояние автоматизации» для накопления по полю и «По убыванию» для поля сортировки.

Если тестовые случаи в плане тестирования принадлежат нескольким командам, я могу узнать, сколько случаев принадлежит каждой команде, и определить приоритеты тестов?

Если команды организованы по пути к области, вы можете использовать круговую диаграмму тестовых случаев. Выберите поле «Путь к области» в качестве основания для группировки.

Если вам требуется узнать приоритеты этих тестов, создайте круговую диаграмму с накоплением. Выберите «Путь к области» для строк и «Приоритет» для столбцов.

Как можно отследить состояние создания теста по членам команды?

Владельцев тестовых случаев можно отследить по полю «Кому назначено». Используйте линейчатую диаграмму с накоплением или диаграмму сводной таблицы. Выберите поле «Кому назначено» для строк и «Состояние для столбцов.

Вопросы и ответы

В. Можно ли просмотреть последние результаты тестирования для отдельного тестового случая?

Ответ. Да. Выберите тестовый случай в наборе тестов, а затем выберите просмотр панели сведений о тесте.

Просмотрите последние результаты теста для этого тестового случая.

В. Как в диаграммах отображаются данные для тестовых случаев, которые входят в несколько наборов тестов?

О. В диаграммах тестовых случаев, если тестовый случай добавлен в несколько наборов тестов в плане, он учитывается только один раз. В диаграммах результатов тестов каждый выполняемый экземпляр теста учитывается для каждого набора тестов отдельно.

Вопрос. Кто может создавать схемы?

Ответ. Для создания схем требуется по крайней мере лицензия Basic.

В. Как можно предоставить доступ к состоянию теста команды всем заинтересованным лицам?

О. Закрепите диаграмму на домашней страницы вашей команды, чтобы ее могли просматривать все участники. Используйте контекстное меню диаграммы.

Для этого вы должны быть администратором команды. Даже участники с ролью «заинтересованное лицо» смогут просматривать диаграммы тестирования на домашней странице. Дополнительные сведения о домашней странице см. здесь. Кроме того, вы можете ознакомиться с дополнительными сведениями об администрировании команды.

В. Как изменить или удалить диаграмму?

О. Выберите нужный пункт в контекстном меню диаграммы.

Отслеживание ошибок с помощью упрощенных диаграмм

Важно знать, какие именно ошибки были обнаружены и исправлены, чтобы получить представление о качестве приложения. Каков приоритет активных ошибок? Каковы тенденции ошибок? Упрощенные диаграммы можно создать для любого запроса плоского списка в рабочем концентраторе на странице «Запросы». Сведения о том, как это сделать с помощью Team Web Access или Visual Studio Online, см. здесь.

Вопросы и ответы

Вопрос. Можно ли отслеживать ошибки, специально созданные в тестовых случаях?

Ответ. При создании ошибки в средстве выполнения тестов она автоматически привязывается к тестовому случаю. Чтобы найти все ошибки, созданные в ваших тестовых случаях, откройте Microsoft Test Manager, перейдите на вкладку Тест и выберите Проверка ошибок. Чтобы повторно выполнить тест для исправленной ошибки, выберите команду Проверить.

Отслеживание результатов автоматического тестирования с помощью Microsoft Test Manager

Чтобы просмотреть диаграммы последних тестовых запусков, воспользуйтесь Microsoft Test Manager. Это средство можно открыть на любом компьютере, на котором установлены выпуски Visual Studio Test Professional или Visual Studio Enterprise. Подключите его к командному проекту и плану тестирования и выберите пункт Центр тестирования.

Чтобы посмотреть список последних тестовых запусков, последовательно выберите пункты Тест и Анализ тестовых запусков. Каждый элемент в списке является тестовым запуском:

Microsoft Test Manager поддерживает процесс анализа результатов теста после выполнения тестов. Любое выполнение, включающее не пройденные тесты, обозначается меткой Требуется исследование. В сведениях тестового запуска можно добавить примечания, назначить причину ошибки, создать ошибки или другие рабочие элементы и изменить метку на Завершено:

Если это необходимо в связи с особенностями процесса тестирования, можно изменить типы причин ошибок.

Отслеживание качества сборки

При наличии локальной версии TFS этот отчет можно использовать для отображения соотношения удачных и сбойных автоматических тестов, выполняемых в рамках процесса сборки. В нем могут быть показаны коэффициенты успешного выполнения этих тестов по каждой сборке. С его помощью можно увидеть, улучшаются ли показатели.

Для этого отчета необходимо также установить SQL Services Reporting Services для TFS.

Отслеживание готовности выпуска

При наличии локальной версии TFS можно также просмотреть журнал, в котором показаны удачно выполненные и сбойные тесты. Чтобы определить степень готовности выпуска, ознакомьтесь с тенденциями коэффициентов удачного выполнения в этом отчете. Посмотрите, повышается ли качество приложения по мере выполнения тестов.

Для этого отчета необходимо также установить SQL Services Reporting Services для TFS.

Настраиваемые отчеты только для локальной версии TFS

Для настраиваемых отчетов необходимо установить SQL Services Reporting Services для TFS.

При наличии локальной версии TFS планы тестирования и наборы тестов являются рабочими элементами с TFS 2013 с обновлением 3 или более поздней версии. Можно создать собственные отчеты Excel из запроса в соответствии со своими пожеланиями в отношении планов тестирования, наборов тестов, тестовых случаев, пользовательских историй, общих требований и ошибок. Сведения о создании отчета Excel для запроса плоского списка см. здесь.

Если портал командного проекта настроен с помощью выпуска SharePoint Server Enterprise, можно продолжить настройку. В этом случае отчеты Excel можно использовать для создания панели мониторинга.

Если у вас еще нет нужного отчета, можно просмотреть данные напрямую другими способами. Другие способы создания отчетов включают куб данных OLAP (TFS_Analysis), оптимизированный для отчетов, или базу данных реляционного хранилища (TFS_Warehouse). Сведения о том, как это сделать, см. здесь.

Вопросы и ответы

Вопрос. Существуют ли отчеты, которые можно использовать без TFS 2013 с обновлением 4 для упрощенных диаграммы?

Ответ. Если установка TFS включает службы Report Services, можно просмотреть Диаграмму "Ход выполнения плана тестирования", показывающую количество успешных и сбойных тестов спринта. Откройте страницу http://<ваш сервер Team Foundation Server>/Reports и перейдите к разделу TfsReports > DefaultCollection > ваш проект > Tests. Также можно открыть раздел Отчеты в командном обозревателе Visual Studio.

Вопрос. Можно ли просмотреть сводку последних результатов тестов из Microsoft Test Manager?

Ответ. Да. В Microsoft Test Manager перейдите на закладку План и выберите Результаты. Вы увидите результаты по наборам и сможете выяснить, все ли пользовательские истории успешно прошли соответствующие тесты.