Управление новыми работами по тестированию

  • Статья

При планировании работ по тестированию можно использовать Центр тестирования приложения Microsoft Test Manager в среде Visual Studio 2010 Ultimate или Visual Studio Test Professional (в зависимости от используемых методов). Microsoft Test Manager представляет собой новое приложение, используемое для создания плана тестирования, связанного с командным проектом. В таком плане можно указать тесты, которые планируется выполнить в определенной итерации. Кроме того, можно создать конфигурации тестов, определяющие настройку тестов, которую необходимо использовать для их выполнения. Сопоставление выполняемых тестов с конфигурациями тестов позволяет использовать план тестирования для измерения хода тестирования сразу после запуска тестов.

Для планов тестирования можно создавать тестовые случаи, которые используются как в ручных, так и в автоматических тестах. Чтобы выполнить план вручную, можно указать все необходимые данные путем добавления шагов теста, содержащих и действия, и ожидаемые результаты. Кроме того, для сокращения временных затрат на обслуживание шагов ручных тестов можно совместно использовать общие шаги теста.

При запуске ручных тестов с помощью приложения Microsoft Test Manager сведения о выполняемых действиях можно собирать как в журнале, так и в виде записи, которую удобно использовать в следующий раз для быстрой перемотки ручных тестов. Доступна видеозапись рабочего стола, создание снимков и добавление комментариев к результатам теста. Если выполнить тест и сохранить его как часть результатов теста, можно также собирать другую диагностическую информацию. При необходимости в ходе выполнения тестов можно создавать ошибки и автоматически добавлять к ним любые собираемые данные.

С помощью Microsoft Visual Studio 2010 можно создавать различные типы автоматических тестов, например модульные тесты для тестирования отдельных методов в коде, закодированные тесты пользовательского интерфейса для тестирования пользовательского интерфейса, обычные тесты, вызывающие методы API, и нагрузочные тесты для проверки производительности приложений при различных уровнях нагрузки. Для выполнения автоматических тестов в составе плана тестирования можно связать эти тесты с тестовыми случаями.

После запуска тестов можно создавать отчеты о ходе тестирования. Благодаря использованию планов тестирования для структурирования работ по тестированию можно ответить на перечисленные ниже вопросы.

  • Сколько тестов выполнено успешно и сколько завершились неудачей?

  • Сколько тестов осталось выполнить для данной итерации?

  • Когда завершится тестирование?

  • В каких областях продукта наблюдается высокий уровень сбоев тестов?

  • Какие конфигурации тестов приводят к высокому уровню сбоев тестов?

  • Какому пользователю принадлежит большинство тестов, которые еще не выполнены?

  • Можно ли перераспределить ресурсы с целью уравновешивания оставшихся операций тестирования?

  • Какое построение следует применять тест-инженерам в зависимости от изменений кода и исправления ошибок?

Дополнительные сведения о стратегиях тестирования см. в разделе Частое тестирование на ранних этапах разработки.

Начало работы с управлением тестовыми случаями

При тестировании программного обеспечения сначала планируется стратегия тестирования, а затем выполняются тесты и отправляются обнаруженные ошибки. После этого можно проанализировать ход тестирования и решить, следует ли выполнить тесты еще раз, проверить исправления ошибок, добавить дополнительные тестовые случаи и конфигурации тестов. Возможно, в результате такого анализа будет принято решение о завершении тестирования для текущей итерации. Далее описываются шаги, которые необходимо выполнить, приступая к использованию приложения Microsoft Test Manager.

  • Подключение к командному проекту

  • Планирование работ по тестированию

  • Выполнение тестов

  • Отслеживание хода тестирования

Подключение

Сначала необходимо подключиться к серверу Team Foundation Server и командному проекту с помощью приложения Microsoft Test Manager. При подключении следует выбрать тот командный проект, который использовался для добавления требований к приложению, поддержки исходного кода и построения тестируемого приложения. Создание артефактов тестирования и управление ими осуществляется в том же командном проекте. Результаты тестов также связаны с данным командным проектом. После подключения к проекту можно создать в нем план тестирования, который будет использоваться при планировании работ по тестированию.

На следующем рисунке показан процесс подключения к командному проекту.

Подключение к командному проекту

Примечание

Будут отображаться только те командные проекты, к которым у пользователя есть право доступа.Дополнительные сведения о разрешениях см. в разделе Разрешения Team Foundation Server.

Дополнительные сведения см. в разделе Практическое руководство. Первое подключение к командному проекту в Microsoft Test Manager.

Планирование

В приложении Microsoft Test Manager необходимо определить работы по тестированию с помощью плана тестирования. Сложность и подробность этого плана зависит от требований конкретного проекта. Планы тестирования позволяют выбирать тесты для выполнения и измерять ход тестирования.

В составе плана можно указать конфигурации тестов, чтобы определить программное обеспечение или оборудование, которое необходимо использовать при выполнении тестов. Затем в плане создается иерархия наборов тестов. Можно использовать только один набор тестов, содержащий все тестовые случаи, или иерархию наборов тестов, определяющую структуру группировки тестовых случаев. В такой структуре группировка может выполняться на основе требований или описаний функциональности пользователей из командного проекта. И наконец, в набор тестов добавляются ручные тестовые случаи, содержащие шаги действий и проверки, или автоматические тесты.

На следующем рисунке показаны артефакты тестирования в плане тестирования.

Компоненты плана тестирования

Перечисленные ниже разделы помогут спланировать работы по тестированию.

Задачи

Связанные разделы

Создание матрицы конфигураций для планирования способов выполнения тестов. Можно создать конфигурации тестов, чтобы определить программное обеспечение или оборудование, которое необходимо использовать при выполнении тестов. Кроме того, можно указать конфигурации, по умолчанию используемые для плана, и сопоставить конфигурации с тестами, которые планируется выполнить.

Создание плана. Необходимо создать план для тестов и добавить используемые конфигурации тестов в качестве конфигураций по умолчанию.

Добавление в план наборов тестов и тестовых случаев. Можно создать наборы тестов для группировки тестовых случаев. Тестовые случаи создаются на основе требований или описаний функциональности пользователей. Наборы тестов можно также создавать путем выбора существующих тестовых случаев или добавления новых тестовых случаев. Затем можно добавить в эти тестовые случаи шаги ручных тестов. Кроме того, с тестовыми случаями часто связывают автоматические тесты для их выполнения из плана.

Импорт наборов тестов из другого плана тестирования. В случае необходимости использования определенных наборов тестов в другом плане тестирования можно импортировать их из существующего плана тестирования.

Назначение пользователей для выполнения тестов. Тесты в плане тестирования можно назначать определенным тестерам в команде. По умолчанию тесты назначаются владельцам тестовых случаев. Однако это назначение можно изменить.

Планирование настройки, предназначенной для использования при тестировании. Можно запланировать среды и параметры тестирования, которые, возможно, потребуются при выполнении тестов. Среды могут быть физическими или виртуальными.

Тест

При наличии созданного плана и построения тестируемого приложения все готово к выполнению тестов. Данное построение можно выбрать для использования при тестировании. Комбинации конфигураций и наборов тестов, созданных в плане тестирования, доступны для выполнения, как показано на следующем рисунке.

Выполнение ручных тестов в разных наборах тестов

Ручные тесты выполняются локально с помощью средства Test Runner, которое позволяет записывать результат каждого шага и сохранить результаты теста при любом его выполнении.

Используя Microsoft Test Manager, можно настроить параметры тестирования, чтобы определить способ выполнения тестов и выбрать данные и диагностические сведения, которые будут собираться при тестировании. Данные и диагностическую информацию можно собирать локально или удаленно, используя для этого среды тестирования. При запуске тестов можно сохранять данные и диагностическую информацию вместе с результатами, а при необходимости можно использовать эти сведения для создания подробных описаний ошибок.

Среды, как правило, используются при тестировании более сложных приложений. Среда состоит из набора ролей. Роль определяет задачу компьютера в среде. Например, роль может называться "Веб-сайт для хранения данных клиентов".

Среда позволяет выполнять тесты, собирать данные и выполнять системные действия на компьютерах для каждой определенной роли. Компьютером может быть физический компьютер или виртуальная машина. Например, можно выполнять тесты на одном компьютере, а также собирать системные сведения о компьютере, на котором установлен веб-сервер для вашего приложения. Другой вариант состоит в выполнении тестов в среде, в которой используется несколько компьютеров, и сборе данных влияния тестов на этих компьютерах. Затем можно выполнить эмуляцию сети на компьютере, на котором установлен веб-клиент для тестируемого приложения.

На следующем рисунке показаны три примера настройки параметров тестирования с помощью плана тестирования для выполнения тестов.

Понятия параметров тестов

Перечисленные ниже разделы помогут в выполнении тестов.

Задачи

Связанные разделы

Настройка тестовых компьютеров для выполнения тестов и сбора данных. Для определения ролей, необходимых для тестируемого приложения, и способа сбора данных и диагностических сведений для каждой роли можно создать параметры тестирования. В параметрах тестирования можно использовать физическую или виртуальную среду, содержащую роли, которые необходимо назначить реальным компьютерам, используемым при выполнении тестов. Для создания физических и виртуальных сред потребуется контроллер тестирования. Виртуальные среды можно создавать только с помощью Visual Studio Lab Management.

Запуск ручных тестов из плана тестирования. Для записи результатов каждого шага (пройден или не пройден) можно запускать ручные тесты из плана тестирования с помощью Test Runner. Можно также сохранить результат теста и все данные, собранные при его выполнении.

Ускорение ручного тестирования. Можно записать действия пользовательского интерфейса, предпринимаемые при выполнении ручного теста. При повторном выполнении теста запись действий можно использовать для ускоренной перемотки вперед посредством воспроизведения этой записи вплоть до шага теста, который необходимо выполнить для проверки ошибки.

Выполнение автоматических тестов. Тесты можно запускать непосредственно в среде Microsoft Visual Studio 2010, системе Team Build или командной строке. Можно связать автоматический тест с тестовым случаем из Microsoft Visual Studio 2010 и выполнить тестовый случай в составе плана тестирования с помощью Microsoft Test Manager. Это позволяет отслеживать результаты автоматических тестов вместе со всеми ручными тестами.

Анализ результатов теста. Результаты автоматических тестов можно проанализировать на основе конкретного тестового запуска. На основании результатов можно создавать ошибки. Можно также просмотреть результаты покрытия кода для проверки того, что в тестах действительно тестируется максимально возможная область функциональности приложения.

Выполнение произвольного тестирования. При необходимости в выполнении каких-либо произвольных тестов, не содержащих конкретных шагов, можно создать тестовый случай с одним произвольным шагом. Этот тестовый случай затем используется в качестве основы для исследования функциональности приложения и записи действий тестирования с помощью журнала действий и видеозаписи. Кроме того, можно зарегистрировать произвольные ошибки и выбрать определенный раздел журнала действий для применения к ошибке на основании затраченного времени.

Отслеживание

Теперь можно приступить к отслеживанию работ по тестированию, определенных в плане тестирования. Можно проверить, предусмотрено ли для плана несколько построений, и просмотреть тесты, которые рекомендуется выполнить для этих построений, на основе изменений кода. Кроме того, для отслеживания качества тестируемого приложения можно создавать стандартные отчеты или выполнять настраиваемые запросы.

Перечисленные ниже разделы помогут отслеживать работы по тестированию.

Ключевые задачи

Связанные разделы

Просмотр отчетов, которые помогают отслеживать ход тестирования. Можно просматривать отчеты о готовности тестовых случаев и ходе тестирования, созданные для плана тестирования.

Поиск тестов для повторного выполнения на основе изменений кода. Можно сравнить построения, чтобы увидеть, какие тесты рекомендуется выполнить еще раз, на основании изменений тестируемого приложения.

Рассмотрение ошибок. Можно проанализировать ошибки и определить дальнейшие шаги для их устранения. При необходимости можно также повторно назначить ошибки.

Использование стандартных и настраиваемых запросов для отчетов. Можно использовать существующие запросы для создания отчетов о тестовых случаях и ошибках. Кроме того, для отчетов можно создавать собственные настраиваемые запросы.

См. также

Основные понятия

Тестирование приложения