Конфигурации тестов: указание платформ тестирования

Пользователи, вероятно, будут устанавливать приложение на устройства с самыми разными конфигурациями, например с разными операционными системами, веб-браузерами и другими компонентами. Необходимо выполнить по крайней мере некоторые тесты в средах с разными конфигурациями. План тестирования поможет решить, какие тесты нужно выполнить в той или иной конфигурации. При выполнении тестов необходимо убедиться, что для сред тестирования настроены необходимые конфигурации.

Можно составить схематичную матрицу комбинаций, которые требуется протестировать:

Используйте Microsoft Test Manager, чтобы задавать конфигурации тестирования. Тесты можно выполнять с помощью Team Web Access или Microsoft Test Manager.

Требования

• Visual Studio Ultimate, Visual Studio Premium, Visual Studio Test Professional

Планирование тестов с конфигурациями

Подключите Microsoft Test Manager к тестовому проекту и откройте план тестирования. Откройте план тестирования, последовательно выбрав пункты Центр тестирования, План и Содержание.

Выберите один или несколько тестов и выберите пункт Конфигурации.

Задайте конфигурации, с которыми требуется выполнить тесты.

• Нет необходимых конфигураций? Выберите пункт Все конфигурации. Если необходимой конфигурации все равно нет, определите собственную конфигурацию.

Мой тестовый случай входит в несколько планов тестирования и наборов тестов. Необходимо ли задавать конфигурации для каждой из этих тестовых точек?

Да. Один и тот же тестовый случай может иметь разные параметры конфигурации в разных наборах тестов и планах тестирования.

Выполнение тестов с конфигурациями

Если необходимо выполнить тест с несколькими конфигурациям, вы увидите, что он отображается в списке выполнения несколько раз.

Настройте платформу тестирования для определенной конфигурации и отсортируйте список, чтобы посмотреть тесты, которые будут выполняться в этой конфигурации.

При выполнении теста в окне Test Runner отображается напоминание о требуемой конфигурации.

Team Web Access	Microsoft Test Manager

Test Runner не проверяет, действительно ли запуск производится с указанной конфигурацией. Однако при использовании Microsoft Test Manager системные сведения сохраняются в журнале тестирования.

Создание новых конфигураций для командного проекта

Есть несколько предварительно определенных конфигураций, однако может быть нужно добавить собственную.

Конфигурация теста — это сочетание значений переменных конфигурации. К переменным конфигурации, относятся, например, операционная система, браузер, тип ЦП, база данных. Примеры конфигурации — "Windows 7 + 32-разрядный ЦП" или "Windows 8 + 64-разрядный ЦП".

Последовательно выберите пункты Центр тестирования, Организовать, Диспетчер конфигураций тестов.

Чтобы добавить собственные переменные и значения конфигурации, выберите пункт Управление переменными конфигурации:

Создайте новые конфигурации для тестов:

Вопросы и ответы

• Вопрос. Правильно ли использовать переменные конфигурации тестов для задания различных данных тестов?
  Ответ. Если требуется выполнить тест с другими тестовыми данными, лучше использовать параметры, поскольку легко задавать различные параметры для разных тестовых случаев. Конфигурации тестов лучше подходят для различных вариантов оборудования или программных платформ, на которых установлено тестируемое приложение.

• Вопрос. Повторять тесты в различных конфигурациях скучно.
  Ответ. А еще медленно и приводит к ошибкам. Но можно это ускорить. Записывайте свои действия в одной конфигурации и воспроизводите их в другой.

  При воспроизведении в другом браузере выберите параметр Изменить браузер для воспроизведения в меню воспроизведения в средстве выполнения тестов.

  Следует, однако, учитывать, что запись и воспроизведение не работает для всех браузеров и приложений. В некоторых случаях может потребоваться воспроизвести определенные шаги вручную.