Создание параметров тестирования для автоматических тестов в составе плана тестирования

В параметрах тестирования используются адаптеры диагностических данных, указывающие, какие типы данных требуется собрать или какие воздействия на тестовый компьютер требуется совершить при запуске ручных и (или) автоматических тестов. Например, адаптер диагностических данных может создать запись действий, журнал действий или видеозапись либо собрать сведения о системе. Кроме того, адаптеры диагностических данных можно использовать для имитации потенциальных узких мест на тестовом компьютере или для уменьшения доступной системной памяти. Например, можно имитировать низкую пропускную способность сети, чтобы создать узкое место в системе.

Параметры тестирования определяют следующее:

• тип выполняемых тестов (ручные или автоматические);

• набор ролей, необходимых для работы тестируемого приложения;

• роль, используемая при тестировании;

• адаптеры диагностических данных, используемые для каждой роли.

Для выполнения автоматических тестов в составе плана тестирования необходимо связать эти тесты с тестовым случаем.

Автоматический тест можно связать с тестовым случаем с помощью Visual Studio. Это нельзя сделать с помощью Microsoft Test Manager. Сначала необходимо открыть тестовый случай с помощью Visual Studio, как показано на следующем рисунке. Дополнительные сведения о выполнении автоматических тестов из плана тестирования см. в разделе Практическое руководство. Выполнение автоматических тестов из плана тестирования с помощью Microsoft Test Manager.

После этого можно связать метод теста с тестовым случаем, как показано на следующем рисунке.

Примечание

Можно просматривать сведения из Microsoft Test Manager, но изменять их нельзя.

Можно также создавать тестовые случаи из сборки автоматических тестов с помощью средства командной строки. Дополнительные сведения см. в разделе Практическое руководство. Создание тестовых случаев из сборки автоматических тестов с помощью средства tcm.exe.

Чтобы выполнить автоматические тесты из плана тестирования, необходимо выбрать набор ролей для параметров тестирования и использовать среду, содержащую этот набор ролей, в плане тестирования. При создании среды можно добавлять любые необходимые роли. Дополнительные сведения о ролях и средах см. в разделе Настройка тестовых компьютеров для выполнения тестов или сбора данных.

Следующая процедура используется для определения параметров тестирования для автоматических тестов, выполняемых в рамках плана тестирования, и выбора соответствующей среды.

Создание параметров тестирования для автоматических тестов в составе плана тестирования

Создание параметров тестирования для автоматических тестов в составе плана тестирования

1. Откройте Microsoft Test Manager.

   Примечание

   Чтобы открыть окно Microsoft Test Manager, нажмите кнопку "Пуск" и выберите "Все программы".Выберите Microsoft Visual Studio 2010 и щелкните Microsoft Test Manager 2010.

2. Щелкните стрелку вниз на центральном переключателе групп и выберите Центр тестирования.

3. В строке меню центральной группы последовательно выберите пункты План и Свойства.

   Отображаются свойства выбранного плана тестирования.

4. Щелкните стрелку вниз рядом с пунктом Параметры тестирования под пунктом Автоматические тесты и нажмите кнопку Создать.

   Отображается страница Новые параметры тестирования, на которой выбрана страница Общие.

   Примечание

   Параметры тестирования можно также создать в разделе Центр лабораторий, выбрав пункт Параметры тестирования в строке меню центральной группы и нажав кнопку Создать.

5. Введите имя для параметров тестирования в поле Имя.

6. (Необязательно) В поле Описание введите описание параметров тестирования, чтобы другие члены команды знали, для чего эти параметры.

7. В списке Тип выполняемых тестов выберите пункт Автоматический и нажмите кнопку Далее.

   Отображается страница Новые параметры тестирования, на которой выбрана страница Роли.

   Примечание

   При выполнении автоматических тестов нельзя выполнять локально набор ролей "Локальные", потому что автоматические тесты должны выполняться в среде.

   Сведения о выполнении ручных тестов см. в разделе Создание параметров тестирования для ручных тестов.

   

8. Выберите набор ролей из списка, в котором указаны Наборы ролей и Соответствующие среды. Убедитесь, что для выбранного набора ролей есть не менее одной соответствующей среды. Если соответствующей среды нет, можно создать новую среду или изменить существующую. Дополнительные сведения см. в разделе Настройка тестовых компьютеров для выполнения тестов или сбора данных.

   Предупреждение

   Добавлять роли из диспетчера параметров тестирования нельзя.Если ролей, подходящих для вашего приложения, нет, необходимо создать среду, включающую такие роли.При создании среды можно добавлять роли.

9. В списке, раскрывающемся под элементом Выберите роль для выполнения автоматических тестов, необходимо выбрать роль, которая будет использоваться при выполнении тестов. Затем нажмите кнопку Далее.

   Отображается страница Новые параметры тестирования, на которой выбрана страница Данные и диагностика.

   

10. Выберите роль, чтобы указать данные и диагностические параметры, которые нужно собирать для каждой из ролей. Для каждой из ролей выберите адаптеры диагностических данных, соответствующие требованиям тестов в плане тестирования. Чтобы настроить адаптер диагностических данных для каждой из ролей, нажмите кнопку Настройка.

    Дополнительные сведения о всех адаптерах диагностических данных и их настройке см. в соответствующих разделах, перечисленных в следующей таблице.

    Примечание

    В таблице представлены только адаптеры, которые можно использовать с автоматическими тестами.Дополнительные сведения об адаптерах диагностических данных см. в разделе Настройка компьютеров и сбор диагностических данных с помощью параметров тестирования.

    Адаптеры диагностических данных для автоматических тестов

    Адаптер диагностических данных	Раздел
    Прокси-сервер клиента ASP.NET для IntelliTrace и влияния на тесты. Этот прокси-сервер позволяет собирать данные об HTTP-обращениях из клиента к веб-серверу для адаптеров диагностических данных IntelliTrace и влияния на тесты.	Для сбора этих сведений не требуется выполнять настройку.
    Журнал событий. Можно настроить параметр тестирования для записи журнала событий, который включается в результаты теста.	Практическое руководство. Настройка коллекции записей журнала событий с помощью параметров тестирования
    IntelliTrace: адаптер диагностических данных для IntelliTrace можно настроить для сбора определенных диагностических данных трассировки с целью содействия изоляции ошибок, которые трудно воспроизвести. В результате создается файл IntelliTrace с расширением .iTrace, который содержит эти данные. При неудачном завершении теста можно создать ошибку. К этой ошибке автоматически привязывается файл IntelliTrace, сохраняемый вместе с результатами теста. Данные, собираемые в файл IntelliTrace, повышают производительность отладки за счет снижения затрат времени на воспроизведение и диагностику ошибок в коде. Файл IntelliTrace позволяет имитировать локальный сеанс на другом компьютере, что повышает вероятность воспроизведения ошибки. Дополнительные сведения см. в разделе Отладка с помощью IntelliTrace.	Практическое руководство. Сбор данных IntelliTrace для отладки сложных проблем
    Эмуляция сети. С помощью параметра тестирования можно указать, что требуется выполнить эмуляцию сетевой нагрузки при тестировании. Эмуляция сети влияет на обмен входящими и исходящими данными с компьютером, имитируя определенную скорость сетевого подключения, например коммутируемое подключение. Примечание.   Эмуляцию сети нельзя использовать для увеличения скорости сетевого подключения.	Практическое руководство. Настройка моделирования сети с помощью параметров тестирования
    Сведения о системе. В параметрах тестирования можно задать учет сведений о системе компьютера, на котором выполняется тест. Сведения о системе указываются в результатах теста с помощью параметра тестирования.	Для сбора этих сведений не требуется выполнять настройку.
    Влияние тестов. Можно собирать сведения о том, какие методы кода приложения использовались при выполнении тестового случая. Эти данные можно использовать вместе с данными об изменениях кода приложения, сделанных разработчиками, чтобы определять, на какие тесты влияют эти изменения.	Практическое руководство. Сбор данных для определения тестов, которые должны быть выполнены после изменения кода
    Запись видео. При выполнении автоматического теста можно записывать сеанс рабочего стола на видео. Это может быть полезно для просмотра действий пользователя в закодированного тесте пользовательского интерфейса. Видео может помочь другим членам команды определить проблемы с приложением, которые трудно воспроизвести.	Практическое руководство. Видеозапись рабочего стола в ходе выполнения тестов с помощью параметров тестирования

11. Нажмите кнопку Далее.

    Отображается страница Новые параметры тестирования, на которой выбрана страница Дополнительно. Здесь при необходимости можно настроить дополнительные параметры автоматических тестов.

12. Чтобы настроить каталог, используемый для выполнения тестов, а также добавить файлы или каталоги для выполнения тестов, щелкните Развертывание.

    1. Для добавления необходимого для тестов файла в каталог, который используется для выполнения тестов, щелкните Добавить файл и выберите файл, который нужно добавить.

    2. Для добавления в каталог необходимой для тестов директории, которая используется для выполнения тестов, щелкните Добавить каталог и выберите Директорию, которую необходимо добавить.

    Примечание

    Дополнительные сведения о развертывании файлов и каталогов для отдельных тестов с помощью свойств и атрибута DeploymentItem см. в разделе Практическое руководство. Настройка развертывания тестов.

13. Для выполнения скриптов до и после тестов щелкните Скрипты.

    1. Введите расположение файла скрипта в поле Скрипт настройки для выполнения перед запуском теста или нажмите кнопку Обзор, чтобы найти скрипт настройки.

    2. Введите расположение файла скрипта в поле Скрипт очистки для выполнения после завершения теста или нажмите кнопку Обзор, чтобы найти скрипт очистки.

14. Для выполнения тестов в другом основном приложении щелкните Узлы.

    1. Для выполнения модульных тестов в том же процессе, что и сайт ASP.NET, выберите вариант ASP.NET в меню Тип хоста. Затем нажмите кнопку Настроить. Дополнительные сведения о настройке приложения-хоста см. в разделе Модульные тесты для веб-служб ASP.NET.

    2. Параметр Выполнять тесты в 32-разрядном или 64-разрядном процессе используется для указания, в качестве какого процесса необходимо выполнить тест — 32-разрядного или 64-разрядного.

       Совет

       Для максимальной гибкости тестовые проекты следует компилировать в конфигурации Любой ЦП.Тогда выполнение возможно как на 32-разрядных, так и на 64-разрядных агентах.Компиляция тестовых проектов в конфигурации 64 разряда не дает никаких преимуществ.

    3. В области Для тестов, которые не могут быть запущены на указанном узле выберите значение Запустить на узле по умолчанию или Не выполнять.

15. (Необязательно) Для ограничения периода времени для каждого запуска тестов и отдельных тестов выберите Время ожидания.

    1. Для прекращения выполнения тестов при превышении предела времени выберите Прекратить выполнение тестов, если общее время превышает и введите значение предела.

    2. Для завершения определенного теста ошибкой при превышении предела времени выберите Пометить тест как ошибочный, если превышено время его выполнения и введите значение предела.

16. (Необязательно) Для применения параметров надстройки веб-теста производительности и модульного теста щелкните Надстройки.

17. (Необязательно) Если требуется указать расположения сборок, которые должны загружать модульные тесты, нажмите кнопку Настроить, связанную с параметром Модульный тест.

    Откроется диалоговое окно Настройка надстройки - Модульный тест.

    1. Рядом с полем Корневая папка для загружаемых сборок нажмите кнопку Обзор, чтобы найти папку и заполнить текстовое поле.

       Задаваемое поле корневой папки может содержать переменные среды и представлять каталог ApplicationBase домена приложения, в котором запускаются тесты. Все сборки в этом каталоге будут доступны для загрузки модульными тестами. В рабочей среде рекомендуется задать в качестве этого параметра каталог, в который будет устанавливаться код тестовых сборок. В среде разработки рекомендуется задать в качестве этого параметра каталог, в котором будет происходить построение кода тестовых сборок. Это гарантирует, что все имеющиеся ссылки на двоичные файлы продукта будут загружаться и разрешаться во время обнаружения и выполнения тестов без необходимости копирования двоичных файлов продукта вместе с тестами.

       Если это значение не задано, в качестве каталога с тестами задается каталог ApplicationBase домена приложения, в котором запускаются тесты.

    2. Установите или снимите флажок Используйте контекст загрузки для сборок в каталоге теста.

       По умолчанию большинство сборок загружаются в правильном контексте загрузки. Обычно флажок Используйте контекст загрузки для сборок в каталоге теста остается в установленном состоянии. Однако бывают случаи, когда целесообразно отключить этот параметр. Если в тестовом каталоге имеется большое число сборок, в поле Корневая папка для загружаемых сборок указано расположение, а тесты не зависят от загрузки в контексте загрузки, можно заметить увеличение производительности, если для загрузки этих сборок не будет использоваться контекст загрузки. Если тесты зависят от загрузки в контексте, отличном от контекста загрузки (нетипичный случай).

       Дополнительные сведения см. в разделе Рекомендации для загрузки сборок.

    3. В поле Папки для использования при запуске тестов щелкните Добавить папку.

       Откроется диалоговое окно "Выбрать папку".

    4. Выберите папку, которая будет использоваться, и нажмите кнопку OK.

       Папки для использования при запуске тестов — параметр, который, вероятнее всего, будет использоваться чаще остальных. Можно указать несколько путей к папкам со сборками, которые будут разрешаться в ходе обнаружения и выполнения тестов. Каждый из указываемых в этом разделе путей может содержать переменные среды. С каждым из указываемых здесь путей связано два параметра.

       Первый параметр. Установите флажок Использовать контекст загрузки для указания на необходимость использования контекста загрузки при разрешении сборок из этого каталога (если для правильного выполнения тестов контекст загрузки не требуется, можно добиться увеличения производительности при снятии этого флажка).

       Второй параметр. Установите флажок Включить вложенные папки, чтобы при разрешении сборок из этого каталога учитывались все вложенные папки.

    5. В поле Дополнительные папки, используемые при обнаружении тестов щелкните Добавить папку.

       Откроется диалоговое окно "Выбрать папку".

    6. Выберите папку, которая будет использоваться, и нажмите кнопку OK.

       Поле Дополнительные папки, используемые при обнаружении тестов удобно использовать при удаленном выполнении тестов с помощью Team Build или при автоматическом запуске тестов из Microsoft Test Manager. Указанные здесь пути будут использоваться для разрешения сборок, но только во время обнаружения тестов. Эти пути могут содержать переменные среды. Если составляется расписание удаленного выполнения тестов из каталога построения и не все зависимости тестовой сборки находятся в том же каталоге, эти пути можно использовать для того, чтобы дать возможность программе MSTest или контроллеру тестирования найти достаточное число зависимых сборок для обнаружения тестов и запланировать их выполнение на удаленных компьютерах.

       Для планирования запусков с помощью Microsoft Test Manager имеется дополнительный токен %BuildDrop%, который можно использовать для общего обращения к папке построения. Это исключает необходимость создания и обновления параметров тестирования при тестировании каждого нового построения. К сожалению, этот токен не поддерживается напрямую с помощью Team Build (но если папка построения задана в переменной среды BuildDrop из определения построения, результат будет таким же).

       Дополнительные сведения см. в разделе Проверка кода при помощи модульных тестов.

    7. Нажмите кнопку Сохранить.

    8. Нажмите кнопку Закрыть.

18. (Необязательно) Чтобы настроить в параметрах тестирования свойства, определяющие порядок запуска веб-тестов производительности, щелкните параметр Настройка, связанный с параметром Веб-тест.

    Откроется диалоговое окно Настройка надстройки - Веб-тест.

    1. Выберите параметр Фиксированное число запусков или Один запуск для строки.

    2. С помощью раскрывающегося списка Тип браузера выберите веб-браузер, который будет использоваться в веб-тесте производительности. Например, Internet Explorer 8.0.

       Дополнительные сведения о веб-тестах производительности см. в разделе Тестирование производительности приложения и его устойчивости к нагрузкам.

       Примечание

       Для веб-теста производительности требуется Visual Studio 2010 Ultimate.

    3. Нажмите кнопку Сохранить.

    4. Нажмите кнопку Закрыть.

19. Для просмотра сводки параметров тестирования нажмите кнопку Далее.

20. Для сохранения параметров тестирования нажмите кнопку Сохранить и закрыть.

21. Соответствующая тестовая среда автоматически выбирается в разделе Тестовая среда. Если набору ролей в параметрах тестирования соответствует несколько тестовых сред, можно выбрать другую подходящую среду.

22. Чтобы применить изменения к данному плану тестирования, нажмите на панели инструментов кнопку Сохранить.

    Примечание

    Если нужно изменить параметры тестирования, нажмите Открыть рядом со стрелкой раскрывающегося списка "Параметры тестирования" или откройтеЦентр лабораторий, щелкните Параметры тестирования в строке меню центральной группы и нажмите кнопку Открыть.Дополнительные сведения см. в разделе Практическое руководство. Изменение существующих параметров тестирования для плана тестирования.

См. также

Задачи

Создание параметров тестирования для ручных тестов

Создание параметров тестирования для запуска автоматических тестов из Visual Studio

Основные понятия

Настройка компьютеров и сбор диагностических данных с помощью параметров тестирования

Настройка тестовых компьютеров для выполнения тестов или сбора данных