Практическое руководство. Выполнение ручных тестов и создание воспроизводимых ошибок с помощью виртуальных сред
При наличии Visual Studio Lab Management для выполнения ручных тестов можно использовать виртуальные среды. Для этого нужно создать виртуальные машины или шаблоны ролей, необходимые для приложения, и выбрать набор правил в параметрах тестирования. Дополнительные сведения о средах тестирования и параметрах, ролях см. в разделе Настройка тестовых компьютеров для выполнения тестов или сбора данных и Настройка компьютеров и сбор диагностических данных с помощью параметров тестирования.
Во время настройки виртуальной среды для выполнения ручных тестов нужно создать виртуальные машины или шаблоны для серверных ролей приложения. Например, можно создать виртуальную среду, состоящую из виртуальных машин или шаблонов для ролей веб-сервера и сервера базы данных в этой среде. Затем можно выполнить ручные тесты на настольном компьютере, который не является частью среды. Или запустить браузер для подключения к веб-серверу с компьютера, как показано на следующем рисунке.
Примечание
При использовании Test Runner для выполнения ручных тестов на настольном компьютере следует установить Visual Studio Test Professional 2010 или Visual Studio Ultimate.
.png "Выполнение ручных тестов из виртуальной среды")
Примечание
В случае необходимости использовать ту же среду для выполнения автоматических тестов можно добавить роль для настольного клиентского компьютера и воспользоваться для этой роли виртуальной машиной или шаблоном.Эту роль нельзя использовать для выполнения ручных тестов.Однако ее можно использовать для запуска автоматических тестов.Дополнительные сведения о выполнении автоматических тестов с помощью виртуальных сред см. в разделе Практическое руководство. Выполнение автоматических тестов с помощью виртуальных сред.
При обнаружении ошибки в приложении в процессе выполнения ручных тестов можно сделать снимок виртуальной среды, который разработчики могут использовать для воспроизведения фактического состояния серверов в среде в момент обнаружения ошибки. Это позволяет сократить число ошибок, которые разработчикам не удается воспроизвести. Это состояние среды сохраняется для разработчиков, чтобы они смогли изучить его тогда, когда им это будет удобно. При этом пользователь может продолжать выполнение других тестов в той же среде. Когда разработчики пожелают воспользоваться средой, они смогут подключиться к снимку, воспользовавшись ссылкой в сведениях об ошибке.
Примечание
Этот снимок создается для каждой виртуальной машины в среде.Эти снимки хранятся на физическом узле, который используется для виртуальной машины.Для хранения снимков физическое место на сервере Team Foundation Server не используется.В сведения об ошибке и результаты теста добавляется только ссылка на снимок.
Если среда может быть удалена еще до того, как разработчики проверят ошибку, тест-инженер может по завершению тестирования сохранить копию среды в общей папке библиотеки. Ссылка в сведениях об ошибке позволит разработчику создать копию хранимой среды и воспользоваться этой копией.
Примечание
Если требуется создать копию среды с помощью ссылки в сведениях об ошибке, среда должна быть изолирована от сети.
При необходимости построить и развернуть в виртуальной среде серверные уровни приложения для простоты настройки и выполнения ручных тестов можно создать для этого определение построения. Чтобы воспользоваться возможностями интеграции, нужен контроллер построений. Дополнительные сведения см. в разделе Практическое руководство. Развертывание приложения в виртуальной среде.
Предварительные требования
Для выполнения ручных тестов с помощью созданной среды следует выполнить следующие действия.
Создайте виртуальную машину или шаблон для каждой роли, которая необходима в виртуальной среде.
Установите на каждой виртуальной машине агент лаборатории.
Установите на каждой виртуальной машине агент тестирования. Это позволит использовать виртуальные машины в среде для сбора данных и диагностики при выполнении тестов и создать снимок среды, если при выполнении тестов будет обнаружена ошибка.
При необходимости развернуть приложение с помощью возможности интеграции рабочего процесса следует также установить в виртуальных машинах агент построения.
Установите Visual Studio Test Professional 2010 или Visual Studio Ultimate на всех компьютерах, которые будут использоваться для выполнения ручных тестов.
Создайте тестовые случаи для ручных тестов с помощью Microsoft Test Manager и добавьте их в набор тестов в плане тестирования. Дополнительные сведения см. в разделе Определение действий тестирования с помощью планов тестирования.
Процедуры
Для запуска ручных тестов и создания воспроизводимых ошибок используйте следующие процедуры. Обнаружив ошибку, можно подключиться к виртуальным машинам в созданной среде, чтобы проверить информацию, или сделать снимок среды и сохранить его в ошибке, чтобы разработчик мог воспроизвести ошибку с помощью этой среды.
Выполнение ручных тестов с помощью виртуальных сред
Подключение к виртуальным машинам в среде
Создание снимка виртуальной среды
Подключение к снимку виртуальной среды
Выполнение ручных тестов с помощью виртуальных сред
Выполнение ручных тестов с помощью виртуальных сред
Создайте виртуальную среду и добавьте необходимые виртуальные машины или шаблоны для каждой роли. Дополнительные сведения см. в разделах Виртуальные среды — понятия и указания и Практическое руководство. Создание среды из виртуальных машин или шаблонов.
Важно!
Для сбора данных и диагностики на виртуальных машинах в среде при выполнении ручных тестов нужно активировать возможность тестирования в виртуальной среде.
Для этого нужен контроллер тестирования, который можно использовать для среды.Дополнительные сведения см. в разделе Практическое руководство. Добавление контроллеров для тестирования с помощью Lab Management.
Для запуска виртуальной среды выберите среду в представлении "Среды" и нажмите кнопку Запуск.
Проверьте, запущены ли в среде машины и активирована ли возможность тестирования, если она была выбрана для среды. В представлении Среды состояние возможности тестирования отображается рядом с надписью Тестирование в данных среды.
Примечание
Если используемая среда сохранена в библиотеке, перед запуском эту среду следует развернуть для создания виртуальных машин из сохраненных образов.
(Рекомендовано.) Чтобы избежать случайного подключения к среде других пользователей при выполнении тестов, щелкните стрелку раскрывающегося списка рядом с меню Пометить как используемое на панели инструментов. Добавьте примечание о том, кто использует среду, и щелкните Пометить как используемое.
Если другой пользователь попытается подключиться к используемой среде, в диалоговом окне Подключиться к среде отобразится предупреждение с введенным ранее примечанием. Тем не менее, он может проигнорировать это предупреждение и подключиться к среде.
Примечание
Кроме того, для обозначения среды как используемой можно воспользоваться Средством просмотра среды (Microsoft).
Установите серверные уровни приложения на виртуальных машинах в среде. Для подключения к серверным уровням на настольном компьютере можно также установить для приложения локальный клиент. Для автоматической установки соответствующих серверных уровней приложения с помощью определения построения можно воспользоваться возможностью интеграции рабочего процесса. Дополнительные сведения о выполнении этих действий см. в разделе Практическое руководство. Развертывание приложения в виртуальной среде. Кроме того, можно установить приложение вручную.
Примечание
После установки приложения рекомендуется сделать снимок среды, чтобы можно было легко вернуться к этому чистому состоянию с установленным приложением.
Создайте параметры теста, содержащие наборы ролей виртуальной среды, с помощью средства Microsoft Test Manager и выберите для каждой роли данные, которые необходимо собрать, и диагностику, которую необходимо выполнить. Дополнительные сведения о создании параметров ручных тестов см. в разделе Создание параметров тестирования для ручных тестов.
Чтобы присвоить параметры тестов и назначить виртуальную среду, созданную для плана тестирования и выполнения тестов, выполните следующие действия.
Используя средство Microsoft Test Manager на компьютере, где будут выполняться тесты, щелкните стрелку вниз на центральном переключателе групп и выберите Центр тестирования.
В строке меню центральной группы последовательно выберите пункты План и Свойства.
Отображаются свойства выбранного плана тестирования.
Щелкните стрелку вниз рядом с пунктом Параметры тестирования в разделе Выполнения вручную и выберите параметры тестирования.
Щелкните стрелку вниз рядом с пунктом Тестовая среда в разделе Выполнения вручную и выберите параметры среды.
Щелкните ссылку Сохранить и закрыть.
Для выполнения тестов выберите Тестирование и нажмите кнопку Выполнение тестов. Выберите тесты, которые необходимо выполнить, и нажмите кнопку Выполнить.
Для выполнения тестов с использованием параметров тестирования, созданных для исключительно для данного теста, выполните перечисленные ниже действия.
Используя средство Microsoft Test Manager на компьютере, где будут выполняться тесты, щелкните стрелку вниз на центральном переключателе групп и выберите Центр тестирования.
Для выполнения тестов выберите Тестирование и нажмите кнопку Выполнение тестов. Щелкните правой кнопкой мыши набор тестов или тесты, которые необходимо выполнить, и выберите пункт Запуск с параметрами.
Откроется диалоговое окно Параметры запуска.
Выберите параметры тестирования, созданные на основе значений в поле Параметры тестирования в области Ручные выполнения тестов.
Выберите виртуальную среду в списке Среда в разделе Выполнения вручную и нажмите кнопку Выполнить.
Отобразится Test Runner с выбранным в нем первым тестом.
Для запуска первого теста нажмите кнопку Начать тест. Дополнительные сведения о выполнении ручных тестов см. в разделе Практическое руководство. Выполнение ручных тестов.
Теперь можно приступить к выполнению всех выбранных тестов.
Чтобы выполнить шаги теста, необходимо запустить тестируемое приложение. Чтобы подключиться к той части приложения, которая установлена в среде, используйте клиент этого приложения. Клиентом может быть клиентское приложение или веб-браузер на компьютере, на котором установлен Microsoft Test Manager.
Если используется среда, изолированная от сети, дополнительные сведения о подключении приложения см. в разделе Практическое руководство. Создание и использование изолированной от сети среды (подраздел "Взаимодействие между машинами в средах, изолированных от сети, и компьютерами во внешней сети").
Чтобы сохранить результаты тестирования, щелкните Сохранить и закрыть в Test Runner.
Отобразится представление Выполнение тестов.
Подключение к виртуальным машинам в среде
Если требуется проверить информацию о машине в виртуальной среде при выполнении тестов, можно подключиться к любой из виртуальных машин. Например, может потребоваться проверить правильность записи в реестре.
Подключение к виртуальным машинам в среде
Чтобы просмотреть состояние компьютера в виртуальной среде в процессе выполнения теста, можно выбрать команду Подключиться к среде на панели инструментов шагов теста Test Runner.
Отобразится Средство просмотра среды (Microsoft). Здесь можно выбрать виртуальную машину для просмотра. Кроме того, на виртуальной машине можно выполнять различные команды.
Дополнительные сведения об подключению к машинам в среде см. в разделе Практическое руководство. Подключение к виртуальной среде.
Если используется среда, изолированная от сети, см. раздел Практическое руководство. Создание и использование изолированной от сети среды.
Примечание
При подключении к среде во время выполнения тестов не следует возобновлять состояние, зафиксированное в снимке.В случае восстановления состояния, зафиксированного в снимке, во время выполнения тестов, произойдет перезапуск агента тестирования, и для тестового запуска не будут собраны данные и не будет выполнена диагностика.При необходимости восстановить состояние в снимке следует остановить тестовый запуск и выполнить восстановление до выполнения тестов.
Создание снимка виртуальной среды
Создание снимка виртуальной среды
В случае возникновения проблем при выполнении теста щелкните значок Создать снимок среды в правом конце панели инструментов для панели шагов теста. Теперь, при создании данных об ошибке в них будет добавляться ссылка на этот снимок виртуальной среды.
Примечание
Это позволит сделать снимок всех виртуальных машин в среде.Эти снимки хранятся на физическом узле, который используется для виртуальной машины.Для хранения снимков физическое место на сервере Team Foundation Server не используется.В сведения об ошибке и результаты теста добавляется только ссылка на снимок.
На вкладке данных об ошибке Сведения отображается снимок с таким именем: TC<идентификатор тестового случая>snapshot<номер снимка>.lvr. Кроме того, в сведениях об ошибке можно просмотреть данные или диагностические сведения, собранные на виртуальных машинах для используемой среды.
Примечание
Данная ссылка на снимок отображается также в результатах тестов.
Чтобы сохранить результаты тестирования, щелкните Сохранить и закрыть в Test Runner.
Отобразится представление Выполнение тестов.
Подключение к снимку виртуальной среды
Подключение к снимку виртуальной среды
Чтобы подключиться к снимку виртуальной среды из результатов теста, перейдите к виду "Запуск тестов" в Microsoft Test Manager, щелкните тест правой кнопкой мыши и выберите Просмотреть результаты.
Щелкните ссылку на снимок среды, которая отображалась для шага теста при создании снимка.
Нажмите кнопку Открыть, чтобы открыть файл.
Откроется диалоговое окно Подключиться к среде.
В этом диалоговом окне выберите один из следующих пунктов.
Чтобы в точности восстановить виртуальную среду, с которой сделан снимок, щелкните Подключиться к сохраненному снимку в этой среде.
Примечание
Если в данной среде работает какой-либо пользователь, выбор этого пункта может повлечь его отсоединение и потерю результатов его работы.Убедитесь в отсутствии предупреждающего сообщения о том, что среда уже используется.
Чтобы подключиться к среде в ее текущем состоянии без возврата к снимку, созданному в процессе выполнения теста, выберите команду Подключиться к среде в ее текущем состоянии и нажмите кнопку Подключиться.
Примечание
Это все же может привести к отключению другого пользователя, но состояние среды не изменится.
При наличии сохраненной копии среды в общей папке библиотеки можно создать копию среды и подключиться к этой копии. Такая необходимость может возникнуть, если среда в данный момент уже используется или если нужно избежать блокирования среды для тест-инженеров. Чтобы создать копию среды и подключиться к ней, выберите команду Подключиться к новому экземпляру данной среды.
Примечание
Создание копии среды может длиться очень долго и потребовать значительного дискового пространства в общей папке библиотеки проекта.Чтобы эту копию среды можно было использовать совместно одновременно с копией среды тест-инженера, следует создать изолированную сетевую среду.Дополнительные сведения о средах см. в разделе Создание виртуальных сред.
Чтобы подключиться к виртуальной среде из снимка, сохраненного в ошибке, можно открыть данные об ошибке в представлении Проверка ошибок с помощью Microsoft Test Manager или в представлении Сред. Командный обозреватель в Microsoft Visual Studio 2010. Затем можно щелкнуть ссылку на снимок среды на вкладке данных об ошибке Сведения.
Откроется диалоговое окно "Подключиться к среде". Выберите нужный пункт (см. предыдущий шаг этой процедуры). Если среда помечена как используемая, в диалоговом окне Подключиться к среде отображается предупреждающее сообщение.
Примечание
Разработчики могут подключаться к виртуальной среде из данных об ошибке для воспроизведения указанной в этих данных проблемы, что позволяет быстрее устранять неполадки.При восстановлении среды из снимка сетевые подключения между машинами в снимке могут перестать действовать, и все транзакции, которые обрабатывались в момент снимка, могут завершиться с ошибкой.Если для воспроизведения ошибки требуются подключения TCP, которые были открыты и активны в момент снимка, воспроизвести эту ошибку, возможно, не удастся.
См. также
Основные понятия
Использование виртуальной лабораторной среды в жизненном цикле приложения