Управление тестовыми выпусками. От выпуска к выпуску.

  • Статья

Введение

Общие сведения

Цель этого практического занятия — наглядная демонстрация принципов и передовых практических методов управления пробным выпуском при переходе к следующей версии. В этом практическом занятии используются сведения, содержащиеся в руководстве по управлению тестовыми выпусками Visual Studio ALM.

Visual Studio ALM Rangers

В состав группы Visual Studio ALM Rangersвходят разработчики Visual Studio, сервисные специалисты Microsoft, сотрудники со статусом Microsoft Most Values Professionalи ведущие специалисты сообщества Visual Studio. Задача данного сообщества — разработка экспериментальных решений и инструкций для недостающих функций.

Это руководство предназначено для пользователей Team Foundation Server200–300-го уровня, то есть для рядовых и опытных пользователей, хорошо ориентирующихся в особенностях функционирования Team Foundation Serverв реальных условиях. Отдельные части руководства будут полезны также новичкам и экспертам, однако эти группы пользователей не являются целевой аудиторией.

Необходимые условия

Для выполнения базовых и расширенных пошаговых сценариев в рамках этого практического занятия необходима следующая среда:

  • Базовый виртуальный образ Visual Studio ALM Rangers

… или

  • Единая серверная (физическая или виртуальная) среда, в которой установлено и настроено следующее программное обеспечение:

Программное обеспечение

Версия

Примечание

Операционная система

Windows 7
Windows Server 2008
Windows Server 2008 R2

 

IIS

IIS7

Предоставляется в составе операционной системы

SQL Server

SQL Server 2008 SP1

Рекомендуется выпуск Enterprise

Windows SharePoint Services

WSS 3.0 SP2

 

Microsoft Office

Office 2007 SP1

Рекомендуется выпуск Professional или выше

Visual Studio Ultimate

2010

 

Пути

В этом практическом занятии используется рабочий каталог , по умолчанию соответствующий следующему пути на виртуальных машинах Rangers: C:\HOL\@@

 

Ключевые операции и время выполнения

Ниже указана продолжительность практического занятия при пошаговом выполнении инструкций, приведенных в этом документе. Если планируется рассматривать каждый этап подробно, следует увеличить рекомендуемое время выполнения как минимум вдвое.

Тема Продолжительность (мин.) Страница
Шаг 1. Контекст 3 7
Шаг 2. Запуск Microsoft Test Manager 2 8
Шаг 3. Проверка статуса работ по текущему выпуску 10 9
Шаг 4. Проверка состояния тестовых случаев в выпуске 1 10 12
Шаг 4. Обновление плана тестирования для выпуска 1 15 13
Шаг 6. Разработка плана тестирования для выпуска 2 5 15
Шаг 7. Включение тестовых случаев в план тестирования для выпуска 2 15 16
ИТОГО 60 мин.  

Таблица 2. Ключевые операции и время выполнения

Желаем интересной и увлекательной работы!

Шаг 1. Контекст

Сценарий совместимости версий

Пользователь Кристина руководит тестированием проекта.

  • В проекте используется шаблон процесса Visual Studio 11 ALM SCRUM.
  • Путь к области не используется.
  • У Кристины есть единый план тестирования для всех итераций.
  • Программное обеспечение разрабатывается, тестируется и выпускается в одной ветви (более одной ветви системы управления версиями не используется).
  • В проекте используется декларативная классификация рабочих элементов с путем итерации
  • [project]\[Release #]\[Sprint #] ([проект]\[Выпуск №]\[Спринт №]).

В нашем примере проекта выпуск продукта осуществляется на конечном этапе спринта 2.

Ведущему специалисту проекта по тестированию Кристине необходимо сделать следующее:

  • Выполнить эту работу насколько возможно быстро и эффективно.
  • Предоставить полные и достоверные отчеты по спринту 2 в рамках выпуска 1.
  • Убедиться в том, что план тестирования спринта 1 в рамках выпуска 2 подготовлен для формирования достоверных отчетов о тестировании.
  • Убедиться в том, что на отчетность по спринту 2 выпуска 1 не повлияют операции, относящиеся к спринту 1 выпуска 2.
  • Представить отчетность по выпуску 1 в целом.
  • Создать снимки тестовых случаев на момент выпуска.

Шаг 2. Запуск Microsoft Test Manager

ЦЕЛЬ:

На этом шаге мы запускаем Microsoft Test Manager (MTM) и открываем план тестирования текущего выпуска.

1.  Запуск Microsoft Test Manager.

Выберите пункты меню Start (Пуск), All Programs (Все программы), Microsoft Visual Studio 11, Microsoft Test Manager 11.

2. Выберите проект Fabrikam Fiber из коллекции DefaultCollection. Выберите пункт **ConnectNow(Подключиться сейчас),**чтобы подключиться к командному проекту.

3. В окне центра тестирования выберите пункт меню **Sprint2 TestPlan(План тестирования спринта 1).**Выберите команду Select now(Выделить сейчас), чтобы начать работать с планом.

ОБЗОР

Мы запустили Microsoft Test Manager и выбрали план тестирования текущего спринта.

Шаг 3. Проверка статуса работ по текущему выпуску

ЦЕЛЬ:

На этом шаге мы проверяем статус работ по спринту 2 выпуска 1 на момент его завершения. Прежде всего мы присваиваем плану тестирования имя Release 1 Test Plan (План тестирования для выпуска 1), так как это последний спринт для текущего выпуска. После этого мы определяем: все пользовательские описания функциональности, которые подлежат повторному тестированию в ходе первого спринта следующего выпуска; тестовые случаи, подлежащие регрессионному тестированию; все незавершенные или невыполненные тестовые случаи для текущего выпуска. Затем мы отделяем эти объекты от проверенных тестовых случаев.

1. Перейдите в Microsoft Test Manager и выберите вкладку Organize (Упорядочить).

2. Дважды щелкните пункт Sprint1 TestPlan(План тестирования для спринта 1) в окне диспетчера тестового планирования Test Plan Manager.

3. Параметр State(Состояние) плана тестирования должен иметь статус **Active(Активный).**Измените имя на Release 1 Test Plan и нажмите кнопку Save and Close (Сохранить и закрыть).

4. Выберите вкладку Plan(План) в MTM и разверните Release1 TestPlansuite(Набор плана тестирования для выпуска 1).

5. Проверьте состояние User Story (Пользовательское описание функциональности) 6. Обратите внимание, что оно имеет статус InProgress (Выполняется). Перейдите на вкладку Test(Тестирование). Обратите внимание, что тестирование не выполнено ни для одного из тестовых случаев. Это пользовательское описание функциональности необходимо проверить в ходе следующего спринта в рамках выпуска 2.

6. Проверьте состояние User Story 7 и 9. Обратите внимание, что они имеют статус **InProgress.**Обратите внимание, что статус изменен на Completed (Выполнено) и все тесты выполнены (зеленая строка). Теперь можно считать, что пользовательские описания функциональности успешно прошли проверку.

7. Проверьте тестовые случаи из статического набора тестов, скопированные из спринта 1 текущего выпуска и имеющие статус Failed (Тест не пройден) или подлежащие регрессионному тестированию. Обратите внимание, что статус изменен на Completed и все тесты выполнены (зеленая строка). Теперь можно считать, что эти тестовые случаи успешно прошли проверку.

8. Выберите вкладку Test. Проверьте тестовые случаи из статического набора тестов, скопированные из спринта 1 текущего выпуска и имеющие статус Incomplete (Незавершенные) или невыполненные. Обратите внимание: установлен статус **InProgress,**однако некоторые тесты до сих пор не пройдены, а некоторые еще не выполнялись (строка с красной, зеленой и синей заливкой). Непройденные и невыполненные тесты следует повторить в следующем выпуске.

ОБЗОР

Мы проверили статус работ по текущему выпуску и распределили тестовые случаи по трем группам: проверка пройдена; проверка не пройдена; тест не выполнялся.

Теперь необходимо убедиться в том, что состояние рабочих элементов тестового случая соответствует вышеуказанному статусу.

Шаг 4. Проверка состояния тестовых случаев в выпуске 1

ЦЕЛЬ:

На этом шаге мы проверяем тестовые случаи в текущем выпуске. Необходимо убедиться в том, что задан путь итерации Sprint 2 (Спринт 2) и все активные тестовые случаи имеют статус Ready (Готово). После этого мы включаем в журнал невыполненных работ все тестовые случаи, для которых не выполнялось тестирование.

1. Откройте тестовые случаи из наборов со статусом In Progressили Completed и убедитесь в том, что для них установлен статус Ready. Для них должен быть назначен путь итерации Fabrikam Fiber\Release1\Sprint2.

2. Откройте тестовые случаи 46 и 49. Так как они не выполнялись в текущем спринте, снова включите их в журнал невыполненных работ. Для этого можно обновить путь итерации и изменить его на Fabrikam Fiber\Release1.

ОБЗОР

Мы убедились в том, что статус и пути итерации тестовых случаев в выпуске 1 имеют корректные значения.

Шаг 5. Обновление плана тестирования для выпуска 1

ЦЕЛЬ:

На этом шаге мы обновляем структуру плана тестирования для переноса проверенных тестовых случаев из набора незавершенных или невыполненных тестовых случаев. Затем тестовые случаи, по которым в следующем выпуске не будет проводиться регрессионное тестирование, объединяются в набор отдельно от тестовых случаев, участвующих в регрессионном тестировании.

1. Перейдите на вкладку Plan Microsoft Test Manager.

2. Выберите набор Release 1 Test Plan. В меню New выберите пункт **NewSuite(Новый набор).**Введите имя набора Verifiedtestcases(Проверенные тестовые случаи).

3. Скопируйте все проверенные тестовые случаи, связанные с пользовательским описанием функциональности 7 и 9, в набор проверенных. Переместите все проверенные тестовые случаи из статического набора невыполненных или незавершенных тестовых случаев в набор проверенных. Переместите все проверенные тестовые случаи из статического набора тестовых случаев, не прошедших тест или подлежащих регрессионному тестированию, в набор проверенных. Набор проверенных тестовых случаев не должен содержать все тестовые случаи, проверенные в спринте 2 выпуска 1. Установите для набора новый статус тестирования Completed.

4. Переместите все тестовые случаи, не прошедшие тестирование, из статического набора незавершенных или невыполненных в набор не прошедших тест или подлежащих регрессионному тестированию. Скопируйтетестовый случай 49, связанный с пользовательским описанием функциональности 6, в тот же набор тестов. Таким образом, этот набор будет содержать все тестовые случаи со статусом Active. Обратите внимание, что для набора незавершенных или невыполненных тестовых случаев используется идентификатор набора тестов 37.

5.  Перейдите на вкладку Plan в MTM и проверьте набор тестовых случаев, не прошедших тест или подлежащих регрессионному тестированию. Набор должен содержать только тестовые случаи, не прошедшие тест, так как мы не назначили ни одного тестового случая для регрессионного тестирования. Присвойте набору статус тестированияIn Progress. Обратите внимание, что для набора тестовых случаев, не прошедших тест или подлежащих регрессионному тестированию используется идентификатор набора тестов 36.

6. Обновите состояние тестирования для набора тестов, относящегося к пользовательскому описанию функциональности 6. Статус InProgress должен остаться лишь у тех наборов тестов, в которых содержатся не прошедшие тест, подлежащие регрессионному тестированию, незавершенные или невыполненные тестовые случаи.

7.  Перейдите на вкладку Organize в MTM и откройте план тестирования Release 1 Test Plan. Измените его состояние на Inactive (Неактивный). Нажмите кнопку Save and Close.

ОБЗОР

Структура плана тестирования Release 1 Test Plan обновлена в соответствии с текущим статусом работ. Проверенные тестовые случаи перенесены из наборов тестов, содержащих незавершенные и невыполненные тестовые случаи.

Шаг 6. Разработка плана тестирования для выпуска 2

ЦЕЛЬ:

На этом шаге мы создаем новый план тестирования для первого спринта нового выпуска, устанавливаем даты начала и завершения, определяем путь итерации и состояние тестирования.

1. Перейдите на вкладку Organize в Microsoft Test Manager и выберите пункт New, чтобы создать новый план тестирования.

2. Введите имя плана Sprint2 Test Plan(План тестирования для спринта 2) и заполните поле описания.

3. Установите для плана тестирования статус **Active,**задайте дату начала и завершения и укажите путь итерации FabrikamFiber\Release2.0\Sprint1.

4. Убедитесь в том, что для поля **Owner(Владелец)**задано значение Christine Tester(Тест-инженер Кристина). Нажмите кнопку Save and Close.

5. Щелкните ссылку Sprint 1 Test Plan в верхнем правом углу приложения и выберите новый план тестирования, чтобы начать работу с ним. Обратите внимание, что планы с меткой Inactive не отображаются в этом окне.

ОБЗОР

Мы убедились в корректности параметров нового плана тестирования. Теперь можно приступать к включению тестовых случаев в план.

Шаг 7. Включение тестовых случаев в план тестирования для выпуска 2

ЦЕЛЬ:

На этом шаге мы копируем все остальные наборы, предназначенные для повторного использования в спринте 1 выпуска 2, из плана тестирования для спринта 2 выпуска 1. После этого мы добавляем из журнала невыполненных работ тестовые случаи, для которых запланировано тестирование в ходе спринта 1 выпуска 2.

1. Перейдите на вкладку Plan Microsoft Test Manager и выберите набор Sprint1 TestPlan.

2. Установите для Sprint1 TestPlan статус In planning (Планирование). Обратите внимание: используется идентификатор набора 39.

3. Откройте командную строку разработчика Visual Studio. Выберите пункты меню: All Programs, Microsoft Visual Studio 11, Visual Studio Tools (Средства Visual Studio), Developer Command Prompt (Командная строка разработчика).

4. Используйте команду TCM.exeSuites для копирования тестовых случаев из набора не прошедших тест или подлежащих регрессионному тестированию в план тестирования для спринта 1. Обновите путь итерации для клонированных тестовых случаев. Введите в командной строке следующую команду:

tcm suites /clone /suiteid:36 /destinationsuiteid:39 /overridefieldname:”Iteration Path”

/overridefieldvalue:”FabrikamFiber\Release 2\Sprint 1” /collection:https://localhost:8080/tfs /teamproject: Fabrikam Fiber

5. Проверьте статус операции с помощью следующей команды:

tcm suites /clone /status:1 /collection:https://localhost:8080/tfs /teamproject:Fabrikam Fiber

6. Перейдите обратно на вкладку Plan в MTM и нажмите кнопку Refresh (Обновить). Отметьте набор, скопированный (клонированный) в план тестирования для спринта 1.

7. Откройте клонированный тестовый случай 53 и проверьте, установлено ли для поля пути итерации новое значение Fabrikam Fiber\Release2\Sprint1

8.  Повторите эту процедуру для набора незавершенных или невыполненных тестовых случаев. Введите в командной строке разработчика следующую команду:

tcm suites /clone /suiteid:37 /destinationsuiteid:39 /overridefieldname:”Iteration Path”

/overridefieldvalue:”FabrikamFiber\Release 2\Sprint 1” /collection:https://localhost:8080/tfs /teamproject:Fabrikam Fiber

И проверьте статус операции, используя параметр /status:

tcm suites /clone /status:2 /collection:https://localhost:8080/tfs /teamproject:FabrikamFiber

9.  Перейдите обратно на вкладку Plan в MTM и нажмите кнопку Refresh. Отметьте второй набор, также скопированный (клонированный) в план тестирования для спринта 1.

10. Откройте один из клонированных тестовых случаев 54 и щелкните вкладку Links (Ссылки). Отметьте ссылку, указывающую на исходный тестовый случай. Клонированный тестовый случай не связан с пользовательским описанием функциональности.

11. Выберите узел Sprint1 TestPlan и нажмите кнопку **Addrequirements (Добавить требования),**чтобы добавить требования, которые необходимо проверить в ходе этого спринта.

12. Выберите все пользовательские описания функциональности, возвращаемые запросом, и нажмите кнопку Addrequirements, чтобы добавить требования в план.

13. Новый план тестирования теперь содержит все наборы тестирования, для которых запланирована проверка в ходе спринта 1.

14. Для всех добавленных пользовательских описаний функциональности установите новый статус тестирования In-planning.

15. Проверьте все тестовые случаи в UserStories10, 11, 12, 13, 14, 15, 16 и задайте для них путь итерации FabrikamFiber\Release1.0\Sprint2

16. При необходимости можно добавить тестовые случаи в наборы пользовательских описаний функциональности, нажав кнопку New. Перед завершением проверки тестового случая убедитесь в том, что задан путь итерации FabrikamFiber\Release2.0\Sprint2 и установлен статус Designed (Разработано).

17. Теперь тестовые случаи включены в план тестирования для спринта 1. Можно установить для плана тестирования новый статус In progress.

ОБЗОР

Все тестовые случаи, предназначенные для повторного использования, скопированы из плана тестирования для спринта 2 выпуска 1 в план тестирования для спринта 1 выпуска 2. Новые тестовые случаи добавлены из журнала невыполненных работ продукта. Новый план тестирования готов к выполнению.