Практическое руководство. Создание плана тестирования

С помощью плана тестирования можно указать, что требуется протестировать и как следует выполнять запланированные тесты. Тестовый плат можно применить к определенной итерации проекта. Можно объединить тестовые случаи в единственный набор тестов, используемый по умолчанию, или создать иерархию наборов тестов.

Кроме того, можно выбрать конфигурации по умолчанию, которые будут использоваться при выполнении тестов в плане тестирования. В конфигурации теста тестеры получают сведения о настройке, необходимой для выполнения данного теста. Можно задать одну или несколько конфигураций по умолчанию. Результаты теста записываются при каждом выполнении теста с определенной конфигурацией. План тестирования позволяет измерять ход тестирования на основе результатов теста для определенных сочетаний теста и конфигурации, как показано на следующем рисунке.

Примечание

Если для определенных наборов тестов требуются различные конфигурации из общего плана, можно задать конфигурации по умолчанию на уровне тестов.

Если для плана тестирования требуются определенные конфигурации тестов, удобно сначала создать эти конфигурации. В этом случае можно выбрать конфигурации по умолчанию для плана и при создании тестовых случаев указать соответствующие комбинации тестовых случаев и конфигураций. Затем конфигурация по умолчанию настраивается автоматически. Эти комбинации при необходимости можно позднее изменить. Дополнительные сведения о создании конфигураций тестов см. в разделе Практическое руководство. Создание конфигураций тестов.

Примечание

Определение конфигураций не является обязательным действием.Можно использовать конфигурацию, которая предоставляется по умолчанию.

Для плана тестирования можно также определить параметры тестирования по умолчанию. Эти параметры определяют способ выполнения тестов. Параметры тестирования позволяют автоматически выполнять целый ряд задач, таких как сбор сведений о действиях, выполняемых в ходе тестирования, запись этих действий, запись видео и сбор системной информации или данных о покрытии кода. Кроме того, параметры тестирования можно использовать для удаленного выполнения автоматических тестов с помощью определенных сред.

После выбора тестов для выполнения можно переопределить в плане параметры тестирования, заданные для них по умолчанию. Дополнительные сведения о параметрах и средах тестирования см. в разделах Настройка компьютеров и сбор диагностических данных с помощью параметров тестирования и Настройка тестовых компьютеров для выполнения тестов или сбора данных.

Примечание

Для ручных тестов задавать параметры тестирования по умолчанию не требуется.Можно использовать настройку по умолчанию с именем По умолчанию. В этом случае ручные тесты будут выполняться только на локальном компьютере.

После создания плана тестирования его можно проверить, чтобы убедиться, что тестовые случаи покрывают ключевые функции приложения. Эту задачу можно упростить с помощью созданного документа Microsoft Word. Чтобы создать из плана тестирования документ Word, можно воспользоваться средством Test Scribe. С помощью документа Word любой пользователь может проверить тестовые случаи плана тестирования без необходимости открывать каждый конкретный случай.

Для создания плана тестирования используйте следующую процедуру.

• Создайте план тестирования и задайте его свойства, в том числе добавьте конфигурации и параметры тестирования по умолчанию.

• Создайте наборы тестов и добавьте тестовые случаи.

• Обновите конфигурации для конкретных тестовых случаев.

• Назначьте тесты тестерам.

• Выполните упорядочение тестовых случаев в наборе тестов.

• Добавление в план тестирования внешних ссылок

Создание плана тестирования

На следующем рисунке показаны некоторые свойства, которые можно задать для плана тестирования.

Для создания плана тестирования выполните следующие действия.

1. Откройте Microsoft Test Manager.

   Примечание

   Чтобы открыть окно Microsoft Test Manager, нажмите кнопку "Пуск" и выберите "Все программы".Выберите Microsoft Visual Studio 2010 и щелкните Microsoft Test Manager 2010.

2. Чтобы создать план тестирования, щелкните стрелку вниз на центральном переключателе групп и выберите Центр тестирования.

3. Щелкните имя текущего плана, отображаемое в правом верхнем углу окна.

   Откроется диалоговое окно Центр тестирования.

   Примечание

   Управлять планами тестирования, в том числе создавать новые планы, можно также с помощью диспетчера тестовых случаев в представлении Организовать.

4. Чтобы создать план, щелкните Добавить.

   Откроется диалоговое окно Добавить план тестирования.

5. Введите имя плана в поле Введите имя плана и нажмите кнопку Добавить.

   Теперь план добавлен в список и выделен.

6. Для выбора добавленного плана щелкните Выбор плана.

   Откроется представление Содержание для плана тестирования.

7. Чтобы изменить представление свойств плана тестирования, щелкните Свойства.

8. (Необязательно) В поле Описание введите описание плана тестирования.

9. (Необязательно) Чтобы изменить владельца, щелкните Владелец и выберите нового владельца.

10. Щелкните Состояние и выберите состояние из списка, воспользовавшись сведениями из следующей таблицы.

    Состояние	Условия использования
    Активно	Вы планируете или выполняете тесты в плане тестирования.
    Неактивный	Вы завершили план тестирования.

    Важно!

    Для просмотра плана тестирования или выполнения тестов необходимо установить для плана тестирования состояние Активный.Если план тестирования находится в неактивном состоянии, его нельзя просматривать и изменять в представлении План.Доступ к нему можно получить только в диспетчере планов тестирования.

11. (Необязательно) В поле Дата начала введите день, в который необходимо начать выполнение плана тестирования, а в поле Дата окончания введите дату окончания плана.

    Примечание

    Эти даты не влияют на состояние плана тестирования.

12. Для выбора области командного проекта, покрываемой данным планом тестирования, щелкните Область.

13. Для выбора итерации, в которой необходимо выполнить тесты плана тестирования, щелкните Итерация.

    Примечание

    Итерации настраиваются в командном проекте администратором сервера Team Foundation Server.

14. (Необязательно) Для выбора параметров тестирования, которые должны использоваться для ручных тестов плана тестирования, щелкните Параметры тестирования в разделе Выполнения вручную.

    Примечание

    Можно указать один из уже созданных наборов параметров тестирования или выбрать в списке пункт Создать, чтобы запустить мастер параметров тестирования и создать новые параметры.Дополнительные сведения о параметрах тестирования см. в разделах Настройка компьютеров и сбор диагностических данных с помощью параметров тестирования и Практическое руководство. Создание параметров тестирования для плана тестирования.

15. (Необязательно) Чтобы просмотреть существующие параметры тестирования и подтвердить их правильность или изменить параметры тестирования, выберите параметры тестирования в списке и нажмите кнопку Открыть.

16. (Необязательно) Для выбора параметров тестирования, которые должны использоваться для автоматических тестов плана тестирования, щелкните Параметры тестирования в разделе Автоматизированные запуски.

    Примечание

    Для выполнения автоматических тестов могут потребоваться другие параметры тестирования, если пользователь решит запускать их с настройкой, отличной от ручных тестов.Дополнительные сведения о выполнении автоматических тестов см. в разделах Настройка тестовых компьютеров для выполнения тестов или сбора данных и Создание параметров тестирования для автоматических тестов в составе плана тестирования.

17. (Необязательно) Для выбора конфигураций, которые будут использоваться по умолчанию для всех наборов тестов, добавленных в план тестирования, щелкните В этом плане в разделе Конфигурации.

    Откроется диалоговое окно, в котором отображаются все конфигурации для командного проекта и текущие конфигурации по умолчанию для плана тестирования.

    Примечание

    По умолчанию для использования с планом тестирования создается и выбирается конфигурация Windows 7 и IE 8.

18. (Необязательно) Выберите конфигурации по умолчанию, которые необходимо добавить или удалить.

    Примечание

    Изменение конфигураций по умолчанию влияет только на новые тестовые случаи, добавляемые в план тестирования.Дополнительные сведения о том, как изменять комбинации тестов и конфигураций, уже включенных в план тестирования, см. в описании процедуры обновления конфигураций для конкретных тестовых случаев.

19. (Необязательно) Для добавления новой конфигурации нажмите кнопку Диспетчер.

    Откроется окно с действием "Диспетчер конфигураций тестов". Дополнительные сведения о создании конфигураций с помощью диспетчера конфигураций тестов см. в разделе Практическое руководство. Создание конфигураций тестов.

20. (Необязательно) Для сохранения изменений конфигураций по умолчанию щелкните Применить.

21. (Необязательно) Для выбора определения построения и качества построения, которые будут использоваться при тестировании, щелкните стрелку раскрывающегося списка Фильтр для построений. Эти построения относятся ко всем определениям командных построений, используемым для построения тестируемого приложения.

    Откроется диалоговое окно Фильтровать выполненные построения.

    Примечание

    Если для построения приложения не используется Team Foundation Build, параметры Фильтр для построений и Используемое построение можно не задавать.Дополнительные сведения об использовании Team Foundation Build см. в разделе Определение процесса построения.

22. (Необязательно) Для выбора определения построения, представляющего построения, которые будут использоваться при тестировании в данном плане тестирования, щелкните Определение построения.

23. (Необязательно) Каждому построению можно присвоить определенное значение, отражающее качество построения. Чтобы выбрать качество построения, требуемое для тестирования в данном плане тестирования, щелкните Свойство построения.

    Примечание

    Дополнительные сведения об определениях и качестве построения см. в разделе Определение процесса построения.

24. (Необязательно) Для сохранения изменений щелкните Задать фильтр построения.

25. (Необязательно) Чтобы выбрать текущее построение, используемое для тестирования в данном плане тестирования, необходимо сначала щелкнуть Сохранить для сохранения изменений фильтра построений, а затем нажать кнопку Изменить.

    Откроется представление Назначить построение. Можно сравнить текущее построение с построением, которое планируется использовать для тестирования. Список связанных элементов помогает выбрать построение, показывая измененные в другом построении рабочие элементы. Затем можно выбрать новое построение для использования при тестировании с этим планом. Дополнительные сведения о том, как выбирать построение, см. в разделе Определение построений, содержащих исправления ошибок, новые возможности или требования.

26. (Необязательно) Чтобы закрыть представление Назначить построение и вернуться к свойствам плана тестирования, щелкните значок Закрыть.

27. Чтобы сохранить изменения для данного плана тестирования, щелкните Сохранить на панели инструментов.

Создание наборов тестов и добавление тестовых случаев

В плане тестирования можно создать несколько наборов тестов различных типов или использовать только один набор тестов, предоставляемый по умолчанию, и добавить в него тестовые случаи. На следующем рисунке показан процесс создания наборов тестов различных типов.

В данной процедуре описано создание набора тестов и добавление в него существующих или новых тестовых случаев. Дополнительные сведения о различных типах наборов тестов и их упорядочении в иерархии см. в разделе Группировка тестовых случаев в наборы тестов.

Создание наборов тестов и добавление тестовых случаев

1. В меню Центр тестирования выберите пункт План и затем пункт Содержание.

   Откроется область "Содержание".

2. Для создания нового набора тестов щелкните Создать в области, в которой отображается корневой узел набора тестов.

   Примечание

   В иерархии наборов тестов есть корневой узел, имя которого совпадает с именем плана тестирования.К этому корневому узлу набора тестов можно добавлять тестовые случаи или наборы тестов, но его нельзя переименовывать.

3. Введите имя нового набора тестов.

   Это имя будет также отображаться в области сведений набора тестов.

4. Щелкните Состояние и выберите состояние из списка, воспользовавшись сведениями из следующей таблицы.

   Состояние	Условия использования
   В планировании	Вы еще не готовы выполнять тесты в этом наборе тестов.
   Выполняется	Вы готовы выполнять тесты в этом наборе тестов.
   Завершено	Тесты в этом наборе выполнены и достигнутый уровень качества соответствует поставленным задачам.

   Важно!

   Для выполнения тестов нужно установить для набора тестов состояние Выполняется.

5. Для изменения конфигураций по умолчанию для созданного набора тестов, если они должны отличаться от конфигураций по умолчанию содержащего их плана, щелкните стрелку раскрывающегося списка рядом со списком конфигураций в области сведений набора тестов.

   Откроется диалоговое окно, в котором отображаются все конфигурации для командного проекта и текущие конфигурации по умолчанию для плана тестирования.

6. Сначала нужно снять флажок для пункта Использовать конфигурации из родительского набора тестов, а затем выбрать конфигурации по умолчанию, которые нужно добавить, а также те, которые нужно удалить.

   Примечание

   Изменение конфигураций по умолчанию влияет только на новые тестовые случаи или наборы тестов, добавляемые к данному набору тестов.Дополнительные сведения о том, как изменять комбинации тестов и конфигураций, уже включенных в план тестирования, см. в разделе Обновление конфигураций для конкретных тестовых случаев.

7. Чтобы добавить существующий тестовый случай в этот набор тестов, щелкните Добавить.

   Откроется диалоговое окно Добавить тестовые случаи в набор. Все доступные тестовые случаи отображаются в списке тестов.

   Примечание

   Тесты, уже добавленные в набор тестов, в списке тестов не отображаются.

8. (Необязательно) Если перечислено несколько тестовых случаев, можно ограничить круг поиска среди них, изменив запрос следующим образом.

   1. Чтобы добавить новое предложение в запрос, выберите пункт Щелкните здесь, чтобы добавить предложение.

   2. Щелкните каждый столбец в предложении запроса, чтобы заполнить предложение. Если для столбца доступно несколько значений, то при его выборе отображается стрелка раскрывающегося списка. Нажмите стрелку раскрывающегося списка для выбора одного из значений списка. Доступны следующие столбцы.

      Столбец запроса	Способ заполнения
      И/Или	Выберите значение И, если для получения необходимого результата должны быть справедливы данное предложение и предложение, предшествующее ему. Выберите значение Или, если для получения необходимого результата должно быть справедливо либо данное предложение, либо предшествующее ему предложение.
      Поле	Список данного поля содержит все просматриваемые при поиске поля рабочего элемента, используемые на текущем сервере Team Foundation Server. Можно использовать любое количество предложений и полей, необходимое для получения оптимального результата. Нажмите ALT + СТРЕЛКА ВНИЗ или введите имя поля, которое нужно выбрать.
      Оператор	Примеры выбора оператора: = (равно), <> (не равно), > (больше чем), < (меньше чем), >= (больше чем или равно), <= (меньше чем или равно), Увеличение, Всегда, Никогда и Содержит.
      Значение	Задает значение, поиск которого выполняется в определенном поле. Если доступно несколько значений, щелкните стрелку раскрывающегося меню и выберите нужное. В Team Foundation (отслеживание рабочих элементов) предусмотрено несколько переменных запросов для динамического добавления значений в запрос. Дополнительные сведения см. в разделе How to: Run or Cancel a Work Item Query.

   3. Повторите два предыдущих шага для добавления всех искомых значений.

   4. Для просмотра результатов запроса щелкните Выполнить, чтобы выполнить запрос.

9. Выберите тесты, которые нужно добавить, и щелкните Добавить тестовые случаи.

   Выбранные тестовые случаи отображаются в области сведений набора тестов.

10. Чтобы создать тестовый случай и добавить его в этот набор тестов, щелкните Создать.

    Откроется диалоговое окно Создать тестовый случай.

11. Введите сведения о новом тестовом случае, включая действия и ожидаемые результаты для каждого шага теста, а затем нажмите кнопку Сохранить и закрыть.

    Новый тестовый случай теперь отображается в области сведений набора тестов.

    Примечание

    Дополнительные сведения о создании новых тестовых случаев см. в разделе Практическое руководство. Создание ручного тестового случая.

12. Для добавления дополнительных тестовых случаев повторите два предыдущих шага.

    Примечание

    Все добавляемые существующие или создаваемые тестовые случаи сопоставляются с конфигурацией по умолчанию. Полученные комбинации определяют, какие конфигурации следует использовать с каждым тестом в плане тестирования.Для просмотра этих комбинаций выберите набор тестов и щелкните Конфигурации.

13. Изменения, внесенные в план тестирования, сохраняются автоматически.

Обновление конфигураций для конкретных тестовых случаев.

В каждом наборе тестов можно обновить использующиеся по умолчанию связи конфигураций тестов с тестовыми случаями. Можно удалять комбинации, которые не нужно тестировать, и добавлять другие. Это позволяет гибко задавать в плане только те комбинации конфигураций и тестовых случаев, которые действительно нужно тестировать, как показано на следующем рисунке.

Для обновления конфигураций для определенных тестовых случаев выполните следующие действия.

1. В меню Центр тестирования выберите пункт План и затем пункт Содержание.

   Откроется область "Содержание".

2. Для изменения используемых по умолчанию связей конфигураций тестов и тестового случая выберите набор тестов, содержащий тестовый случай.

3. Если необходима возможность изменения конфигураций тестов для всех тестовых случаев в наборе тестов, щелкните правой кнопкой мыши набор тестов и выберите пункт Выбрать конфигурации тестов для всех тестов.

   Другой вариант.

   Если вы хотите изменить конфигурации тестов для определенных тестовых случаев в наборе тестов, выберите нужные тесты в области сведений набора тестов и нажмите кнопку Конфигурации на панели инструментов области сведений набора тестов.

   Откроется диалоговое окно Выберите конфигурации тестов.

4. Для просмотра всех конфигураций тестов в командном проекте щелкните Все конфигурации.

   Отображаются все конфигурации в командном проекте, не назначенные для этого плана тестирования.

5. Для создания или удаления существующих связей тестовых случаев этого набора тестов с какой-либо конфигурацией щелкните соответствующую ячейку.

   В ячейке появляется или исчезает флажок (в зависимости от ее прежнего состояния).

6. Для просмотра только конфигураций тестов, назначенных для данного набора тестов, щелкните Назначенные конфигурации.

7. (Необязательно) Для сброса связей тестовых случаев и конфигураций щелкните По умолчанию.

8. (Необязательно) Если нужно сделать много изменений, выберите пункт Включить режим выбора диапазона и заполнения, чтобы отметить диапазон. Чтобы отметить диапазон, сначала щелкните первый элемент, а затем, удерживая клавишу SHIFT, щелкните последний элемент.

   Все элементы данного диапазона заполняются значением первого элемента.

9. Для сохранения изменений нажмите кнопку Применить изменения.

Назначение тестов тестерам

По умолчанию выполнение тестов назначается пользователям, назначенным данному тестовому случаю. Если требуется, чтобы определенная комбинация теста и конфигурации выполнялась тестером, не назначенным для данного тестового случая, воспользуйтесь описанной ниже процедурой и следующим рисунком. При этом пользователь, назначенный тестовому случаю, не меняется.

Для назначения тестов тестерам выполните следующие действия.

1. В меню Центр тестирования выберите пункт План и затем пункт Содержание.

   Откроется область Содержание.

2. Чтобы изменить используемые по умолчанию назначения тестов инженерам по тестированию, выберите набор тестов, содержащий тестовые случаи, назначения которых требуется изменить.

3. Если необходима возможность переназначения всех тестовых случаев в наборе тестов, щелкните правой кнопкой мыши набор тестов и выберите пункт Назначить инженеров по тестированию для всех тестов.

   - или -

   Если необходимо переназначить определенные тестовые случаи в наборе тестов, выберите определенные тесты в области сведений набора тестов, затем нажмите кнопку Назначить на панели инструментов Сведения о наборе тестов.

   Откроется диалоговое окно Назначение инженеров по тестированию. В нем отображаются все комбинации тестовых случаев и конфигураций для выбранных тестовых случаев.

4. Выберите значение в столбце Инженер по тестированию, чтобы выбрать другого инженера по тестированию для выполнения определенной комбинации тестового случая и конфигурации.

   Примечание

   Можно выбрать несколько комбинаций тестовых случаев и конфигураций и изменить назначения для всех них путем изменения значения в столбце Инженер по тестированию для любой из выбранных строк.

5. (Необязательно) Для группировки тестовых случаев по определенному столбцу, перетащите заголовок столбца в область Перетащите заголовок столбца для группировки по этому столбцу. Если перетащить заголовок столбца конфигураций, то можно выбрать все тестовые случаи для определенной конфигурации. Нажмите поле Shift в первой строке группы и нажмите поле Shift в последней строке, затем щелкните поле Инженер по тестированию в одной из строк, чтобы назначить их этому инженеру по тестированию.

6. Для сохранения изменений щелкните Сохранить назначения.

   Все изменения назначений отображаются в поле Инженеры по тестированию.

   Примечание

   Если одному тесту назначено несколько инженеров по тестированию в зависимости от конфигурации, то в поле Инженеры по тестированию отображается значение "Множественный".

Упорядочение тестовых случаев в наборе тестов

Иногда требуется расположить тестовые случаи и выполнить их в определенном порядке. Например, может потребоваться сначала выполнить наиболее простые тесты, потому что, если они закончатся неудачей, все последующие тесты набора тестов будут блокированы. Порядок тестовых случаев можно изменить в любом наборе тестов, за исключением наборов тестов на основе запроса или наборов тестов, созданных путем добавления требования и описания функциональности пользователя в план тестирования. При выполнении тесты из набора тестов перечисляются в средстве Test Runner в порядке, указанном в столбце "Порядок" набора тестов.

Для упорядочения тестовых случаев в наборе тестов, выполните следующие действия.

1. В меню Центр тестирования выберите пункт План и затем пункт Содержание.

   Откроется область "Содержание".

2. Для изменения порядка тестовых случаев в наборе тестов выберите набор тестов в области иерархии наборов тестов и щелкните Упорядочить.

   Откроется диалоговое окно Упорядочить тестовые случаи. В списке тестов отображаются все тестовые случаи набора тестов.

3. Введите в столбец Порядок новое значение позиции. Например, для перемещения теста в начало списка введите 1 в столбце Порядок, а для перемещения теста в конец списка введите в столбце Порядок общее количество тестовых случаев в наборе.

   Теперь этот порядок будет использоваться при выполнении тестов.

   Примечание

   Для перемещения тестового случая A (порядковый номер 2) на позицию позади существующего тестового случая B (порядковый номер 4), введите значение 5 в столбце Порядок.Теперь тестовый случай A будет отображаться под тестовым случаем B.Для перемещения тестового случая C (порядковый номер 5) на позицию перед существующим тестовым случаем D (порядковый номер 3), введите значение 3 в столбце Порядок.Теперь тестовый случай С будет отображаться над тестовым случаем D.

Добавление в план тестирования внешних ссылок

На веб-сайт может потребоваться добавить внешние ссылки, содержащие дополнительные сведения о тестируемом приложении. Либо может потребоваться добавить ссылку на документ о требованиях к тестированию для текущего спринта из плана тестирования. Это позволяет добавить с план тестирования ссылки на любую необходимую информацию, чтобы тест-инженеры могли легко найти ее.

Добавление в план тестирования внешних ссылок

1. В меню Центр тестирования выберите пункт План и затем пункт Свойства.

   Откроется страница "Свойства".

2. Чтобы добавить внешнюю ссылку, щелкните стрелку вниз рядом с пунктом Ссылки и выберите команду Добавить.

   Появится диалоговое окно Добавление внешней ссылки.

3. Введите URL-адрес в поле Внешний URL-адрес. Это может быть адрес файла или веб-сайта.

4. В поле Примечание введите примечание, позволяющее отличить этот URL-адрес от других.

5. Щелкните Добавить ссылку.

   URL-адрес появится в списке ссылок.

6. (Необязательно) Чтобы открыть ссылку для проверки правильности пути, выберите ссылку и щелкните команду Открыть.

   Ссылки можно добавлять и удалять в зависимости от требований конкретного плана тестирования.

См. также

Основные понятия

Выполнение ручных тестов с помощью средства выполнения тестов

Определение действий тестирования с помощью планов тестирования

Выполнение тестов