Панель мониторинга "Ошибки" (CMMI)

Можно отслеживать статус ошибок в командном проекте можно при помощи панели мониторинга "Ошибки", на которой отображаются следующие графики:

  • гистограмма ошибок

  • скорость обнаружения, разрешения и закрытия ошибок командой за определенный период

  • количество приоритетных ошибок за определенный период

  • текущее количество активных ошибок, назначенных каждому из участников команды

    Примечание

    Доступ к панелям мониторинга осуществляется на портале командного проекта.Доступ к панели мониторинга "Ошибки" возможен только в том случае, если этот портал работает и подготовлен к работе с использованием SharePoint Server Enterprise Edition.Дополнительные сведения см. в разделе Панели мониторинга (CMMI).

В этом разделе

  • Данные, отображаемые на панели мониторинга

  • Действия, необходимые для отслеживания ошибок

  • Отслеживание активных ошибок и тенденций ошибок

Эту панель мониторинга можно использовать для ответа на следующие вопросы.

  • Насколько быстро команда устраняет и закрывает ошибки?

  • Достаточно ли быстро команда исправляет ошибки, чтобы вовремя завершить работу?

  • Сколько ошибок вносится в отчет, разрешается и закрывается за один день?

  • Устраняет ли команда ошибки с приоритетом 1 перед устранением ошибок с приоритетом 2 и 3?

  • Осталась ли у какого-либо из членов команды невыполненная работа по ошибкам с приоритетом 1, которые служат основанием для перераспределения?

  • В каком состоянии находится вчерашнее построение?

  • Что входило в число последних возвратов?

Необходимые разрешения

Для просмотра панели мониторинга необходимо быть членом группы, имеющей разрешение Чтение в Продукты SharePoint для командного проекта. Для изменения, копирования или настройки панели мониторинга необходимо иметь разрешение или принадлежать к группе, имеющей разрешения Члены в Продукты SharePoint для командного проекта. Дополнительные сведения см. в разделе Добавление пользователей в командные проекты.

Для изменения отчета в Office Excel необходимо быть участником с ролью безопасности TfsWarehouseDataReaders служб аналитики SQL Server. Кроме того, необходимо иметь разрешение или быть членом группы, имеющей разрешение Члены в Продукты SharePoint для командного проекта. Дополнительные сведения см. в разделе Предоставление доступа к базам данных хранилища данных для Visual Studio ALM.

Для просмотра ошибки или рабочего элемента иного типа необходимо быть членом группы Читатели или иметь разрешение Просмотр рабочих элементов на этом узле со значением Разрешить. Для создания или изменения ошибки или рабочего элемента иного типа необходимо быть членом группы Участники или иметь разрешение Изменить рабочие элементы на этом узле со значением Разрешить.

Данные, отображаемые на панели мониторинга

С помощью панели мониторинга "Ошибки" можно определить, насколько хорошо команда справляется с обнаружением, разрешением и закрытием ошибок. В частности, данная панель мониторинга отображает веб-части, показанные на рисунке и описанные в таблице ниже.

Панель мониторинга "Ошибки"

Примечание

Графики хода выполнения, трендов, линейчатые диаграммы и отчеты c Шаг 1 по Шаг 4 не отображаются, когда недоступен сервер, на котором расположены службы аналитики для командного проекта.

Дополнительные сведения о толковании, обновлении и настройке графиков, отображаемых на панели мониторинга "Ошибки", см. в разделах, перечисленных в таблице ниже.

Веб-часть

Отображаемые данные

Связанный раздел

Шаг 1

Визуальное представление совокупного количества всех ошибок за последние четыре недели. Группировка ошибок осуществляется по состоянию.

Отчет Excel "Ход исправления ошибок"

Отчет "Ход исправления ошибок" в формате Excel

Шаг 2

График, на котором отображается скользящее среднее значение количества ошибок, открытых, разрешенных и закрытых группой в течение последних четырех недель. Скользящее среднее базируется на периоде семи дней, предшествующих дате подсчета.

Отчет о тенденциях ошибок

Отчет "Тенденции ошибок" в формате Excel

Шаг 3

Визуальное представление совокупного количества всех ошибок, сгруппированных по приоритету, за последние четыре недели.

Диаграмма ошибок по приоритету

Отчет "Ошибки по приоритету" в формате Excel

Шаг 4

Горизонтальная линейчатая диаграмма с отображением совокупного количества активных ошибок, назначенных каждому участнику команды в текущий момент. Группировка ошибок осуществляется по приоритету.

Диаграмма ошибок по назначению

Отчет "Ошибки по назначению" в формате Excel

Шаг 5

Список активных ошибок. Этот список является производным от веб-части Team Web Access.

Отчет о тенденциях ошибок

Неприменимо

Шаг 6

Список предстоящих событий. Этот список является производным от веб-части SharePoint.

Веб-часть важных событий

Неприменимо

Шаг 7

Количество активных, разрешенных и закрытых рабочих элементов. Можно открыть список рабочих элементов путем выбора каждого номера. Этот список является производным от веб-части Team Web Access.

Рабочие элементы проекта

Типы и рабочий процесс рабочего элемента шаблона процесса CMMI

Шаг 8

Список последних построений и их состояний. Для просмотра дополнительных сведений выберите конкретную сборку. Этот список является производным от веб-части Team Web Access.

Веб-часть последних построений

Условные обозначения:

Идет выполнение построения: Сборка не начата

Построение не началось: Выполняется сборка

Построение успешно завершено: Сборка успешно завершена

Ошибка построения: Ошибка сборки

Построение остановлено: Сборка остановлена

Построение выполнено частично: Сборка частично успешно выполнена

Managing and Reporting on Builds

9

Список последних возвратов. Для просмотра дополнительных сведений выберите конкретный возврат. Этот список является производным от веб-части Team Web Access.

Веб-часть недавних возвратов

Разработка кода и управление ожидающими изменениями

Действия, необходимые для отслеживания ошибок

Для обеспечения точности и актуальности отчетов, отображаемых на панели мониторинга "Ошибки", команда должна выполнить следующие действия.

  • Определить ошибки, а также указать их пути Итерации и Области.

  • Назначить каждую ошибку тому участнику команды, который работает над ее разрешением и закрытием.

  • Указать Приоритет каждой ошибки.

  • Обновлять Состояние каждой ошибки по мере ее исправления, проверки и закрытия.

Отслеживание активных ошибок и тенденций ошибок

Члены команды могут использовать панель мониторинга "Ошибки" для определения того, насколько работа с перечнем активных ошибок соответствует заданным целям команды и гибким методам работы. При помощи модульного тестирования каждого фрагмента кода перед возвратом команда может снизить общее количество ошибок, которое она должна найти. Команда, нацеленная на отправку каждого фрагмента кода, последовательно устраняет дефекты и снижает количество накапливаемых ошибок.

При помощи панели мониторинга "Ошибки" команда может находить ответы на следующие вопросы:

  • Приемлемо ли количество активных ошибок для заявленных целей команды? Не переносит ли команда решение большого количества ошибок на более поздний срок?

  • Соответствует ли скорость обнаружения, исправления и закрытия ошибок командой ожиданиям и предыдущим циклам разработки?

  • Работает ли команда над устранением ошибок с высоким приоритетом перед устранением ошибок с более низким приоритетом?

  • Требуется ли кому-либо из членов команды помощь в устранении ошибок?

Индикаторы хода исправления ошибок

Индикатор

Вопросы, которые следует задать

Диапазон активных ошибок расширяется. Если диапазон активных ошибок команды расширяется, возрастает объем невыполненной работы с ошибками. Команда обнаруживает больше ошибок, чем она может разрешить или закрыть.

Расширение диапазона активных ошибок может быть признаком того, что существует определенный фактор, замедляющий работу команды по разрешению и закрытию ошибок.

  • Не перебрасываются ли участники команды на другие, менее приоритетные задания?

  • Существуют ли другие факторы, снижающие способности команды по разрешению и устранению ошибок?

Количество активных ошибок не меняется. Неизменность количества активных ошибок свидетельствует о том, что команда не обнаруживает ошибок.

  • Охватывают ли тесты достаточный объем работ?

  • Существуют ли другие факторы, снижающие способности команды по обнаружению ошибок?

Количество разрешенных и закрытых ошибок не меняется. Если количество ошибок, разрешаемых и закрываемых командой, остается неизменным в течение долгого времени, возможно, участники команды не способны разрешать и закрывать ошибки.

  • Правильно ли установлены приоритеты для команды?

  • Не перебрасывается ли большая часть команды на другие задания?

  • Правильно ли отслеживают состояние ошибки участники команды?

Индикаторы тенденций ошибок

Индикатор

Вопросы, которые следует задать

Команда устраняет множество ошибок в каждый период времени. Высокое число разрешенных ошибок, как правило, указывает на высокое качество работы команды.

  • Быстро ли команда закрывает устраненные ошибки? Показатель закрытия должен соответствовать показателю разрешения ошибок.

  • Приемлем ли показатель реактивации ошибок командой?

Команда быстро разрешает ошибки, но не закрывает их. Члены команды, назначенные для проверки исправления ошибок, возможно, недостаточно тесно сотрудничают, либо различные приоритеты не позволяют членам команды закрывать разрешенные ошибки.

  • Возможно, выделены чрезмерные ресурсы для тестирования?

  • Возможно, следует пересмотреть приоритеты тестирования?

    Дополнительные сведения об этих метриках см. в разделе Панель мониторинга "Тест" (CMMI).

Команда находит мало ошибок в каждый период. Проблема обнаружения ошибок может возникать в случае высококачественного продукта или при неэффективном тестировании.

  • Указывают ли метрики покрытия кода, обработки кода или хода тестирования на проблему с кодом или тестированием?

    Дополнительные сведения об этих метриках см. в разделе Панель мониторинга "Качество" (CMMI).

Команда находит приблизительно одинаковое количество ошибок в течение последовательных периодов. Если команда находит одинаковое количество ошибок за неделя за неделей или итерация за итерацией, следует изучить основную причину. В начале цикла тестирования тесты могут быть недостаточно строгими или тщательными, чтобы находить большое количество ошибок. На этапе ранних итераций такая ситуация соответствует ожиданиям. Тем не менее, по мере разработки продукта тесты должны использовать более обширные сценарии и интеграции.

  • Соответствуют ли тесты требованиям, над которыми работает команда?

  • Возможно, тесты устарели или используются в отношении неверной функциональности?

  • Достаточно ли тщательно группа тестирования проводит проверку каждого требования?

    Дополнительные сведения об этих метриках см. в разделе Панель мониторинга "Тест" (CMMI).

Команда находит множество ошибок в каждый период времени. Команда легко может обнаруживать ошибки в сыром коде, в недавно интегрированном коде, при эффективном тестировании или при особых событиях, таких как ошибки "bug bash".

  • Указывают ли метрики покрытия кода, обработки кода или хода тестирования на проблему с кодом или тестированием?

    Дополнительные сведения об этих метриках см. в разделе Панель мониторинга "Качество" (CMMI).

Приоритет и распределение ошибок

Индикатор

Вопросы, которые следует задать

Количество активных ошибок с высоким приоритетом превышает количество активных ошибок с низким приоритетом. Если количество ошибок с высоким приоритетом значительно превышает количество ошибок с низким приоритетом, возможно, команда уделяет повышенное внимание элементам с низким приоритетом.

  • Разрешает ли команда ошибки в установленном порядке приоритетов?

  • Существуют ли другие факторы, снижающие способности команды по разрешению ошибок с высоким приоритетом?

Ошибки назначаются неравномерно. Возможно, команде следует рассмотреть возможность перераспределения объемов работы, если одному или двум участникам команды отводится много ошибок, а остальным участникам команды лишь небольшое их количество.

  • Следует ли команде сбалансировать нагрузку путем перераспределения ошибок?