Аналитика тестов

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019

Отслеживание качества теста с течением времени и улучшение тестового обеспечения является ключом к поддержанию работоспособного конвейера DevOps. Аналитика тестирования обеспечивает почти реальное время видимость тестовых данных для сборок и выпусков. Это помогает повысить эффективность конвейера, определяя повторяющиеся проблемы с качеством влияния.

Примечание.

Аналитика тестирования в настоящее время доступна только в Azure Pipelines.

Ознакомьтесь с глоссарием, чтобы понять терминологию тестовых отчетов.

При необходимости установите расширение Analytics

Дополнительные сведения см . в расширении Analytics Marketplace.

Просмотр тестовой аналитики для сборок

Чтобы помочь командам найти и исправить тесты, которые часто или периодически завершаются сбоем, используйте лучший отчет о неудачных тестах . Сводка по сборке содержит страницу аналитики , в которую размещается этот отчет. Представление верхнего уровня содержит сводку по частоте прохождения теста и результатам выбранного конвейера сборки в течение указанного периода. Диапазон по умолчанию — 14 дней.

Просмотр тестовой аналитики для выпусков

Для тестов, выполняемых в рамках выпуска, доступ к тестовой аналитике из ссылки "Аналитика " в правом верхнем углу. Как и при сборке, сводка предоставляет агрегированное представление скорости прохождения теста и результатов за указанный период.

Сбои при тестировании

Откройте сводку по сборке или выпуску, чтобы просмотреть лучший отчет о неудачных тестах. Этот отчет предоставляет детализированное представление основных неудачных тестов в конвейере, а также сведения о сбое.

Подробное представление содержит два раздела:

• Сводка. Предоставляет ключевые количественные метрики для тестов, выполняемых в сборке или выпуске за указанный период. В представлении по умолчанию отображаются данные в течение 14 дней.

  • Скорость передачи и результаты: показывает процент прохода, а также распределение тестов по различным результатам.

    

  • Неудачные тесты: предоставляет определенное количество тестов, которые завершились сбоем в течение указанного периода. В предыдущем примере 986 тестов произошли из 124 тестов.

    

  • Представление диаграммы: тенденция общих сбоев теста и средняя скорость передачи в каждый день указанного периода.

    

• Результаты: список самых неудачных тестов на основе общего количества сбоев. Помогает определить проблемные тесты и детализировать подробные сводки результатов.

  

Сбои группового теста

Представление отчета можно упорядочить различными способами с помощью группы по параметру. Сгруппирование результатов теста может предоставить подробные сведения о различных аспектах основных неудачных тестов. В следующем примере результаты теста группируются на основе файлов тестов, к которому они относятся. В нем показаны тестовые файлы и их соответствующие вклады в общую сумму сбоев тестов в течение указанного периода, которые помогут вам легко определить и определить приоритеты дальнейших шагов. Кроме того, для каждого тестового файла отображаются тесты, которые способствуют этим сбоям.

Детализация до отдельных тестов

После идентификации одного или нескольких тестов в разделе "Сведения" выберите отдельный тест, который необходимо проанализировать. Это действие предоставляет представление детализации выбранного теста с накоплением различных результатов, таких как переданные или неудачные экземпляры теста, в течение каждого дня в указанный период. Это представление помогает определить скрытые шаблоны и выполнить соответствующие действия.

В соответствующем представлении сетки перечислены все экземпляры выполнения выбранного теста в течение этого периода.

Анализ сбоев

Чтобы выполнить анализ сбоев для первопричин, выберите один или несколько экземпляров тестового выполнения в представлении детализации, чтобы просмотреть сведения о сбоях в контексте.

Вывод скрытых шаблонов

При просмотре тестовых сбоев для одного экземпляра выполнения часто сложно определить любой шаблон. В следующем примере тестовые сбои произошли в течение определенного периода, что помогает сузить область исследования.

Еще одним примером являются тесты, которые демонстрируют недетерминированное поведение (часто называются пламенными тестами). Просмотр отдельного экземпляра тестового выполнения может не дать никаких значимых сведений о поведении. Однако наблюдение за тенденциями выполнения тестов в течение определенного периода может помочь определить скрытые шаблоны и помочь устранить сбои.

Источник сведений отчета

Источником информации для аналитики тестов является набор опубликованных результатов теста для конвейера сборки или выпуска. Эти результаты начисляются в течение определенного периода времени и формируют основу полнофункциональные аналитические сведения, которые предоставляются для тестирования аналитики.

Справка и поддержка

• См. нашу страницу по устранению неполадок
• Получите советы по Stack Overflow и получите поддержку через Сообщество разработчиков