Аналитика тестов

Azure DevOps Services | Azure DevOps Server 2022 г. - Azure DevOps Server 2019 г.

Отслеживание качества тестирования с течением времени и улучшение тестового обеспечения является ключом к поддержанию работоспособности конвейера DevOps. Аналитика тестов обеспечивает видимость тестовых данных практически в реальном времени для сборок и выпусков. Это помогает повысить эффективность конвейера за счет выявления повторяющихся проблем с высоким качеством воздействия.

Примечание

Аналитика тестов в настоящее время доступна только в Azure Pipelines.

Ознакомьтесь с глоссарием , чтобы понять терминологию тестовых отчетов.

При необходимости установите расширение Analytics

Дополнительные сведения см. в разделе Расширение Analytics Marketplace.

Просмотр тестовой аналитики для сборок

Чтобы помочь командам находить и исправлять тесты, которые часто или периодически завершаются сбоем, используйте отчет об основных неудачных тестах . Сводка сборки включает страницу Аналитика , на котором размещен этот отчет. Представление верхнего уровня содержит сводку по частоте прохождения тестов и результатам для выбранного конвейера сборки за указанный период. Диапазон по умолчанию — 14 дней.

Просмотр тестовой аналитики для выпусков

Для тестов, выполняемых в рамках выпуска, перейдите к аналитике тестов по ссылке Аналитика в правом верхнем углу. Как и в случае со сборкой, сводка предоставляет агрегированное представление о частоте прохождения тестов и результатах за указанный период.

Сбои теста

Откройте сводку по сборке или выпуску, чтобы просмотреть отчет об основных неудачных тестах. В этом отчете представлено подробное представление основных неудачных тестов в конвейере, а также сведения о сбоях.

Подробное представление содержит два раздела:

• Сводка. Предоставляет ключевые количественные метрики для тестов, выполненных в сборке или выпуске за указанный период. В представлении по умолчанию отображаются данные за 14 дней.

  • Частота проходов и результаты. Показывает процент проходов, а также распределение тестов по различным результатам.

    

  • Неудачные тесты. Предоставляет определенное количество тестов, неудачных в течение указанного периода. В приведенном выше примере 986 неудачных тестов произошли из 124 тестов.

    

  • Представление диаграммы: тенденция общего числа неудачных тестов и средней частоты проходов за каждый день указанного периода.

    

• Результаты: список наиболее неудачных тестов на основе общего числа сбоев. Помогает выявлять проблемные тесты и позволяет детализировать подробную сводку результатов.

  

Сбои группового теста

Представление отчета можно упорядочить несколькими способами с помощью параметра группировать по . Группирование результатов тестов позволяет получить подробные сведения о различных аспектах основных неудачных тестов. В приведенном ниже примере результаты теста группируются на основе тестовых файлов , к которому они относятся. В ней показаны тестовые файлы и их вклад в общее количество неудачных попыток тестирования в течение указанного периода, что поможет вам легко определить и определить приоритеты дальнейших шагов. Кроме того, для каждого тестового файла отображаются тесты, которые влияют на эти сбои.

Детализация отдельных тестов

Определив один или несколько тестов в разделе Сведения , выберите отдельный тест, который требуется проанализировать. Это обеспечивает подробное представление выбранного теста с накоплением диаграммы различных результатов, таких как пройденные или неудачные экземпляры теста, за каждый день в указанном периоде. Это представление помогает вывести скрытые шаблоны и выполнить соответствующие действия.

В соответствующем представлении сетки перечислены все экземпляры выполнения выбранного теста за этот период.

Анализ сбоев

Чтобы выполнить анализ сбоев для первопричин, выберите один или несколько экземпляров выполнения теста в представлении детализации, чтобы просмотреть сведения о сбое в контексте.

Вывод скрытых шаблонов

При анализе сбоев теста для одного экземпляра выполнения часто бывает трудно определить какой-либо шаблон. В приведенном ниже примере тестовые сбои произошли в течение определенного периода, и знание этого может помочь сузить область исследования.

Другим примером являются тесты, которые демонстрируют недетерминированное поведение (часто называемые ненадежными тестами). При просмотре отдельного экземпляра тестового выполнения может не дать никакой значимой информации о поведении. Однако наблюдение за тенденциями выполнения тестов в течение определенного периода может помочь определить скрытые шаблоны и устранить сбои.

Источник сведений о отчете

Источником информации для аналитики тестов является набор опубликованных результатов теста для конвейера сборки или выпуска. Эти результаты начисляются в течение определенного периода времени и составляют основу полнофункционалированных аналитических сведений, которые предоставляет аналитика тестов.

Справка и поддержка

• См. нашу страницу по устранению неполадок
• Получите совет по Stack Overflow и получите поддержку через Сообщество разработчиков