Анализ модели

  • Статья

Важно!

Поддержка Студии машинного обучения (классической) будет прекращена 31 августа 2024 г. До этой даты рекомендуется перейти на Машинное обучение Azure.

Начиная с 1 декабря 2021 года вы не сможете создавать новые ресурсы Студии машинного обучения (классической). Существующие ресурсы Студии машинного обучения (классическая версия) можно будет использовать до 31 августа 2024 г.

Поддержка документации по ML Studio (классической) прекращается, а сама документация может не обновляться в будущем.

Оценивает результаты модели классификации или регрессии со стандартными метриками

Категория: Машинное обучение / Evaluate

Примечание

Область применения: только Машинное обучение Studio (классическая версия)

Подобные модули перетаскивания доступны в конструкторе машинного обучения Azure.

Обзор модуля

В этой статье описывается, как использовать модуль оценки модели в Машинное обучение Studio (классическая модель) для измерения точности обученной модели. Вы предоставляете набор данных, содержащий оценки, сформированные на основе модели, и модуль Оценка модели вычисляет набор метрик оценки, стандартных для отрасли.

Метрики, возвращаемые модулем Оценка модели, зависят от типа оцениваемой модели:

Для моделей рекомендаций используйте модуль Evaluate Recommender .

Совет

Если вы не знакомы с оценкой модели, мы рекомендуем использовать эти примеры в коллекции ИИ Azure, чтобы создать модель, а затем объяснить, как использовать связанные метрики:

Мы также рекомендуем видеосериал доктора Стивена Элстона в рамках курса машинного обучения от EdX.

Как использовать оценку модели

Существует три способа использования модуля оценки модели :

  • Создание оценок по данным для обучения и оценка модели на основе этих оценок
  • Создание оценок для модели, но со сравнением этих оценок с показателями в зарезервированном проверочном наборе
  • Сравнение оценок для двух различных, но связанных моделей с использованием одного набора данных

Использование обучающих данных

Для оценки модели необходимо подключить набор данных, который содержит набор входных столбцов и оценки. Если другие данные недоступны, можно использовать исходный набор данных.

  1. Подключение выходные данные оцененного наборадля модели оценки в входные данные модели оценки.
  2. Нажмите кнопку "Оценить модуль модели" и выберите "Выполнить" , чтобы создать оценки.

Использование проверочных данных

Типичным сценарием в машинном обучении является разделение исходного набора данных на наборы данных для обучения и тестирования с помощью модуля Split или модуля Partition и Sample .

  1. Подключение выходные данные оцененного набора данныхмодели оценки во входные данные оценки модели.
  2. Подключение выходные данные модуля split Data, содержащего тестовые данные в правой части объекта Evaluate Model.
  3. Нажмите кнопку "Оценить модуль модели" и выберите "Выполнить" , чтобы создать оценки.

Сравнение оценок из двух моделей

Вы также можете подключить второй набор оценок для оценки модели. Оценки могут быть общим набором вычислений с известными результатами или набором результатов из другой модели для одних и того же данных.

Эта функция полезна, так как вы можете легко сравнить результаты двух различных моделей по одним и тем же данным. Или вы можете сравнить результаты двух различных выполнений по аналогичным данным с разными параметрами.

  1. Подключение выходные данные оцененного наборадля модели оценки в входные данные модели оценки.
  2. Подключение выходные данные модуля "Оценка модели" для второй модели на правые входные данные оценки модели.
  3. Щелкните правой кнопкой мыши "Оценка модели" и выберите "Выполнить" , чтобы создать оценки.

Результаты

После запуска оценки модели щелкните модуль правой кнопкой мыши и выберите результаты оценки , чтобы просмотреть результаты. Можно сделать следующее:

  • Сохранение результатов в виде набора данных для упрощения анализа с помощью других средств
  • Создание визуализации в классическом интерфейсе Студии

Если вы подключаете наборы данных к обоим входам Оценки модели, результаты будут содержать метрики для обоих наборов данных или обоих моделей. Модель или данные, подключенные к левому порту, сначала представлены в отчете, а затем метрики для набора данных или модели, присоединенной на правом порту.

Например, на следующем рисунке представлено сравнение результатов из двух моделей кластеризации, созданных на основе одних и тех же данных, но с разными параметрами.

AML_Comparing2Models

Поскольку это модель кластеризации, результаты оценки отличаются от результатов при сравнении показателей двух моделей регрессии или сравнении двух моделей классификации. Но общая презентация одинакова.

Метрики

В этом разделе описываются метрики, возвращаемые для конкретных типов моделей, использование которых с Оценкой модели поддерживается:

Метрики моделей классификации

При оценке моделей классификации предоставляются следующие метрики. При сравнении моделей они ранжируются по метрике, выбранной для оценки.

  • Правильность измеряет качество модели классификации как пропорцию истинных результатов к общему числу случаев.

  • Точность — это пропорция истинных результатов ко всем положительным результатам.

  • Полнота — доля всех правильных результатов, возвращенных моделью.

  • Оценка F вычисляется как взвешенное среднее значение точности и полноты. Она может иметь значение от 0 до 1, где идеальным значением является 1.

  • AUC указывает площадь под кривой, построенной в системе, где истинно-положительные результаты откладываются по оси y, а ложноположительные результаты — по оси x. Эта метрика полезна, так как она выражается одним числом, по которому можно сравнивать модели различных типов.

  • Средняя логистическая функция потерь — это единая оценка, используемая для выражения штрафа за неверные результаты. Она рассчитывается как различие между двумя распределениями вероятностей — истинным и распределением в модели.

  • Логистическая функция потерь при обучении — это единая оценка, которая выражает преимущества классификатора по сравнению со случайным прогнозом. Логистическая функция потерь измеряет неопределенность модели, сравнивая выдаваемые вероятности с известными значениями (реальная ситуация) в метках. Необходимо максимально сокращать логистическую функцию потерь для модели в целом.

Метрики моделей регрессии

Метрики, возвращаемые для моделей регрессии, обычно предназначены для оценки количества ошибок. Модель считается соответствующей данным, если разница между наблюдаемыми и прогнозируемыми значениями невелика. Однако рассмотрение закономерностей остатков (разницы между любой прогнозируемой точкой и соответствующим ей фактическим значением) может сообщить о потенциальном смещении в модели.

При оценке моделей регрессии предоставляются следующие метрики. При сравнении моделей они ранжируются по метрике, выбранной для оценки.

  • Отрицательная вероятность журнала измеряет функцию потери, чем ниже оценка, тем лучше. Обратите внимание, что эта метрика вычисляется только для байесовской линейной регрессии и регрессии леса принятия решений; для других алгоритмов это значение означает Infinity ничего.

  • Средняя абсолютная ошибка (MAE) измеряет, насколько предсказания близки к фактическим результатам. Чем ниже этот показатель, тем лучше.

  • Среднеквадратичная ошибка (RMSE) создает одно значение, которое суммирует ошибку в модели. Возводя разницу в квадрат, метрика не учитывает разницу между ошибкой прогноза в большую или меньшую сторону.

  • Относительная абсолютная ошибка (RAE) — это относительная абсолютная разница между ожидаемым и фактическими значениям; относительна она потому, что средняя разница делится на арифметическое среднее значение.

  • Относительная квадратичная ошибка (RSE) аналогичным образом нормализует суммарную квадратичную ошибку прогнозируемых значений путем деления на суммарную квадратичную ошибку реальных значений.

  • Средняя ошибка "Ноль Один" (MZOE) указывает, правильно ли прогноз был правильным или нет. Другими словами: ZeroOneLoss(x,y) = 1 если ; в x!=yпротивном случае 0.

  • Коэффициент определения, часто называемый R2, представляет собой предсказательную силу модели в виде значения от 0 до 1. Ноль означает, что модель является случайной (ничего не объясняет); 1 означает, что она подходит идеально. Но следует соблюдать осторожность при интерпретации значений R2, так как низкие значения могут быть вполне нормальными, а высокие значения — подозрительными.

Метрики для моделей кластеризации

Поскольку модели кластеризации отличаются от моделей классификации и регрессии во многих отношениях, Оценка модели также возвращает другой набор статистических данных для моделей кластеризации.

Статистические данные, возвращаемые для модели кластеризации, описывают, сколько точек данных было назначено каждому кластеру, расстояние между кластерами, а также то, насколько тесно точки данных расположены в каждом кластере.

Статистические данные для модели кластеризации усреднены по всему набору данных, с дополнительными строками, содержащими статистику для каждого кластера.

Например, в следующих результатах показана часть результатов из примера эксперимента, который кластеризает данные в наборе данных двоичной классификации PIMA для индийского диабета, который доступен в Машинное обучение Studio (классическая модель).

Описание результата Среднее расстояние до центра кластеров Среднее расстояние до другого центра Число точек Максимальное расстояние до центра кластера
Объединенная оценка 55.915068 169.897505 538 303.545166
Оценка для кластера No 0 0 1 570 0
Оценка для кластера No 1 0 1 178 0
Оценка для кластера No 2 0 1 178 0

Из этих результатов вы получите следующие сведения:

  • Модуль очистки кластеризации создает несколько моделей кластеризации, перечисленных в порядке точности. Для простоты здесь показана только наиболее ранжируемая модель. Модели измеряются с помощью всех возможных метрик, но модели ранжируются с помощью указанной метрики. Если вы изменили метрику, то другая модель может быть ранжирована выше.

  • Совокупная оценка оценки в верхней части каждого раздела результатов содержит средние оценки для кластеров, созданных в этой конкретной модели.

    Эта модель верхнего ранжирована для создания трех кластеров; Другие модели могут создавать два кластера или четыре кластера. Таким образом, эта объединенная оценка оценки помогает сравнивать модели с разными числами кластеров.

  • Оценки в столбце Среднее расстояние до центра кластера представляют близость всех точек в кластере к центроиду этого кластера.

  • Оценки в столбце Среднее расстояние до другого центра показывают, насколько близко в среднем каждая точка в кластере находится к центроидам всех остальных кластеров.

    Вы можете выбрать одну из четырех метрик для измерения этого расстояния, но все измерения должны использовать одну и ту же метрику.

  • В столбце Число точек показано, сколько точек данных было назначено каждому кластеру вместе с общим количеством точек данных во всех кластерах.

    Если количество точек данных, назначенных кластерам, меньше общего количества доступных точек данных, это означает, что какие-то точки данных не могут быть назначены кластеру.

  • Оценки в столбце " Максимальное расстояние до центра кластера" представляют сумму расстояний между каждой точкой и центроидом кластера этой точки.

    Если это значение велико, это может означать, что кластер широко распределен. Эту статистику следует просмотреть вместе со средним расстоянием до центра кластеров , чтобы определить распределение кластера.

Примеры

Примеры создания, визуализации и интерпретации метрик оценки см. в этих примерах экспериментов в коллекции ИИ Azure. Эти эксперименты демонстрируют, как создать несколько моделей и использовать модель оценки для определения наиболее подходящей модели.

Ожидаемые входные данные

Имя Тип Описание
Оцененный набор данных Таблица данных Оцененный набор данных
Оцененный набор данных для сравнения Таблица данных Оцененный набор данных для сравнения (необязательно)

Выходные данные

Имя Тип Описание
Результаты оценки Таблица данных Результат оценки данных

Исключения

Исключение Описание
Ошибка 0003 Исключение возникает, если один или несколько входных аргументов имеют значение NULL или пусты.
Ошибка 0013 Исключение возникает, если модулю передан обучаемый недопустимого типа.
Ошибка 0020 Исключение возникает, если количество столбцов в некоторых наборах данных, переданных модулю, слишком мало.
Ошибка 0021 Исключение возникает, если количество строк в некоторых наборах данных, переданных модулю, слишком мало.
Ошибка 0024 Исключение возникает, если набор данных не содержит столбец метки.
Ошибка 0025 Исключение возникает, если набор данных не содержит столбец оценки.

См. также раздел

Модель перекрестной проверки
Оценка рекомендателя
Вычислить
Оценка модели