Поделиться через


Выбор алгоритма ML.NET

Для каждой задачи ML.NET существует несколько возможных алгоритмов обучения. Выбор конкретного алгоритма определяется проблемой, которую вы пытаетесь решить, характеристиками данных, а также доступными вам вычислительными ресурсами и ресурсами хранения. Важно отметить, что обучение модели машинного обучения — это итеративный процесс. Может потребоваться попробовать несколько алгоритмов, чтобы определить лучший из них.

Алгоритмы работают на базе признаков. Признаки — это числовые значения, вычисляемые на основе входных данных. Они являются оптимальным входными данными для алгоритмов машинного обучения. Вы преобразовываете необработанные входные данные в признаки, используя одно или несколько преобразований данных. Например, текстовые данные преобразуются в набор из числа слов и числа сочетаний слов. После извлечения признаков из необработанных данных с помощью преобразований данных они считаются определенными признаками. Например, определенные признаки текста или определенные признаки данных изображения.

Обучающий алгоритм = алгоритм + задача

Алгоритм — это математическое описание, используемое для создания модели. Различные алгоритмы дают модели с разными характеристиками.

В ML.NET один алгоритм можно применить к различным задачам. Например, стохастический двойной покоординатный подъем можно использовать для двоичной классификации, многоклассовой классификации и регрессии. Различие заключается в интерпретации выходных данных алгоритма для сопоставления с задачей.

Для каждого сочетания алгоритма и задачи ML.NET предоставляет компонент, который выполняет алгоритм обучения и осуществляет интерпретацию. Такие компоненты называются обучающими алгоритмами. Например, SdcaRegressionTrainer использует алгоритм StochasticDualCoordinatedAscent, применяемый к задаче регрессии.

Линейные алгоритмы

Линейные алгоритмы создают модель, которая вычисляет оценки на базе линейного сочетания входных данных и набора весовых коэффициентов. Весовые коэффициенты — это параметры модели, оцениваемые во время обучения.

Линейные алгоритмы хорошо подходят для признаков, являющихся линейно сепарабельными.

Перед обучением с помощью линейного алгоритма нужно нормализовать признаки. Это не позволяет одному признаку оказывать большее влияние на результат по сравнению с другими признаками.

В общем случае линейные алгоритмы являются масштабируемыми и быстрыми, а также не требуют больших затрат на обучение и прогнозирование. Они масштабируются по количеству признаков и приблизительно по размеру набора данных для обучения.

Линейные алгоритмы делают несколько проходов по данным для обучения. Если набор данных помещается в память, то добавление контрольной точки кэша в конвейер ML.NET перед добавлением обучающего алгоритма ускорит обучение.

Усредненный персептрон

Идеально подходит для классификации текста.

Учебный Задача Экспортируемый в ONNX
AveragedPerceptronTrainer Двоичная классификация Да

Стохастический двойной покоординатный подъем

Не требуется настройка для обеспечения хорошей производительности.

Учебный Задача Экспортируемый в ONNX
SdcaLogisticRegressionBinaryTrainer Двоичная классификация Да
SdcaNonCalibratedBinaryTrainer Двоичная классификация Да
SdcaMaximumEntropyMulticlassTrainer Классификация по нескольким классам Да
SdcaNonCalibratedMulticlassTrainer Классификация по нескольким классам Да
SdcaRegressionTrainer Регрессия Да

L-BFGS

Используется при большом числе признаков. Создает статистику обучения логистической регрессии, но масштабируется не так хорошо, как AveragedPerceptronTrainer.

Учебный Задача Экспортируемый в ONNX
LbfgsLogisticRegressionBinaryTrainer Двоичная классификация Да
LbfgsMaximumEntropyMulticlassTrainer Классификация по нескольким классам Да
LbfgsPoissonRegressionTrainer Регрессия Да

Посимвольный стохастический градиентный спуск

Самый быстрый и точный линейный обучающий алгоритм двоичной классификации. Хорошо масштабируется с учетом числа процессоров.

Учебный Задача Экспортируемый в ONNX
SymbolicSgdLogisticRegressionBinaryTrainer Двоичная классификация Да

Метод градиентного спуска в подключенном режиме

Реализует стандартный (не пакетный) стохастический градиентный спуск с выбором функций потери и возможностью обновлять весовой вектор по среднему значению наблюдаемых векторов.

Учебный Задача Экспортируемый в ONNX
OnlineGradientDescentTrainer Регрессия Да

Алгоритмы дерева принятия решений

Алгоритмы дерева принятия решений создают модель, которая содержит ряд решений: по сути, блок-схему для значений данных.

Для использования этого типа алгоритма не требуются линейно масштабируемые признаки. Кроме того, признаки не нужно нормализовывать, так как отдельные значения в векторе признаков используются независимо в процессе принятия решений.

Алгоритмы дерева принятия решений обычно очень точны.

За исключением обобщенных аддитивных моделей (GAM), модели дерева могут иметь недостаточную объясняемость, когда число признаков велико.

Алгоритмы дерева принятия решений используют больше ресурсов и хуже масштабируются по сравнению с линейными алгоритмами. Они хорошо подходят для наборов данных, помещающихся в память.

Расширенные деревья принятия решений представляют собой ансамбль небольших деревьев, где каждое дерево оценивает входные данные и передает результат следующему дереву для уточнения оценки и т. д., то есть каждое следующее дерево улучшает результат предыдущего.

Машина слабого градиентного бустинга

Самый быстрый и точный из обучающих алгоритмов деревьев двоичной классификации. Широкие возможности настройки.

Учебный Задача Экспортируемый в ONNX
LightGbmBinaryTrainer Двоичная классификация Да
LightGbmMulticlassTrainer Классификация по нескольким классам Да
LightGbmRegressionTrainer Регрессия Да
LightGbmRankingTrainer Рейтинг No

Быстрое дерево

Используется для данных изображения с определенными признаками. Устойчив к несбалансированным данным. Широкие возможности настройки.

Учебный Задача Экспортируемый в ONNX
FastTreeBinaryTrainer Двоичная классификация Да
FastTreeRegressionTrainer Регрессия Да
FastTreeTweedieTrainer Регрессия Да
FastTreeRankingTrainer Рейтинг No

Быстрый лес

Отлично подходит для данных с высоким уровнем шума.

Учебный Задача Экспортируемый в ONNX
FastForestBinaryTrainer Двоичная классификация Да
FastForestRegressionTrainer Регрессия Да

Обобщенная аддитивная модель (GAM)

Лучше всего подходит для задач, с которыми хорошо справляются алгоритмы дерева, если объясняемость имеет высокий приоритет.

Учебный Задача Экспортируемый в ONNX
GamBinaryTrainer Двоичная классификация No
GamRegressionTrainer Регрессия No

Факторизация матрицы

Факторизация матрицы

Используется для совместной фильтрации в рекомендации.

Учебный Задача Экспортируемый в ONNX
MatrixFactorizationTrainer Рекомендация No

Факторизационный метод с полями

Лучше всего подходит для разреженных категориальных данных с большими наборами данных.

Учебный Задача Экспортируемый в ONNX
FieldAwareFactorizationMachineTrainer Двоичная классификация No

Метаалгоритмы

Эти обучающие алгоритмы создают многоклассовый обучающий алгоритм из двоичного. Используется с AveragedPerceptronTrainer, LbfgsLogisticRegressionBinaryTrainer, SymbolicSgdLogisticRegressionBinaryTrainer, LightGbmBinaryTrainer, FastTreeBinaryTrainer, FastForestBinaryTrainer, GamBinaryTrainer.

Один против всех

Этот многоклассовый классификатор обучает один двоичный классификатор для каждого класса, который отличает этот класс от других. Масштабирование ограничено числом классов для классификации.

Учебный Задача Экспортируемый в ONNX
OneVersusAllTrainer Классификация по нескольким классам Да

Попарное соединение

Этот многоклассовый классификатор обучает алгоритм двоичной классификации для каждой пары классов. Масштабирование ограничено числом классов, так как требуется обучение для каждого сочетания из двух классов.

Учебный Задача Экспортируемый в ONNX
PairwiseCouplingTrainer Классификация по нескольким классам No

Метод k-средних

Используется для кластеризации.

Учебный Задача Экспортируемый в ONNX
KMeansTrainer Кластеризация Да

Анализ главных компонентов

Используется для обнаружения аномалий.

Учебный Задача Экспортируемый в ONNX
RandomizedPcaTrainer Обнаружение аномалий No

Упрощенный алгоритм Байеса

Этот алгоритм многоклассовой классификации используется, когда признаки являются независимыми, а набор данных небольшой.

Учебный Задача Экспортируемый в ONNX
NaiveBayesMulticlassTrainer Классификация по нескольким классам Да

Базовый обучающий алгоритм

Этот алгоритм двоичной классификации позволяет задать базовый уровень производительности для других обучающих алгоритмов. Для обеспечения эффективности метрики других обучающих алгоритмов должны быть лучше, чем у базового.

Учебный Задача Экспортируемый в ONNX
PriorTrainer Двоичная классификация Да

Метод опорных векторов

Метод опорных векторов (SVM) — это невероятно популярный и хорошо изученный класс моделей для контролируемого обучения, который можно использовать в линейных и нелинейных задачах классификации.

Последние исследования сосредоточены на способах оптимизации этих моделей для эффективного масштабирования до более крупных наборов обучения.

Линейный метод опорных векторов

Прогнозирует целевое значение с использованием модели линейной двоичной классификации, обученной по двоичным данным с метками. Поочередно применяет этапы стохастического градиентного спуска и проекции.

Учебный Задача Экспортируемый в ONNX
LinearSvmTrainer Двоичная классификация Да

Глубокий локальный метод опорных векторов

Прогнозирует целевое значение с использованием модели нелинейной двоичной классификации. Сокращает затраты времени на получение прогноза. Затраты при увеличении обучающего набора растут не линейно, а логарифмически, с допустимой потерей точности классификации.

Учебный Задача Экспортируемый в ONNX
LdSvmTrainer Двоичная классификация Да

Обычный метод наименьших квадратов

Обычный метод наименьших квадратов является одним из самых распространенных методов линейной регрессии.

Обычные наименьшие квадраты относятся к функции потери, которая вычисляет ошибку в виде суммы квадрата расстояния от фактического значения к прогнозируемой строке и соответствует модели путем минимизации квадратной ошибки. Этот метод предполагает наличие сильной линейной связи между входными данными и зависимой переменной.

Учебный Задача Экспортируемый в ONNX
OlsTrainer Регрессия Да