Регрессия с помощью увеличивающегося дерева принятия решений

Создает модель регрессии с помощью алгоритма повышенного дерева принятия решений.

Категория: машинное обучение/инициализация модели или регрессии

Примечание

Применимо к: машинное обучение Studio (классическая модель)

Это содержимое относится только к Studio (классическая модель). Аналогичные модули перетаскивания были добавлены в конструктор Машинное обучение Azure. Дополнительные сведения см. в статье сравнение двух версий.

Обзор модуля

В этой статье описывается, как использовать модуль регрессии увеличивающегося дерева решений в машинное обучение Azure Studio (классическая модель) для создания ансамблей деревьев регрессии с помощью повышения. Повышение означает, что каждое дерево зависит от предыдущих деревьев. Алгоритм узнает, как подставить остаток к дереву, предшествующему этому. Таким образом, бустинг в наборе деревьев принятия решений обычно обеспечивает повышение точности с небольшим риском снижения покрытия.

Этот метод регрессии является защищенным методом обучения и, следовательно, требует наличия помеченного набора данных. Столбец меток должен содержать числовые значения.

Примечание

Используйте этот модуль только с наборами данных числовых переменных.

Определив модель, обучить ее с помощью модулей « обучение модели » или « Настройка модели ».

Совет

Хотите узнать больше о созданных деревьях? После обучения модели щелкните правой кнопкой мыши выход модуля обучение модели (или настройте модуль параметров модели ) и выберите визуализировать , чтобы увидеть дерево, созданное в каждой итерации. Можно детализировать разбиение по каждому дереву и просмотреть правила для каждого узла.

Дополнительные сведения о повышенных деревьях регрессии

Бустинг — один из нескольких классических методов создания моделей наборов наряду с бэггингом, случайными лесами и т. д. В Машинное обучение Azure Studio (классическая модель) высокоэффективные деревья принятия решений используют эффективную реализацию алгоритма усиления градиента КИОСКа. Градиентный бустинг — это метод машинного обучения для проблем регрессии. Он пошагово создает каждое дерево регрессии, используя стандартную функцию потерь для измерения ошибок в каждом шаге и их исправления в следующем. Таким образом, модель прогнозирования фактически является набором более слабых моделей прогнозирования.

В задачах регрессии повышение производительности создает ряд деревьев на пошаговом уровне, а затем выбирает оптимальное дерево с помощью произвольной функции потери дифферентиабле.

Дополнительную информацию см. в следующих статьях.

Метод градиентного бустинга также можно использовать для проблем классификации, сокращая их до регрессии с помощью подходящей функции потерь. Дополнительные сведения о реализации повышенных деревьев для задач классификации см. в разделе высококлассное высокопроизводительное дерево принятия решений.

Как настроить регрессию с повышенным деревом принятия решений

  1. Добавьте в эксперимент модуль повышенного дерева принятия решений . Этот модуль можно найти в разделе машинное обучение, Инициализация в категории регрессия .

  2. Укажите, как должна быть обучена модель, установив параметр " создать режим инструктора ".

    • Один параметр: Выберите этот параметр, если вы умеете настраивать модель и предоставляете конкретный набор значений в качестве аргументов.

    • Диапазон параметров. Выберите этот параметр, если вы не знаете наилучших параметров и хотите выполнить функцию очистки параметров. Выберите диапазон значений для итерации, а Параметры настройки модели — перебор всех возможных сочетаний указанных параметров, чтобы определить параметры, которые приводят к оптимальным результатам.

  3. Максимальное количество листьев на дерево: указывает максимальное количество узлов терминалов (листья), которые могут быть созданы в любом дереве.

    Увеличив это значение, вы потенциально увеличите размер дерева и повысите точность, но это может привести к возникновению лжевзаимосвязей и более длительному времени обучения.

  4. Минимальное число выборок на конечный узел: Укажите Минимальное число вариантов, необходимых для создания любого узла терминала (конечного) в дереве.

    Увеличив это значение, вы увеличиваете пороговое значение для создания новых правил. Например, при использовании значения по умолчанию 1, даже один случай может привести к созданию нового правила. Если вы увеличите значение до 5, данные для обучения должны содержать не менее 5 случаев, отвечающие тем же условиям.

  5. Скорость обучения: введите число от 0 до 1, определяющее размер шага во время обучения. Скорость обучения определяет, насколько быстро или медленнее выполняется схождение на оптимальном решении. Если размер шага слишком велик, вы можете отклонение оптимальное решение. Если размер шага слишком мал, обучение на лучшее решение занимает больше времени.

  6. Число построенных деревьев: укажите общее число деревьев принятия решений, создаваемых в ансамблей. Создавая больше деревьев принятия решений, вы можете получить более эффективное покрытие, но при этом увеличивается время обучения.

    Это значение также управляет количеством деревьев, отображаемых при визуализации обученной модели. Если вы хотите просмотреть или распечатать дерево ингле, можно установить значение 1; Однако это означает, что создается только одно дерево (дерево с начальным набором параметров) и дальнейшие итерации не выполняются.

  7. Начальное число случайных чисел. Введите необязательное неотрицательное целое число, которое будет использоваться как значение случайного начального значения. Указание начального значения обеспечивает воспроизводимость между запусками с одинаковыми данными и параметрами.

    По умолчанию случайное начальное значение устанавливается в 0, что означает получение начального начального значения из системных часов.

  8. Разрешить неизвестные уровни категорий: Выберите этот параметр, чтобы создать группу для неизвестных значений в обучающих и проверочных наборах. Если отменить выбор этого параметра, то модель может принимать только значения, содержащиеся в обучающих данных. Модель может быть менее точной для известных значений, но она может предоставлять лучшие прогнозы для новых (неизвестных) значений.

  9. Добавьте набор данных для обучения и один из обучающих модулей:

    • Если для параметра создать режим в режиме преподавателя задано значение Single, используйте модуль обучение модели .

    • Если для параметра создать режим инструктора задать значение диапазон параметров, используйте модуль Настройка модели параметры .

    Примечание

    При передаче диапазона параметров для обучения моделииспользуется только первое значение из списка диапазонов параметров.

    Если передать один набор значений параметров в модуль настройки модели Настройка , когда он ожидает диапазон параметров для каждого параметра, он пропускает значения и использует значения по умолчанию для этого.

    Если выбрать параметр диапазон параметров и ввести одно значение для любого параметра, это единственное значение будет использоваться во время очистки, даже если другие параметры меняются в диапазоне значений.

  10. Запустите эксперимент.

Результаты

После завершения обучения:

  • Чтобы просмотреть дерево, созданное при каждой итерации, щелкните правой кнопкой мыши модуль обучение модели и выберите обзрительную модель для визуализации. При использовании параметров настройки моделищелкните правой кнопкой мыши модуль и выберите обученная лучшая модель для визуализации лучшей модели.

    Щелкните каждое дерево, чтобы получить подробные сведения о разбиении и просмотреть правила для каждого узла.

  • Чтобы использовать модель для оценки, подключите ее к модели оценки, чтобы спрогнозировать значения для новых входных примеров.

  • Чтобы сохранить моментальный снимок обученной модели, щелкните правой кнопкой мыши выходные данные обученной модели модуля "обучение" и выберите Сохранить как. Копия обученной модели, которую вы сохраняете, не обновляется при последующих запусках эксперимента.

Примеры

Примеры использования повышенных деревьев в машинном обучении см. в Коллекция решений ии Azure:

  • Оценка спроса: использует регрессию повышенного дерева принятия решений для прогнозирования количества напрокат за определенное время.

  • Анализ тональности в Twitter: использует регрессию для создания прогнозируемой оценки.

Технические примечания

В этом разделе содержатся сведения о реализации, советы и ответы на часто задаваемые вопросы.

Совет

Как правило, деревья принятия решений дают лучшие результаты, если признаки в некоторой степени взаимосвязаны. Если признаки обладают большой степенью энтропии (т. е. не взаимосвязаны), они почти или совсем не имеют общей информации и их упорядочивание в виде дерева не окажет большого влияния на точность прогнозов.

Сведения о реализации

Набор деревьев создается путем вычисления — на каждом этапе — дерева регрессии, которое приближается к градиенту функции потерь, и его добавления в предыдущее дерево с коэффициентами, которые сводят к минимуму потери нового дерева. Выходные данные набора, произведенного MART на базе данного экземпляра, составляют сумму трех вариантов выходных данных.

  • Для проблемы бинарной классификации выходные данные преобразуются в вероятность с помощью некоторой формы калибровки.

  • Для проблем регрессии выходные данные представляют собой спрогнозированное значение функции.

  • Для проблем ранжирования экземпляры упорядочиваются по выходному значению ансамблей.

Параметры модуля

Имя Диапазон Тип По умолчанию Описание
Максимальное количество листьев каждого дерева >= 1 Целочисленный тип 20 Укажите максимальное число листьев каждого дерева
Минимальное число выборок для конечного узла >= 1 Целое число 10 Указать минимальное количество вариантов, необходимых для формирования листового узла
Скорость обучения [double.Epsilon;1,0] Тип с плавающей запятой 0.2 Укажите начальную скорость обучения
Общее число созданных деревьев >= 1 Целочисленный тип 100 Укажите максимальное число деревьев, которое можно создать во время обучения
Начальное значение случайного числа any Целочисленный тип Укажите начальное значение для генератора случайных чисел, используемого моделью. Оставьте пустым, чтобы использовать значение по умолчанию.
Разрешить неизвестные категориальные уровни any Логическое true Если значение — true, создайте дополнительный уровень для каждого столбца категорий. Этот дополнительный уровень сопоставляется уровням проверочного набора данных, недоступным в учебном наборе данных.

Выходные данные

Имя Тип Описание
Необученная модель Интерфейс ILearner Необученная модель регрессии

См. также статью

Список модулей A – Z
Регрессия