microsoftml (пакет Python в Службах машинного обучения SQL Server)

  • Статья

Область применения: SQL Server 2017 (14.x) и более поздних версий

microsoftml — это пакет Python от Майкрософт, предоставляющий высокопроизводительные алгоритмы машинного обучения. Он включает в себя функции для обучения и преобразований, оценки, анализа текста и изображений, а также извлечения компонентов для получения значений из существующих данных. Пакет входит в состав Служб машинного обучения SQL Server и поддерживает высокую производительность при работе с большими данными, используя многоядерную обработку и быструю потоковую передачу данных.

Сведения о пакете Информация
Текущая версия: 9,4
Создано на основе: Дистрибутив Anaconda 4.2 для Python 3.7.1
Распространение пакета: Службы машинного обучения SQL Server версии 2017 или 2019.

Как использовать microsoftml

Модуль microsoftml устанавливается в составе служб машинного обучения SQL Server при добавлении Python к вашей установке. Вы получаете полный набор защищаемых пакетов и дистрибутив Python с его модулями и интерпретаторами. Для написания функций, вызывающих скрипты Python в модуле microsoftml, можно использовать любую интегрированную среду разработки Python, однако для выполнения скрипта необходимо иметь компьютер, на котором установлены службы машинного обучения SQL Server с Python.

Модули microsoftml и revoscalepy тесно связаны. Источники данных, используемые в microsoftml, определяются как объекты revoscalepy. Ограничения контекста вычислений в revoscalepy распространяются на microsoftml. То есть для локальных операций доступны все функции, но для переключения на удаленный контекст вычислений требуется RxSpark или RxInSQLServer.

Версии и платформы

Модуль microsoftml доступен только при установке одного из следующих продуктов или скачиваемых файлов Майкрософт:

Примечание.

В SQL Server 2017 полные версии выпусков продуктов доступны только для Windows. В SQL Server 2019 библиотека microsoftml поддерживает Windows и Linux.

Зависимости пакетов

Алгоритмы в microsoftml используют revoscalepy для следующего:

  • Объекты источников данных: данные, потребляемые функциями microsoftml, создаются с помощью функций revoscalepy.
  • Удаленные вычисления (смена выполнения функции на удаленный экземпляр SQL Server) — пакет revoscalepy предоставляет функции для создания и активации удаленного контекста вычислений для SQL Server.

В большинстве случаев при использовании microsoftml пакеты будут загружаться вместе.

Функции по категориям

Чтобы можно было понять, как использовать каждую функцию, в этом разделе приводится описание функций по категориям. Для поиска функций в алфавитном порядке можно воспользоваться оглавлением.

1. Функции обучения

Function Description
microsoftml.rx_ensemble Обучение ансамбля моделей.
microsoftml.rx_fast_forest Случайный лес.
microsoftml.rx_fast_linear Линейная модель. Метод стохастической оптимизации с двойными координатами.
microsoftml.rx_fast_trees Повышенные деревья.
microsoftml.rx_logistic_regression Логистическая регрессия.
microsoftml.rx_neural_network Нейронная сеть.
microsoftml.rx_oneclass_svm Обнаружение аномалий.

2. Функции преобразования

Обработка категориальных переменных

Function Description
microsoftml.categorical Преобразует текстовый столбец в категории.
microsoftml.categorical_hash Хэширует и преобразует текстовый столбец в категории.

Управление схемой

Function Description
microsoftml.concat Сцепляет несколько столбцов в один вектор.
microsoftml.drop_columns Удаляет столбцы из набора данных.
microsoftml.select_columns Сохраняет столбцы из набора данных.

переменные, выбор

Function Description
microsoftml.count_select Выбор признаков на основе количества.
microsoftml.mutualinformation_select Выбор признаков на основе взаимной информации.

Аналитика текста

Function Description
microsoftml.featurize_text Преобразует текстовые столбцы в числовые признаки.
microsoftml.get_sentiment Анализ тональности.

Аналитика изображений

Function Description
microsoftml.load_image Загружает изображение.
microsoftml.resize_image Изменяет размеры изображения.
microsoftml.extract_pixels Извлекает пиксели из изображения.
microsoftml.featurize_image Преобразует изображение в признаки.

Функции добавления признаков

Function Description
microsoftml.rx_featurize Преобразование данных для источников данных.

Функции оценки

Function Description
microsoftml.rx_predict Производит оценку с помощью модели машинного обучения Майкрософт.

Вызов microsoftml

Функции в microsoftml вызываются в коде Python, инкапсулированном в хранимые процедуры. Большинство разработчиков создают решения microsoftml локально, а затем переносят готовый код Python в хранимые процедуры, отрабатывая, таким образом, процедуру развертывания.

Пакет microsoftml для Python устанавливается по умолчанию, но, в отличие от revoscalepy, он не загружается по умолчанию при запуске сеанса Python с использованием исполняемых файлов Python, устанавливаемых с SQL Server.

В качестве первого шага импортируйте пакет microsoftml, а затем импортируйте revoscalepy, если необходимо использовать удаленные контексты вычисления либо связанные объекты подключения и источники данных. Затем можно сослаться на нужные вам функции.

from microsoftml.modules.logistic_regression.rx_logistic_regression import rx_logistic_regression
from revoscalepy.functions.RxSummary import rx_summary
from revoscalepy.etl.RxImport import rx_import_datasource

См. также