MicrosoftML (пакет R в Службах машинного обучения SQL Server)MicrosoftML (R package in SQL Server Machine Learning Services)

Применимо к:Applies to: даSQL Server 2016 (13.x);SQL Server 2016 (13.x)yesSQL Server 2016 (13.x);SQL Server 2016 (13.x) и более поздние версииПрименимо к:Applies to: даSQL Server 2016 (13.x);SQL Server 2016 (13.x)yesSQL Server 2016 (13.x);SQL Server 2016 (13.x) and later

MicrosoftML — это пакет R от Майкрософт, предоставляющий высокопроизводительные алгоритмы машинного обучения.MicrosoftML is an R package from Microsoft that provides high-performance machine learning algorithms. Он включает в себя функции для обучения и преобразований, оценки, анализа текста и изображений, а также извлечения компонентов для получения значений из существующих данных.It includes functions for training and transformations, scoring, text and image analysis, and feature extraction for deriving values from existing data. Пакет входит в Службы машинного обучения SQL Server и службы SQL Server 2016 R и поддерживает высокую производительность при работе с большими данными, используя многоядерную обработку и быструю потоковую передачу данных.The package is included in SQL Server Machine Learning Services and SQL Server 2016 R Services and supports high performance on big data, using multicore processing, and fast data streaming. MicrosoftML также включает многочисленные преобразования для обработки текста и изображений.MicrosoftML also includes numerous transformations for text and image processing.

Полная справочная документацияFull reference documentation

Пакет MicrosoftML распространяется в нескольких продуктах Майкрософт, но его использование не зависит от того, получили ли вы его в SQL Server или в другом продукте.The MicrosoftML package is distributed in multiple Microsoft products, but usage is the same whether you get the package in SQL Server or another product. Благодаря сходству функций документация по отдельным функциям RevoScaleR опубликована только в одном разделе в справочнике по R для Microsoft Machine Learning Server.Because the functions are the same, documentation for individual RevoScaleR functions is published to just one location under the R reference for Microsoft Machine Learning Server. Если для конкретных продуктов функции будут действовать иначе, выявленные расхождения будут приведены на странице справки по функциям.Should any product-specific behaviors exist, discrepancies will be noted in the function help page.

Версии и платформыVersions and platforms

Пакет MicrosoftML основан на R 3.4.3 и доступен только при установке одного из следующих продуктов или скачиваемых файлов Майкрософт:The MicrosoftML package is based on R 3.4.3 and available only when you install one of the following Microsoft products or downloads:

Примечание

В SQL Server 2017 полные версии выпусков продуктов доступны только для Windows.Full product release versions are Windows-only in SQL Server 2017. В SQL Server 2019 библиотека MicrosoftML поддерживает Windows и Linux.Both Windows and Linux are supported for MicrosoftML in SQL Server 2019.

Зависимости пакетовPackage dependencies

Алгоритмы в MicrosoftML используют RevoScaleR для следующего.Algorithms in MicrosoftML depend on RevoScaleR for:

  • Объекты источников данных.Data source objects. Данные, потребляемые функциями MicrosoftML, создаются с помощью функций RevoScaleR.Data consumed by MicrosoftML functions are created using RevoScaleR functions.
  • Удаленное вычисление (перенос выполнения функций в удаленный экземпляр SQL Server).Remote computing (shifting function execution to a remote SQL Server instance). Пакет RevoScaleR предоставляет функции для создания и активации контекста удаленных вычислений для SQL Server.The RevoScaleR package provides functions for creating and activating a remote compute context for SQL server.

В большинстве случаев при использовании MicrosoftML пакеты будут загружаться вместе.In most cases, you will load the packages together whenever you are using MicrosoftML.

Функции по категориямFunctions by category

Чтобы можно было понять, как использовать каждую функцию, в этом разделе приводится описание функций по категориям.This section lists the functions by category to give you an idea of how each one is used. Для поиска функций в алфавитном порядке можно воспользоваться оглавлением.You can also use the table of contents to find functions in alphabetical order.

1. Алгоритмы машинного обучения1-Machine learning algorithms

Имя функцииFunction name ОписаниеDescription
rxFastTreesrxFastTrees Реализация FastRank, дающая эффективную реализацию алгоритма градиентного бустинга MART.An implementation of FastRank, an efficient implementation of the MART gradient boosting algorithm.
rxFastForestrxFastForest Реализация случайного леса и леса регрессии квантилей с помощью rxFastTrees.A random forest and Quantile regression forest implementation using rxFastTrees.
rxLogisticRegressionrxLogisticRegression Логистическая регрессия с использованием L-BFGS.Logistic regression using L-BFGS.
rxOneClassSvmrxOneClassSvm Одноклассовый метод опорных векторов.One class support vector machines.
rxNeuralNetrxNeuralNet Алгоритм бинарной нейронной сети с несколькими классами и регрессией.Binary, multi-class, and regression neural net.
rxFastLinearrxFastLinear Метод стохастической оптимизации с двойными координатами для линейной двоичной классификации и регрессии.Stochastic dual coordinate ascent optimization for linear binary classification and regression.
rxEnsemblerxEnsemble Проводите обучение нескольких моделей различных типов, чтобы получить лучшую прогнозную производительность, чем можно получить из одной модели.Trains a number of models of various kinds to obtain better predictive performance than could be obtained from a single model.

2. Функции преобразования2-Transformation functions

Имя функцииFunction name ОписаниеDescription
concatconcat Преобразование для создания одного столбца с векторным значением из нескольких столбцов.Transformation to create a single vector-valued column from multiple columns.
categoricalcategorical Создание вектора индикатора с помощью преобразования категорий с использованием словаря.Create indicator vector using categorical transform with dictionary.
categoricalHashcategoricalHash Преобразует значение категории в массив индикаторов с помощью хэширования.Converts the categorical value into an indicator array by hashing.
featurizeTextfeaturizeText Формирует набор счетчиков последовательных слов, называемых n-граммами, из заданной совокупности текста.Produces a bag of counts of sequences of consecutive words, called n-grams, from a given corpus of text. Обеспечивает определение языка, разметку, удаление стоп-слов, нормализацию текста и создание компонентов.It offers language detection, tokenization, stopwords removing, text normalization, and feature generation.
getSentimentgetSentiment Оценивает текст на естественном языке и создает столбец, содержащий вероятности, что тональности в тексте положительны.Scores natural language text and creates a column that contains probabilities that the sentiments in the text are positive.
ngramngram Позволяет определять аргументы для извлечения компонентов на основе подсчета и хэширования.allows defining arguments for count-based and hash-based feature extraction.
selectColumnsselectColumns Выбирает набор столбцов для повторного обучения, удаляя все остальные.Selects a set of columns to retrain, dropping all others.
selectFeaturesselectFeatures Выбирает компоненты из указанных переменных в указанном режиме.Selects features from the specified variables using a specified mode.
loadImageloadImage Загружает данные изображения.Loads image data.
resizeImageresizeImage Изменяет размер изображения до указанного с помощью заданного метода изменения размера.Resizes an image to a specified dimension using a specified resizing method.
extractPixelsextractPixels Извлекает значения пикселей из изображения.Extracts the pixel values from an image.
featurizeImagefeaturizeImage Делит изображение на компоненты, используя предварительно обученную модель глубокой нейронной сети.Featurizes an image using a pre-trained deep neural network model.

3. Функции оценки и обучения3-Scoring and training functions

Имя функцииFunction name ОписаниеDescription
rxPredict.mlModelrxPredict.mlModel Запускает библиотеку оценки либо из SQL Server с помощью хранимой процедуры либо из кода R, обеспечивая оценку в реальном времени, чтобы повысить скорость прогнозирования.Runs the scoring library either from SQL Server, using the stored procedure, or from R code enabling real-time scoring to provide much faster prediction performance.
rxFeaturizerxFeaturize Преобразует данные из набора входных данных в набор выходных данных.Transforms data from an input data set to an output data set.
mlModelmlModel Создает сводку по модели машинного обучения Microsoft R.Provides a summary of a Microsoft R Machine Learning model.

4. Функции потери для классификации и регрессии4-Loss functions for classification and regression

Имя функцииFunction name ОписаниеDescription
expLossexpLoss Спецификации функции экспоненциальной потери для классификации.Specifications for exponential classification loss function.
logLosslogLoss Спецификации функции логарифмической потери для классификации.Specifications for log classification loss function.
hingeLosshingeLoss Спецификации функции зависимой потери для классификации.Specifications for hinge classification loss function.
smoothHingeLosssmoothHingeLoss Спецификации функции сглаженной зависимой потери для классификации.Specifications for smooth hinge classification loss function.
poissonLosspoissonLoss Спецификации функции потери для регрессии Пуассона.Specifications for poisson regression loss function.
squaredLosssquaredLoss Спецификации функции потери для квадратичной регрессии.Specifications for squared regression loss function.

5. Функции выбора компонентов5-Feature selection functions

Имя функцииFunction name ОписаниеDescription
minCountminCount Спецификация выбора компонентов в режиме подсчета.Specification for feature selection in count mode.
mutualInformationmutualInformation Спецификация выбора компонентов в режиме взаимной информации.Specification for feature selection in mutual information mode.

6. Ансамблейные функции моделирования6-Ensemble modeling functions

Имя функцииFunction name ОписаниеDescription
fastTreesfastTrees Создает список, содержащий имя функции и аргументы, для обучения модели быстрого дерева с rxEnsemble.Creates a list containing the function name and arguments to train a Fast Tree model with rxEnsemble.
fastForestfastForest Создает список, содержащий имя функции и аргументы, для обучения модели быстрого леса с rxEnsemble.Creates a list containing the function name and arguments to train a Fast Forest model with rxEnsemble.
fastLinearfastLinear Создает список, содержащий имя функции и аргументы, для обучения быстрой линейной модели с rxEnsemble.Creates a list containing the function name and arguments to train a Fast Linear model with rxEnsemble.
logisticRegressionlogisticRegression Создает список, содержащий имя функции и аргументы, для обучения модели логистической регрессии с rxEnsemble.Creates a list containing the function name and arguments to train a Logistic Regression model with rxEnsemble.
oneClassSvmoneClassSvm Создает список, содержащий имя функции и аргументы, для обучения модели OneClassSvm с rxEnsemble.Creates a list containing the function name and arguments to train a OneClassSvm model with rxEnsemble.

7. Функции нейронных сетей7-Neural networking functions

Имя функцииFunction name ОписаниеDescription
optimizeroptimizer Задает алгоритмы оптимизации для алгоритма машинного обучения rxNeuralNetSpecifies optimization algorithms for the rxNeuralNet machine learning algorithm.

8. Функции состояния пакета8-Package state functions

Имя функцииFunction name ОписаниеDescription
rxHashEnvrxHashEnv Объект среды, используемый для хранения состояния всего пакета.An environment object used to store package-wide state.

Как использовать MicrosoftMLHow to use MicrosoftML

Функции в MicrosoftML вызываются в коде R, инкапсулированном в хранимые процедуры.Functions in MicrosoftML are callable in R code encapsulated in stored procedures. Большинство разработчиков создают решения MicrosoftML локально, а затем переносят готовый код R в хранимые процедуры, отрабатывая, таким образом, процедуру развертывания.Most developers build MicrosoftML solutions locally, and then migrate finished R code to stored procedures as a deployment exercise.

Пакет MicrosoftML для R устанавливается как встроенный в SQL Server 2017.The MicrosoftML package for R is installed "out-of-the-box" in SQL Server 2017. Его также можно использовать с SQL Server 2016, если обновить компоненты R для экземпляра. Обновление экземпляра SQL Server с помощью привязкиIt is also available for use with SQL Server 2016 if you upgrade the R components for the instance: Upgrade an instance of SQL Server using binding

Пакет не загружается по умолчанию.The package is not loaded by default. В качестве первого шага загрузите пакет MicrosoftML, а затем загрузите RevoScaleR, если необходимо использовать удаленные контексты вычислений либо связанные объекты подключения и источники данных.As a first step, load the MicrosoftML package, and then load RevoScaleR if you need to use remote compute contexts or related connectivity or data source objects. Затем можно сослаться на нужные вам функции.Then, reference the individual functions you need.

library(microsoftml);
library(RevoScaleR);
logisticRegression(args);

См. также разделSee also