Проекты интеллектуального анализа данных

  • Статья

Применимо к: SQL Server 2019 и более ранних версий Analysis Services Azure Analysis Services Fabric/Power BI Premium

Важно!

Интеллектуальный анализ данных не рекомендуется использовать в службах SQL Server 2017 Analysis Services, а в SQL Server 2022 Analysis Services его поддержка прекращена. Документация не обновляется для устаревших и неподдерживаемых функций. Дополнительные сведения см. в статье об обратной совместимости служб Analysis Services.

Проект интеллектуального анализа данных является частью решения SQL Server Analysis Services. Во время проектирования объекты, создаваемые в этом проекте, доступны для тестирования и запросов в составе базы данных рабочей области. Если требуется, чтобы пользователи могли запрашивать или просматривать объекты в проекте, необходимо развернуть проект в экземпляре SQL Server Analysis Services, работающем в многомерном режиме.

В этом разделе содержатся основные сведения о проектах интеллектуального анализа данных, необходимые для создания проектов.

Создание проектов интеллектуального анализа данных

Объекты в проектах интеллектуального анализа данных

Использование завершенного проекта интеллектуального анализа данных

Программный доступ к проектам интеллектуального анализа данных

Создание проектов интеллектуального анализа данных

В SQL Server Data Tools вы создаете проекты интеллектуального анализа данных с помощью шаблона OLAP и проекта интеллектуального анализа данных. Проекты интеллектуального анализа данных также можно создавать программно с помощью объектов AMO. Отдельные объекты интеллектуального анализа данных можно описывать в скриптах на языке ASSL. Дополнительные сведения см. в статье Доступ к данным многомерной модели (службы Analysis Services — многомерные данные).

При создании проекта интеллектуального анализа данных в существующем решении объекты интеллектуального анализа данных по умолчанию будут развернуты в базе данных SQL Server Analysis Services с тем же именем, что и файл решения. Изменить это имя и целевой сервер можно в диалоговом окне Свойства проекта . Дополнительные сведения см. в статье Настройка свойств проекта служб Analysis Services (SSDT).

Предупреждение

Для успешной сборки и развертывания проекта необходимо иметь доступ к экземпляру SQL Server Analysis Services, работающему в режиме OLAP или интеллектуального анализа данных. Нельзя разрабатывать или развертывать решения интеллектуального анализа данных на экземпляре SQL Server Analysis Services, поддерживающем табличные модели, а также нельзя использовать данные непосредственно из книги Power Pivot или из табличной модели, использующего хранилище данных в памяти. Чтобы определить, может ли экземпляр SQL Server Analysis Services поддерживать интеллектуальный анализ данных, см. статью Определение режима сервера экземпляра служб Analysis Services.

Для каждого создаваемого проекта интеллектуального анализа данных выполняются следующие действия.

  1. Выберите источник данных. Источником может быть куб, база данных, файл Excel или текстовый файл, содержащий необработанные данные, которые будут использоваться для построения моделей.

  2. Определите в источнике подмножество данных, используемое для анализа, и сохраните его в виде представления источников данных.

  3. Определите структуру интеллектуального анализа данных для поддержки моделирования.

  4. Добавьте в эту структуру модели интеллектуального анализа данных , выбрав алгоритм и указав порядок обработки данных алгоритмом.

  5. Проведите обучение моделей, заполнив их выбранными данными или отфильтрованным подмножеством данных.

  6. Просматривайте, тестируйте и перестраивайте модели.

После завершения проекта можно развернуть его, чтобы пользователи смогли просматривать проект и создавать к нему запрос. Также можно предоставить программный доступ к моделям интеллектуального анализа данных в приложении для поддержки прогнозов и анализа.

Объекты в проектах интеллектуального анализа данных

Каждый проект интеллектуального анализа данных содержит объекты следующих четырех типов. Возможно наличие нескольких объектов каждого типа.

  • Источники данных

  • Представления источников данных

  • Структуры интеллектуального анализа данных

  • Модели интеллектуального анализа данных

Например, один проект интеллектуального анализа данных может содержать ссылки на несколько источников данных, каждый из которых поддерживает несколько представлений. В свою очередь, каждое представление источника данных может поддерживать несколько структур интеллектуального анализа данных, а с каждой структурой может быть связано множество моделей интеллектуального анализа данных.

Кроме того, в проект могут входить подключаемые алгоритмы, пользовательские сборки или пользовательские хранимые процедуры. Такие объекты здесь не описываются. Дополнительные сведения см. в разделе Документация для разработчика служб Analysis Services.

обозревателе решений

Источник данных определяет сведения о строка подключения и проверке подлинности, которые сервер SQL Server Analysis Services будет использовать для подключения к источнику данных. Источник данных может содержать несколько таблиц или представлений. Он может быть простым, как отдельная книга Excel или текстовый файл, или сложным, как база данных OLAP или крупная реляционная база данных.

Один проект интеллектуального анализа данных может ссылаться на несколько источников данных. В одной модели интеллектуального анализа данных в каждый момент времени может использоваться только один источник данных, но в проект могут входить несколько моделей, основанных на разных источниках.

SQL Server Analysis Services поддерживает данные от многих внешних поставщиков, а интеллектуальный анализ данных SQL Server может использовать как реляционные данные, так и данные куба в качестве источника данных. Однако при разработке обоих типов проектов-моделей на основе реляционных источников и моделей на основе кубов OLAP вы можете разрабатывать и управлять ими в отдельных проектах.

  • Обычно модели, основанные на кубе OLAP, следует разрабатывать в решении по проектированию OLAP. Это обусловлено в том числе тем, что модели, основанные на кубе, должны обрабатывать куб, чтобы обновить данные. В общем случае данные кубов следует использовать, только если кубы служат главным средством хранения данных и доступа к данным либо если необходимы агрегаты, измерения и атрибуты, созданные в многомерном проекте.

  • Если в проекте используются только реляционные данные, то следует создавать реляционные модели в отдельном проекте, чтобы не выполнять излишнюю обработку других объектов. Во многих случаях в промежуточной базе данных или хранилище данных, которое используется для создания кубов, уже содержатся представления, необходимые для интеллектуального анализа данных, и эти представления можно использовать вместо агрегатов и измерений куба.

  • Вы не можете напрямую использовать данные в памяти или Power Pivot для создания моделей интеллектуального анализа данных.

Источник данных определяет только сервер или поставщик и общий тип данных. Чтобы изменить форматирование данных и агрегатные схемы, используйте объект представления источников данных.

Чтобы изменить порядок обработки данных из источника, в представлении источника данных можно добавлять производные столбцы или вычисления, изменять агрегаты и менять имена столбцов в данных. (Также можно работать с данными на более низком уровне, изменяя столбцы структуры интеллектуального анализа данных, или использовать флаги и фильтры модели на уровне столбцов модели.)

Если требуется очистка данных или изменение хранилища данных для создания дополнительных переменных, изменения типов данных или создания альтернативных агрегатов, может понадобиться создать дополнительные типы проекта для поддержки интеллектуального анализа данных. Дополнительные сведения о таких связанных проектах см. в разделе Связанные проекты для решений интеллектуального анализа данных.

Представления источников данных

После определения этого соединения с источником данных создается представление, в котором определяются конкретные данные, относящиеся к модели.

Представление источника данных также позволяет задать способ передачи данных, содержащихся в источнике, в модель интеллектуального анализа данных. Структуру данных можно изменить таким образом, чтобы она лучше подходила для задач проекта, или выбрать только данные определенных типов.

Например, в редакторе представлений источников данных можно выполнять следующие действия.

  • Создавать производные столбцы, например части даты, вложенные строки и т. д.

  • Агрегирование значений с помощью инструкций Transact-SQL, таких как GROUP BY

  • Временно ограничивать данные и создавать образец данных.

Дополнительные сведения об изменении данных в представлении источника данных см. в разделе Представления источников данных в многомерных моделях.

Предупреждение

Отфильтровать данные можно либо в представлении источников данных, либо с помощью фильтров, создаваемых на уровне модели интеллектуального анализа данных. Поскольку определение фильтра хранится в модели интеллектуального анализа данных, использование фильтров модели упрощает определение данных, которые использовались для обучения модели. Более того, можно создать несколько связанных моделей с различными условиями фильтра. Дополнительные сведения см. в разделе Фильтры для моделей интеллектуального анализа данных (службы Analysis Services — интеллектуальный анализ данных).

Заметьте, что создаваемое представление источника данных может содержать дополнительные данные, которые непосредственно не используются в анализе. Например, можно добавить в представление источника данные, используемые для тестирования, прогнозов или детализации. Дополнительные сведения об этом использовании см. в разделах Тестирование и проверка (интеллектуальный анализ данных) и Детализация.

Структуры интеллектуального анализа данных

После создания источника данных и представления источников данных необходимо выбрать столбцы данных, которые лучше всего подходят для описания бизнес-задачи. При этом в проекте создаются структуры интеллектуального анализа данных . Структура интеллектуального анализа данных определяет, какие столбцы данных из представления источников данных будут фактически использоваться для моделирования, обучения и тестирования.

Чтобы добавить новую структуру интеллектуального анализа данных, запустите мастер интеллектуального анализа данных. Мастер автоматически определяет структуру интеллектуального анализа данных, помогает выбрать данные, а также позволяет добавить в структуру начальную модель интеллектуального анализа данных. В структуре интеллектуального анализа данных таблицы и столбцы выбираются из представления источников данных или куба OLAP. Если данные содержат вложенные таблицы, то между таблицами определяются связи.

Вид данных, выбранных в мастере интеллектуального анализа данных, будет сильно различаться в зависимости от используемых источников данных (реляционные или OLAP).

  • Если данные выбираются из реляционного источника данных, то настройка структуры интеллектуального анализа данных проводится просто: столбцы выбираются из данных в представлении источников данных, задаются дополнительные параметры (например, псевдонимы), или определяется порядок группирования или сегментации значений в столбце. Дополнительные сведения см. в статье Создание реляционной структуры интеллектуального анализа данных.

  • Если используются данные из куба OLAP, то структура интеллектуального анализа данных должна находиться в одной базе данных с решением OLAP. Чтобы создать структуру интеллектуального анализа данных, выберите атрибуты из измерений и связанных мер в решении OLAP. Числовые значения обычно находятся в мерах, а категориальные переменные — в измерениях. Дополнительные сведения см. в статье Создание структуры интеллектуального анализа данных OLAP.

  • Для определения структур интеллектуального анализа данных также используются расширения интеллектуального анализа данных. Дополнительные сведения см. в разделе Инструкции определения данных расширений интеллектуального анализа данных.

После создания начальной структуры интеллектуального анализа данных можно копировать и изменять столбцы структуры, а также задавать для них псевдонимы.

Каждая структура интеллектуального анализа данных может содержать несколько моделей интеллектуального анализа данных. Поэтому после завершения работы можно снова открыть структуру интеллектуального анализа данных и добавить в нее дополнительные модели интеллектуального анализа данных, используя конструктор (см. раздел Data Mining Designer ).

Также можно разделить данные на набор данных для обучения, который используется для построения моделей, и набор контрольных данных, который используется для тестирования и проверки моделей интеллектуального анализа данных.

Предупреждение

Некоторые типы моделей, например модель временных рядов, не поддерживают создание наборов контрольных данных, поскольку для обучения им требуется непрерывная последовательность данных. Дополнительные сведения см. в статье Training and Testing Data Sets.

Модели интеллектуального анализа данных

Модель интеллектуального анализа данных определяет алгоритм, то есть метод анализа, который будет применяться к данным. В каждую структуру интеллектуального анализа данных добавляется одна или несколько моделей интеллектуального анализа данных.

В зависимости от задач можно объединить несколько моделей в одном проекте или создать отдельные проекты для каждого типа модели или аналитической задачи.

После создания структуры и моделей выполняется обработка каждой модели. При этом данные из представления источников данных проходят через алгоритм, который создает математическую модель данных. Этот процесс также называется обучением модели. Дополнительные сведения см. в разделе Требования к обработке и рекомендации (интеллектуальный анализ данных).

После обработки становится доступным просмотр модели интеллектуального анализа данных и создание прогнозирующих запросов к ней. Если данные, полученные в процессе обучения, находятся в кэше, то запросы детализации дают возможность получить подробные сведения о вариантах, используемых в модели.

Если нужно использовать модель в рабочей среде (например, для составления прогнозов или для просмотра обычными пользователями), то ее можно развернуть на другом сервере. Если в дальнейшем понадобится повторная обработка модели, вместе с моделью можно экспортировать определение базовой структуры интеллектуального анализа данных (при этом также необходимо определение источника данных и представление источника данных).

Во время развертывания модели также необходимо проверить правильность задания параметров обработки структуры и модели, а также обеспечить наличие у потенциальных пользователей необходимых разрешений на выполнение запросов, просмотр моделей и детализацию данных структуры или модели. Дополнительные сведения см. в статье Общие сведения о безопасности (интеллектуальный анализ данных).

Использование завершенного проекта интеллектуального анализа данных

В этом разделе кратко описаны способы использования завершенного проекта интеллектуального анализа данных. Можно создавать диаграммы точности, просматривать и проверять данные, а также предоставлять пользователям доступ к шаблонам интеллектуального анализа данных.

Предупреждение

Диаграммы, запросы и представления, используемые с моделями интеллектуального анализа данных, не сохраняются в составе проекта интеллектуального анализа данных, и их нельзя развернуть. Чтобы сохранить эти объекты, необходимо сохранить само представляемое в них содержимое или создать скрипт для каждого объекта с соответствующим описанием.

Просмотр и изучение моделей

После создания модели можно использовать визуальные средства и запросы для просмотра закономерностей в модели и изучения базовых закономерностей и статистических данных. На вкладке Средство просмотра моделей интеллектуального анализа данных в Designer интеллектуального анализа данных SQL Server Analysis Services предоставляет средства просмотра для каждого типа модели интеллектуального анализа данных, которые можно использовать для изучения моделей интеллектуального анализа данных.

Эти визуализации являются временными и закрываются без сохранения при выходе из сеанса с SQL Server Analysis Services. Поэтому, если нужно экспортировать эти представления в другое приложение для демонстрации или дополнительного анализа, используйте команды Копировать , доступные на каждой вкладке или в каждой области интерфейса средства просмотра.

Надстройки интеллектуального анализа данных для Excel также содержат шаблон Visio, который можно использовать для представления моделей на диаграмме Visio и затем использовать средства Visio для создания заметок и изменения модели. Дополнительные сведения см. в статье Надстройки интеллектуального анализа данных Microsoft SQL Server 2008 SP2 для Microsoft Office 2007.

Тестирование и проверка моделей

После создания модели можно изучить результаты и решить, какие модели работают лучше всего.

SQL Server Analysis Services предоставляет несколько диаграмм, которые можно использовать для прямого сравнения моделей интеллектуального анализа данных и выбора наиболее точной или полезной модели интеллектуального анализа данных. К таким средствам относятся диаграмма точности прогнозов, диаграмма роста прибыли и матрица классификации. Эти диаграммы можно создавать с помощью вкладки Диаграмма точности интеллектуального анализа в конструкторе интеллектуального анализа данных.

Можно также воспользоваться отчетом перекрестной проверки. Он позволяет выполнить итеративную усредняющую выборку данных, чтобы определить, является ли модель смещенной относительно определенного набора данных. Статистика, представленная в отчете, может использоваться для объективного сравнения моделей и оценки качества обучающих данных.

Заметьте, что эти отчеты и диаграммы не сохраняются ни в проекте, ни в базе данных служб Analysis Services, и поэтому, если нужно сохранить результаты или создать их копии, следует сохранить результаты в файл или описать объекты в скрипте с использованием объектов AMO или расширений интеллектуального анализа данных. Также можно использовать хранимые процедуры для перекрестной проверки.

Дополнительные сведения см. в разделе Тестирование и проверка (интеллектуальный анализ данных).

Создание прогнозов

SQL Server Analysis Services предоставляет язык запросов под названием Расширения интеллектуального анализа данных (DMX), который является основой для создания прогнозов и легко поддерживает скрипты. Для создания запросов прогнозирования расширений интеллектуального анализа данных SQL Server предоставляет построитель запросов, доступный в SQL Server Management Studio. В SQL Server Management Studio также существует множество шаблонов расширений интеллектуального анализа данных для редактора запросов. Если вы не знакомы с прогнозными запросами, рекомендуется использовать построитель запросов, который предоставляется как в Designer интеллектуального анализа данных, так и в SQL Server Management Studio. Дополнительные сведения см. в статье Data Mining Tools.

Прогнозы, создаваемые в SQL Server Data Tools или SQL Server Management Studio, не сохраняются, поэтому, если запросы сложные или вам нужно воспроизвести результаты, рекомендуется сохранять прогнозирующие запросы в файлах запросов расширений интеллектуального анализа данных, создавать скрипты или внедрять запросы как часть пакета служб Integration Services.

Программный доступ к объектам интеллектуального анализа данных

SQL Server Analysis Services предоставляет несколько средств, которые можно использовать для программной работы с проектами интеллектуального анализа данных и объектами в них. Язык расширений интеллектуального анализа данных содержит инструкции, которые используются для создания источников данных и представлений источников данных, а также для создания, обучения и использования структур и моделей интеллектуального анализа данных. Дополнительные сведения см. в разделе Справочник по расширениям интеллектуального анализа данных (DMX).

Эти задачи также можно выполнить с помощью языка ASSL или объектов AMO. Дополнительные сведения см. в разделе Разработка с использованием XMLA в службах Analysis Services.

В следующих разделах описывается создание проекта интеллектуального анализа данных и связанных объектов в мастере интеллектуального анализа данных.

Задания Разделы
Работа со столбцами структуры интеллектуального анализа данных Создание реляционной структуры интеллектуального анализа данных
Дополнительные сведения о добавлении новых моделей интеллектуального анализа данных, обработке структуры и моделей Добавление моделей интеллектуального анализа данных в структуру (службы Analysis Services — интеллектуальный анализ данных)
Ссылки на ресурсы, полезные для настройки алгоритмов, выполняющих построение моделей интеллектуального анализа данных Настройка структуры и моделей интеллектуального анализа данных
Ссылки на сведения о каждом средстве просмотра моделей интеллектуального анализа данных Средства просмотра моделей интеллектуального анализа данных
Сведения о создании диаграммы точности прогнозов, диаграммы роста прибыли или матрицы классификации и сведения о тестировании структуры интеллектуального анализа данных Тестирование и проверка (интеллектуальный анализ данных)
Сведения о параметрах обработки и разрешениях Обработка объектов интеллектуального анализа данных
Дополнительные сведения о службах Analysis Services Базы данных многомерных моделей

См. также:

Конструктора моделей интеллектуального анализа данных
Создание многомерных моделей с помощью SQL Server Data Tools (SSDT)
База данных рабочей области