Модели интеллектуального анализа данных (службы Analysis Services — интеллектуальный анализ данных)
Модель интеллектуального анализа данных создается путем применения алгоритма к данным, но она представляет из себя нечто большее, нежели просто контейнер алгоритма и метаданных. Она является набором данных, статистики и закономерностей, который может применяться к новым данным для формирования прогнозов и вывода взаимосвязей.
В этом разделе описаны модели интеллектуального анализа данных и возможные варианты их использования: базовая архитектура моделей и структур, свойства моделей интеллектуального анализа данных, способы их создания и применения.
Архитектура модели интеллектуального анализа данных
Определение моделей интеллектуального анализа данных
Свойства модели интеллектуального анализа данных
Столбцы модели интеллектуального анализа данных
Обработка моделей интеллектуального анализа данных
Просмотр и запросы моделей интеллектуального анализа данных
Архитектура модели интеллектуального анализа данных
Модель интеллектуального анализа данных получает данные из структуры интеллектуального анализа данных и анализирует их, применяя алгоритм интеллектуального анализа данных. Структура интеллектуального анализа данных и модель интеллектуального анализа данных являются отдельными объектами. В структуре интеллектуального анализа данных хранятся сведения, определяющие источник данных. Модель интеллектуального анализа данных содержит сведения, полученные по итогам статистической обработки данных, например закономерности, обнаруженные в результате анализа.
Модель интеллектуального анализа данных будет пуста до тех пор, пока не будут обработаны и проанализированы данные, переданные структурой интеллектуального анализа данных. После обработки модель интеллектуального анализа данных содержит метаданные, результаты и привязки к структуре интеллектуального анализа данных.
.gif "модель содержит метаданные, закономерности и привязки")
Метаданные определяют имя модели и сервер, где она хранится, а также определение модели, включая список столбцов из структуры интеллектуального анализа данных, которые использовались для построения модели, определения всех фильтров, применявшихся при обработке модели, и алгоритм, который использовался для анализа данных. Все эти варианты выбора — столбцы и типы данных, фильтры и алгоритм — в значительной степени влияют на результаты анализа.
Например, одни и те же данные можно использовать для создания нескольких моделей, использующих алгоритм кластеризации, алгоритм дерева принятия решений и упрощенный алгоритм Байеса. В каждом из типов моделей создаются различные наборы шаблонов, наборов элементов, правил и формул, которые могут применяться при прогнозировании. Как правило, каждый из алгоритмов анализирует данные по-своему, поэтому содержимое получаемой модели также организуется в различные структуры. В одном из типов моделей данные и шаблоны могут группироваться в кластеры; в модели другого типа данные могут быть упорядочены с помощью деревьев, ветвей и правил, разделяющих и определяющих данные.
Модель также зависит от данных, на которых проводилось ее обучение: даже те модели, обучение которых производилось на одной и той же структуре интеллектуального анализа данных, могут выдавать различные результаты, если во время анализа фильтрация данных выполнялась по-разному или использовались различные начальные значения. Однако фактические данные не хранятся в модели: она содержит только сводную статистическую информацию, а настоящие данные находятся в структуре интеллектуального анализа данных. Если при обучении модели были созданы фильтры данных, то определения фильтров также сохраняются в объекте модели.
Модель содержит набор привязок, указывающих на кэшированные в структуре интеллектуального анализа данные. Если в процессе обработки структуры данные были помещены в кэш и не были удалены из него, то эти привязки позволят выполнять детализацию от результатов к вариантам, образующим несущее множество этих результатов. Фактические данные при этом хранятся в кэше структуры, а не в модели.
[В начало]
Определение моделей интеллектуального анализа данных
Чтобы создать модель интеллектуального анализа данных, выполните следующие действия.
Создайте базовую структуру интеллектуального анализа данных и включите в нее столбцы данных, которые могут потребоваться.
Выберите алгоритм, который наилучшим образом подходит для аналитической задачи.
Выберите из структуры столбцы для использования в модели и укажите, каким образом они должны использоваться: какие столбцы содержат результат (который необходимо прогнозировать), какие — только входные данные и т. п.
Задайте дополнительные параметры для тонкой настройки обработки, проводимой алгоритмом.
Заполните модель данными, выполнив обработку структуры и модели.
Службы Analysis Services предоставляют следующие средства, облегчающие работу с моделями интеллектуального анализа данных.
Мастер интеллектуального анализа данных помогает создать структуру и связанную с ней модель интеллектуального анализа данных. Это самый простой способ. Мастер автоматически создает необходимую структуру интеллектуального анализа данных и помогает настроить важные параметры.
Определение модели можно выполнить с помощью DMX-инструкции CREATE MODEL. В процессе этого автоматически создается необходимая структура. Поэтому данный метод не позволяет повторно использовать существующую структуру. Этот метод следует применять только в том случае, если точно известно, какую модель нужно будет создать, или если необходимо создание скриптов для моделей.
Добавить новую модель интеллектуального анализа данных в существующую структуру можно с помощью DMX-инструкции ALTER STRUCTURE ADD MODEL. Этот метод хорошо подходит для экспериментов с различными моделями, построенными на одном наборе данных.
Модели интеллектуального анализа данных также можно создавать программным образом с помощью объектов AMO или XML для аналитики, а также клиента интеллектуального анализа данных для Excel и других клиентов. Дополнительные сведения см. в следующих разделах:
[В начало]
Свойства модели интеллектуального анализа данных
Каждая модель интеллектуального анализа данных обладает свойствами, которые определяют модель и ее метаданные. В число этих свойств входят имя, описание, дата последней обработки модели, разрешения на модель, а также все фильтры для данных, которые использовались для обучения.
Каждая модель интеллектуального анализа данных также содержит свойства, унаследованные от структуры интеллектуального анализа данных, которые описывают используемые в модели столбцы данных. Если любой из используемых моделью столбцов является вложенной таблицей, то к нему также может применяться отдельный фильтр.
Кроме того, каждая модель интеллектуального анализа данных имеет два специальных свойства: Algorithm и Usage.
Свойство Algorithm определяет алгоритм, используемый для создания модели. Набор доступных алгоритмов зависит от используемого поставщика. Список алгоритмов, реализованных в службах SQL Server Analysis Services, см. в разделе Алгоритмы интеллектуального анализа данных (службы Analysis Services — интеллектуальный анализ данных). Свойство Algorithm относится к модели интеллектуального анализа данных и может быть задано лишь однократно для каждой модели. Можно изменить алгоритм позднее, но некоторые столбцы в модели интеллектуального анализа данных могут стать недопустимыми, если они не поддерживаются выбранным алгоритмом. После изменения свойства модели всегда необходимо выполнять повторную обработку модели.
**Свойство Usage **определяет, какие столбцы будут использованы моделью. Можно определить используемый столбец как Input, Predict, Predict Only или Key. Свойство Usage применяется к отдельным столбцам модели интеллектуального анализа данных и должно задаваться отдельно для каждого столбца, включенного в модель. Если структура содержит столбец, который не используется в модели, то свойству usage задается значение Ignore. В качестве примера данных, которые могут включаться в структуру интеллектуального анализа данных, но не использоваться при анализе, можно привести имена клиентов или адреса электронной почты. В таком случае к ним можно будет выполнять запросы позднее, но не включать их на этапе анализа.
Значения свойств модели интеллектуального анализа данных можно изменить после создания модели. Однако после любого изменения, даже если оно касалось только имени модели интеллектуального анализа данных, необходимо выполнить повторную обработку модели. После повторной обработки модели можно получить другие результаты.
[В начало]
Столбцы модели интеллектуального анализа данных
Модель интеллектуального анализа данных содержит столбцы данных, получаемые из определенных в структуре интеллектуального анализа данных столбцов. Можно выбрать столбцы из структуры интеллектуального анализа данных, используемые в модели, а также создать копии столбцов из структуры интеллектуального анализа данных, переименовать их или изменять способ их использования. В процессе создания модели также необходимо определить способы использования столбцов в модели. Например, столбец может служить ключом, использоваться для прогноза или вообще пропускаться алгоритмом.
При создании модели вместо автоматического добавления всех доступных столбцов данных рекомендуется внимательно проанализировать данные в структуре и включить в модель лишь те столбцы, анализ которых имеет смысл. Например, не следует включать в модель несколько столбцов с идентичными данными, а также использовать столбцы, содержащие по большей части уникальные значения. Если столбец не подходит для использования, его не нужно удалять из структуры или модели интеллектуального анализа данных. Можно просто установить для столбца флаг, указывающий, что столбец должен пропускаться во время построения модели. Это означает, что столбец останется в структуре интеллектуального анализа, но не будет использоваться в модели интеллектуального анализа данных. Если детализация из модели в структуру интеллектуального анализа данных включена, то сведения из столбца можно будет извлечь позднее.
В зависимости от выбранного алгоритма некоторые столбцы в структуре интеллектуального анализа данных могут оказаться несовместимыми с конкретными типами моделей или вызвать ухудшение качества результатов. Например, если данные содержат числовые данные в непрерывном интервале (например, в столбце дохода), а модели требуются дискретные значения, то может потребоваться преобразовать данные в дискретные значения или исключить их из модели. В некоторых случаях алгоритм автоматически преобразует данные или распределяет их по группам, но результаты таких операций могут оказаться непредсказуемыми или нежелательными. Рассмотрите возможность создания дополнительных копий столбца и проверки применимости различных моделей. Также можно задать для отдельных столбцов флаги, указывающие, что требуется особая обработка. Например, если данные содержат пустые значения (NULL), то для управления их обработкой можно воспользоваться флагом модели. Если определенный столбец в модели должен считаться регрессором, то этого можно добиться с помощью флага модели.
После создания модели можно вносить изменения, например добавлять или удалять столбцы или изменять имя модели. Однако после любого изменения, даже если оно касалось только метаданных модели, необходимо выполнить повторную обработку модели.
[В начало]
Обработка моделей интеллектуального анализа данных
Модель интеллектуального анализа данных до обработки представляет собой пустой объект. Во время обработки модели данные, которые были помещены в кэш структурой, передаются через фильтр, если он был определен в модели, и подвергаются анализу в соответствии с заданным алгоритмом. Алгоритм вычисляет набор сводных статистических показателей, описывающих данные, выявляет правила и закономерности в данных, а затем на основе правил и закономерностей производит заполнение модели.
После обработки модель интеллектуального анализа данных содержит ценные сведения о данных и обнаруженных при анализе закономерностях, включая статистические показатели, правила и формулы регрессии. Просмотреть эти сведения можно с помощью пользовательских средств просмотра или создав запросы интеллектуального анализа данных, которые будут извлекать эти сведения и использовать их для анализа и представления.
[В начало]
Просмотр и запросы моделей интеллектуального анализа данных
После обработки модели ее можно просмотреть с помощью пользовательских средств просмотра, входящих в состав среды SQL Server Data Tools (SSDT) и Среда SQL Server Management Studio. Инструкции
Запросы к модели интеллектуального анализа данных позволяют создавать прогнозы и получать метаданные модели или закономерности, созданные моделью. Для создания запросов используется язык DMX.
См. также
Разделы |
Ссылки |
|---|---|
Создание структур интеллектуального анализа данных, поддерживающих несколько моделей интеллектуального анализа данных. Использование столбцов в моделях. |
Столбцы структуры интеллектуального анализа данных |
О различных алгоритмах и о влиянии выбора алгоритма на содержимое модели. |
|
Задание свойств модели, влияющих на ее состав и поведение. |
|
Программируемые интерфейсы интеллектуального анализа данных. |
|
Использование пользовательских средств просмотра интеллектуального анализа данных в службах Analysis Services. |
|
Примеры различных типов запросов, которые могут выполняться к моделям интеллектуального анализа данных. |
Связанные задачи
По следующим ссылкам можно получить более конкретную информацию о работе с моделями интеллектуального анализа данных.
См. также
Основные понятия
Объекты баз данных (службы Analysis Services — многомерные данные)