Импорт из Azure Cosmos DB

Важно!

Поддержка Студии машинного обучения (классической) будет прекращена 31 августа 2024 г. До этой даты рекомендуется перейти на Машинное обучение Azure.

Начиная с 1 декабря 2021 года вы не сможете создавать новые ресурсы Студии машинного обучения (классической). Существующие ресурсы Студии машинного обучения (классическая версия) можно будет использовать до 31 августа 2024 г.

• См. сведения о перемещении проектов машинного обучения из ML Studio (классической) в Машинное обучение Azure.
• См. дополнительные сведения о Машинном обучении Azure.

Поддержка документации по ML Studio (классической) прекращается, а сама документация может не обновляться в будущем.

в этой статье описывается, как использовать модуль import Data (импорт данных ) в Машинное обучение Studio (классическая модель) для импорта данных из Azure Cosmos DB для использования в эксперименте машинного обучения.

Примечание

применимо к: только Машинное обучение Studio (классическая модель)

Подобные модули перетаскивания доступны в конструкторе машинного обучения Azure.

Azure Cosmos DB поддерживает хранилище базы данных NoSQL, используя гибкую модель данных. преимущества использования api-интерфейсов SQL в этом хранилище данных для машинного обучения: быстрая и прогнозируемая производительность, автоматическое масштабирование, глобальное распределение и широкие возможности запросов.

вместе с База данных SQL Azure этот параметр позволяет динамически фильтровать входящие наборы данных.

узнайте, как это работает: узнайте о Azure Cosmos DB

• чтобы приступить к работе с машинным обучением, используя данные из Azure Cosmos DB, необходимо иметь доступ к существующей учетной записи Azure Cosmos DB, содержащей коллекцию связанных документов.

Примечание

пользовательский интерфейс в Машинное обучение Studio (классическая модель) по-прежнему использует имя DocumentDB во многих местах. поэтому вы можете по-прежнему видеть ссылки на DocumentDB, даже если API был включен в Azure Cosmos DB.

использование импорта данных с Azure Cosmos DB

Настоятельно рекомендуется профилировать данные перед импортом, чтобы убедиться в том, что схема является ожидаемой. Процесс импорта сканирует некоторое количество строк Head для определения схемы, но последующие строки могут содержать дополнительные столбцы или данные, вызывающие ошибки.

Импорт данных с помощью мастера

Модуль содержит новый мастер, помогающий выбрать вариант хранения, выбрать один из существующих подписок и учетных записей и быстро настроить все параметры.

1. Добавьте модуль Импорт данных в эксперимент. Модуль можно найти в разделе входные и выходные данные.

2. Щелкните запустить мастер импорта данных и следуйте инструкциям.

3. После завершения настройки, чтобы фактически скопировать данные в эксперимент, щелкните модуль правой кнопкой мыши и выберите команду Выполнить выбранное.

Совет

Если необходимо изменить существующее подключение к данным, мастер загрузит все предыдущие сведения о конфигурации. Не нужно начинать с нуля.

Установка свойств вручную в модуле "Импорт данных"

Следующие шаги описывают настройку источника импорта вручную.

1. Добавьте модуль Импорт данных в эксперимент. Этот модуль можно найти в категории входные и выходные данные .

2. В качестве источника данныхвыберите Azure DocumentDB.

   Может потребоваться указать сведения о соединении для базы данных документов.

   Совет

   найдите имя параметра в Машинное обучение Studio (классическая модель), чтобы изменить его позже. Изменение имени не повлияло на функции импорта.

3. В поле URL-адрес конечной точкина портале Azure щелкните ключии скопируйте содержимое поля URI в верхней части страницы.

4. В поле Database ID (идентификатор базы данных) Вставьте имя используемой базы данных.

   Чтобы получить имя базы данных на портале Azure, щелкните Обозреватель документов. На этой панели можно просмотреть список баз данных и коллекций.

5. В качестве ключа DocumentDBвставьте ключ доступа для учетной записи.

   Чтобы выбрать ключи, щелкните ключи, а затем скопируйте содержимое полей первичный ключ или вторичный ключ .

6. В поле идентификатор коллекциивведите имя коллекции, как показано в указанной базе данных CosmosDB.

7. определение SQL запроса и условия фильтра для данных с помощью SQL запроса и SQL параметров запроса .

   для SQL запросавведите запрос, определяющий данные, которые необходимо получить из коллекции. Рекомендуется использовать Обозреватель запросов для предварительного создания и тестирования запросов CosmosDB.

   для SQL параметров запросаукажите выражение в формате JSON, которое можно использовать для динамической фильтрации возвращаемых данных. Обычно при запуске эксперимента в составе веб-службы указывается фактическое значение параметра.

   при использовании параметра необходимо определить имя переменной фильтра как часть предложения where, указанного в текстовом поле запроса SQL .

   Если не указать критерий фильтра, по умолчанию устанавливается значение " {} " и возвращаются все записи.

   примеры, известные проблемы и дополнительные советы по SQL запросам к CosmosDB см. в разделе технические примечания .

8. Если вы хотите повторно использовать существующие результаты, выберите параметр использовать кэшированные результаты .

   Если отменить выбор этого параметра, данные считываются из источника каждый раз при выполнении эксперимента независимо от того, совпадают ли данные.

   Машинное обучение не удается сравнить кэшированные данные с данными в вашей учетной записи CosmosDB. таким образом, невозможно выполнять добавочные обновления Машинное обучение.

   если требуется повторно импортировать данные только при изменении данных, необходимо определить логику в другом приложении, например Фабрика данных Azure. дополнительные сведения см. в статье перемещение данных в Azure Cosmos DB с помощью Фабрика данных Azure.

9. Запустите эксперимент или выберите только модуль Импорт данных и нажмите кнопку Выполнить выбранное.

Результаты

После запуска модуля или эксперимента можно щелкнуть правой кнопкой мыши выходные данные модуля, чтобы визуализировать результаты в табличном формате.

чтобы записать моментальный снимок этих данных в рабочую область Машинное обучение в качестве набора данных, можно щелкнуть правой кнопкой мыши выходные данные модуля и выбрать сохранить как набор данных. Однако это захватывает только те данные, которые доступны во время импорта. Если ожидается, что данные меняются часто, повторно запустите Импорт данных по мере необходимости.

Примеры

подробное пошаговое руководство по использованию Azure Cosmos DB в качестве источника данных для машинного обучения см. в Коллекция решений ИИ Azure.

• SQL запросы для Azure Cosmos DB. в этой статье объясняется, как выполнять SQL запросы к данным Azure Cosmos DB.

Технические примечания

Этот раздел содержит дополнительные параметры конфигурации и ответы на часто задаваемые вопросы.

Примеры простых и параметризованных запросов

Предположим, что вы хотите использовать только данные в вулканы с повышением прав под 10000 футов.

Простой запрос

вставьте следующий запрос в текстовое поле SQL запрос :Select * from volcanodb where volcanodb.Elevation < 10000

В этом случае значение критерия фильтра устанавливается равным " {} ", и возвращаются все записи.

Параметризованный запрос

Чтобы получить только данные о вулканах, относящиеся к определенной стране, можно указать значение Country в качестве параметра, передаваемого в запрос во время выполнения. Для этого требуются следующие изменения:

1. в текстовом поле запрос SQL определите переменную, которая будет применяться к Country полю как часть SQL запроса:

   Select * from volcanodb where volcanodb.Country = @param1

2. в текстовом поле SQL параметры запроса укажите имя параметра и его значение в формате JSON следующим образом:

   {"@param1":"Turkey"}

Ресурсы

Если у вас нет хранилища документов, ознакомьтесь с этими статьями, чтобы приступить к работе.

• Azure Cosmos DB. Создание веб-приложения API SQL с использованием языка .NET и портала Azure

• Краткое руководство. Создание консольного приложения .NET для управления ресурсами API SQL для Azure Cosmos DB

• средство миграции Azure Cosmos DB

Справка по синтаксису переноса данных и запросов

чтобы получить примеры запросов к хранилищу данных JSON, скачайте таблицу Azure Cosmos DB запроса памятка по.

если необходимо передать содержимое в Azure Cosmos DB, рекомендуется использовать средство миграции Azure Cosmos DB. Он проверяет, передает и индексирует данные. это средство поддерживает несколько источников, включая MongoDB, Amazon DynamoDB, HBase, SQL Server базы данных и CSV-файлы.

Использование запросов без схемы

если данные являются постоянными и прогнозируемыми, можно использовать простой синтаксис, подобный SQL, например SELECT * FROM <document collection> . Это называется запросом без схемы , так как вы не настроили точные атрибуты для возврата. Такой запрос возвратит все поля и все строки из указанной коллекции.

Однако не указывая схему, может привести к непредвиденным результатам или ошибкам времени выполнения, если документы имеют непоследовательные схемы. Это происходит потому, что модуль импорта данных пытается вывести схему на основе предварительно определенного количества строк следующим образом:

1. Если атрибуты не указаны, модуль сканирует первую строку в базе данных CosmosDB.
2. Модуль создает имена столбцов на основе атрибутов и определяет тип данных столбца, который должен быть основан на строке примера.
3. Если в последующих строках содержатся новые или другие атрибуты, возникает ошибка времени выполнения.

Поэтому рекомендуется всегда указывать атрибуты и значения, возвращаемые из хранилища данных CosmosDB. Например, вместо использования SELECT * синтаксиса рекомендуется присвоить имя всем атрибутам, полученным в результате запроса, следующим образом:

SELECT MyTable.Gender, MyTable.Age, MyTable.Name FROM <document collection>

Параметры модуля

следующая таблица содержит только те параметры модуля импорт данных , которые применимы к параметру Azure Cosmos DB.

Имя	Диапазон	Тип	Обязательно	Значение по умолчанию	Описание
Источник данных	list	HTTP	обязательно	нет	источником данных может быть HTTP, FTP, anonymous HTTPS или FTPS, файл в хранилище BLOB-объектов azure, таблица azure, База данных SQL Azure, таблица Hive, конечная точка OData или Azure Cosmos dB.
URL-адрес конечной точки	any	строка	обязательно	нет	укажите универсальный код ресурса (URI) для сервера Azure Cosmos DB
Идентификатор базы данных	any	строка	обязательно	нет	укажите имя базы данных Azure Cosmos DB
Ключ DocumentDB	any	SecureString	обязательно	нет	укажите допустимый ключ API для учетной записи Azure Cosmos DB
Идентификатор коллекции	any	строка	обязательно	нет	указание имени коллекции в базе данных Azure Cosmos DB
Запросы SQL	any	строка	обязательно	нет	SQL запрос, указывающий записи, возвращаемые из хранилища данных Azure Cosmos DB

Выходные данные

Имя	Тип	Описание
Набор данных результатов	Таблица данных	Набор данных с загруженными данными

Исключения

Исключение	Описание
Ошибка 0003	Исключение возникает, если один или несколько входных аргументов имеют значение NULL или пусты.
Ошибка 0029	Исключение возникает при передаче недопустимого универсального кода ресурса.
Ошибка 0002	Исключение возникает, если один или несколько параметров не удалось проанализировать или преобразовать из заданного типа в необходимый для целевого метода тип.
Ошибка 0048	Исключение возникает, когда не удается открыть файл.
Ошибка 0049	Исключение возникает, когда не удается проанализировать файл.

список ошибок, относящихся к модулям студии (классическая версия), см. в разделе Машинное обучение коды ошибок.

список исключений API см. в разделе Машинное обучение REST API коды ошибок.

См. также раздел

Импорт данных
Экспорт данных
Импорт с URL-адреса в Интернете с использованием HTTP
Импорт из запроса Hive
Импорт из Базы данных SQL Azure
Импорт из Хранилища BLOB-объектов Azure
Импорт из поставщиков веб-каналов данных
Импорт из локальной базы данных SQL Server