Импорт и экспорт данных в Dataverse

Microsoft Dataverse — это SaaS-платформа данных, которая позволяет легко создавать данные, события и логику и управлять ими, а также генерировать аналитику** и информацию для поддержки взаимосвязанных приложений, построенных на платформе Dataverse. К этим приложениям относятся как приложения Майкрософт, такие как Dynamics 365 Sales, Service, Marketing, Customer Insights, Customer Journey Orchestration, а также пользовательские (сторонние) приложения и процессы, все из которых работают с соблюдением требований безопасности и соответствия. Dataverse представляет собой гипермасштабируемое многоязычное хранилище, которое может использоваться для хранения данных любого типа (реляционных, файловых, данных наблюдений и т. д.) для всех ваших транзакционных и аналитических приложений. Соответственно, это платформа данных для всех продуктов Power Platform и приложений Dynamics 365. Dataverse — это критический элемент Microsoft Power Platform, который поддерживает все данные, события, аналитику и связанную обработку, а также генерирует для разработчиков-любителей и профессиональных разработчиков аналитику, помогающую создавать, хранить и администрировать данные для разрабатываемых ими приложений.

Данные, необходимые приложениям и процессам, не часто поступают из Dataverse или находятся внутри Dataverse. Объединение внешних данных с помощью Dataverse — важнейшая составляющая разработки приложений, позволяющая добавлять данные в существующие приложения и извлекать ценную информацию. В условиях распространения больших данных и постоянно растущего количества типов источников данных, таких как ИИ, ML, IoT, веб-коммерция, веб-API, службы, ERP и линейка бизнес-приложений, пользователям Dataverse необходимо гибко подходить к использованию такого разнообразия данных.

Существует несколько способов импорта и экспорта данных в Microsoft Dataverse. Вы можете использовать потоки данных, Power Query, Azure Synapse Link, фабрику данных Azure, Azure Logic Apps и Power Automate.

С чего начать?

Первый вариант — это начать с внешних данных, которые уже существуют за пределами Dataverse и которые необходимы для создания приложения, формы или другого компонента. Нет необходимости сохранять эти данные в Dataverse, чтобы начать их использовать. Во многих случаях лучше продолжить управлять данными с помощью другой системы, используя данные по мере необходимости в Dataverse. Функция виртуальных таблиц в Dataverse предоставляет такую возможность. Дополнительная информация: Создание виртуальных таблиц с помощью виртуальных соединителей.

С виртуальными таблицами вы можете создать приложение, использующее внешние данные так, как если бы они находились в таблице Dataverse. Чтобы вам было проще создавать виртуальные таблицы, используйте мастер создания виртуальных таблиц, который сейчас находится на этапе общедоступной предварительной версии | Microsoft Power Apps

Импорт внешних данных в Dataverse

В зависимости от того, каких результатов вы хотите добиться, вы можете принять решение хранить данные в Dataverse, а не использовать виртуальные таблиц для отображения внешних данных в Dataverse. Если вы хотите, чтобы управление вашими данными производилось в соответствии с концепциями безопасности в Dataverse и с использованием функций управления жизненным циклом приложений или если вы хотите объединять внешние данные с собственными данными Dataverse, имеет смысл переместить данные в Dataverse. Кроме того, если вас интересует использование рабочего процесса и бизнес-правил Dataverse, вы можете рассмотреть возможность переноса этих данных в Dataverse. Также следует учитывать экономические последствия загрузки данных в Dataverse, которая может увеличить затраты на хранение. Если управлением данными по-прежнему должно осуществляться внешней системой, возможно, имеет смысл оставить их там и взаимодействовать с ними в Dataverse с помощью виртуальных таблиц.

Потоки данных и Power Query

Потоки данных позволяют вам соединяться с бизнес-данными из различных источников, очищать данные, преобразовывать их, а затем загружать в Dataverse. Потоки данных поддерживают десятки популярных локальных, облачных и SaaS источников данных.

Power Query — это технология подключения к данным, которую вы можете использовать для обнаружения, подключения, объединения и уточнения источников данных в соответствии с вашими потребностями в анализе. Функции в Power Query доступны в Excel и Power BI Desktop.

На этапе планирования проекта вы должны взвесить все варианты и решить, требуется ли, чтобы внешние данные быть частью ваших транзакционных данных. После того как вы окончательно определитесь с подходом, смена его в ходе внедрения и после ввода в эксплуатацию может привести к нарушению работы конечных пользователей. Если вы приняли решение загружать внешние данные в Dataverse, прекрасным инструментом будут потоки данных. Потоки данных — отличный выбор, если вам нужно преобразовывать и подготавливать данные во время их перемещения. Среда разработки потоков данных — Power Query — обладает продуманной готовой функциональностью для интуитивно понятного преобразования и подготовки данных.

Дополнительная информация: Создание и использование потоков данных в Power Apps и Добавление данных в таблицу в Dataverse с помощью Power Query

Обратите внимание, что на загрузку данных через потоки данных распространяются ограничения для защиты служб Dataverse. Подробнее

Power Query поддерживает множество доступных соединителей: Список всех соединителей Power Query

Если ваши данные поступают из Excel, как у многих пользователей Dataverse, используйте существующий соединитель Excel — один из множества доступных соединителей — для построения конвейера передачи данных в Dataverse. Помимо разовой загрузки данных, синхронизируйте свой источник данных Excel с Dataverse, используя поток данных. Учитывайте ограничения размера файла Excel, как описано в этой статье: Уменьшение размера книги Excel для ее просмотра в Power BI

Кроме того, если у вас есть несколько файлов Excel в папке, которые вы хотите загрузить в Dataverse, вы можете использовать соединитель папок Power Query для объединения, преобразования и загрузки данных.

ИТ-специалисты также могут избавить бизнес-пользователей от связанных с построением конвейеров данных сложностей путем создания шаблонов потоков данных Power Platform. Постройте сложный запрос, объединив данные из нескольких источников, сохраните его и поделитесь им с бизнес-пользователями. Этот файл затем можно будет использовать из функции Новый поток данных > Импорт шаблонав Dataverse. Все, что нужно сделать пользователю, — это проверить учетные данные для доступа к данным, чтобы начать загрузку данных в таблицы Dataverse. Подробнее: Создание потоков данных Power Platform из запросов в Microsoft Excel.

Azure Data Factory

Фабрика данных — это служба интеграции данных, которая предоставляет подход с низкоуровневым кодом или без кода для создания процессов извлечения, преобразования и загрузки (ETL) в визуальной среде или путем написания собственного кода.

В зависимости от ваших потребностей в данных в какой-то момент вам может потребоваться более сложный инжиниринг данных для переноса данных из внешних источников в Dataverse. Это зависит не только от объема данных, но также от количества и сложности преобразований данных, необходимых для того, чтобы исходные данные соответствовали вашим требованиям к данным в Dataverse. Дополнительным фактором является доступность ИТ-ресурсов, готовых прийти на помощь. Эти более сложные сценарии использования данных можно реализовать с помощью потоков данных Power Platform, Фабрики данных Azure и веб-API. >Шаблоны интеграции Фабрики данных и веб-API отлично подходят для построения конвейеров, требующих сложного рабочего процесса и преобразований с большим количеством алгоритмов. Потоки данных, напротив, проще в использовании, и начать работу с ними можно быстрее.

С фабрикой данных вы можете визуально интегрировать Dataverse и другие источники данных, используя более 90 встроенных и необслуживаемых соединителей.

Помимо переноса данных в Dataverse, Фабрику данных также можно использовать для подготовки, преобразования и обогащения данных с помощью Azure Databricks, а также для перемещения данных в Azure Synapse Analytics.

Экспорт данных из Dataverse

Экспорт данных либо в другую технологию обработки данных, либо в другую среду, может использовать любую из технологий, упомянутых для импорта данных, таких как потоки данных, фабрика данных, Power Query и Power Automate.

Клиенты Dynamics, которые ориентированы на SQL Server или базу данных SQL Azure, могут использовать Azure Synapse Link. Azure Synapse Link for Dataverse связывает с Azure Synapse Analytics, чтобы позволить вам получать информацию о ваших данных почти в режиме реального времени из Microsoft Dataverse. Благодаря тесной бесшовной интеграции между Dataverse и Azure Synapse Analytics, Azure Synapse Link позволяет запускать аналитику, бизнес-аналитику и сценарии машинного обучения для ваших данных. Дополнительные сведения: Что такое Azure Synapse Link for Dataverse

См. также

Работа с любым типом приложения

Примечание

Каковы ваши предпочтения в отношении языка документации? Пройдите краткий опрос (обратите внимание, что этот опрос представлен на английском языке).

Опрос займет около семи минут. Личные данные не собираются (заявление о конфиденциальности).