Создание и использование потоков данных в Microsoft Power Platform

  • Статья

Использование потоков данных с Microsoft Power Platform упрощает подготовку данных и позволяет повторно использовать подготовку данных в последующих отчетах, приложениях и моделях.

В мире постоянно расширяющихся данных подготовка данных может быть сложной и дорогой. Он может потреблять до 60–80 процентов времени и затрат на типичный проект аналитики. Для таких проектов могут потребоваться фрагментированные и неполные данные, сложная интеграция системы, данные со структурными несоответствиями и высокий барьер набора навыков.

Чтобы упростить подготовку данных и повысить ценность данных, были созданы потоки данных Power Query и Power Platform.

Screenshot showing how to select the Power Platform Dataflows connector.

Благодаря потокам данных корпорация Майкрософт предоставляет возможности самостоятельной подготовки данных в Power BI и Power Apps веб-службы и расширяет существующие возможности следующим образом:

  • Самостоятельная подготовка данных для больших данных с потоками данных: потоки данных можно использовать для легкого приема, очистки, преобразования, интеграции, обогащения и схемы данных из большого и постоянно растущего массива транзакционных и наблюдений источников, охватывающих всю логику подготовки данных. Ранее логика извлечения, преобразования, загрузки (ETL) могла быть включена только в семантические модели в Power BI, скопирована между семантических моделей и привязана к параметрам управления семантической моделью.

    При использовании потоков данных логика ETL повышается до артефакта первого класса в службах Microsoft Power Platform и включает выделенные возможности разработки и управления. Бизнес-аналитики, специалисты бизнес-аналитики и специалисты по обработке и анализу данных могут использовать потоки данных, чтобы справиться с самыми сложными проблемами подготовки данных и опираться на работу друг друга благодаря революционному механизму вычислений на основе модели. Этот механизм заботится обо всех преобразованиях и логике зависимостей, сокращающих время, затраты и опыт, в доли того, что традиционно требуется для этих задач. Вы можете создавать потоки данных с помощью хорошо известного, самостоятельного подготовки данных Power Query. Потоки данных создаются и легко управляются в рабочих областях приложений или средах в Power BI или Power Apps соответственно, наслаждаясь всеми возможностями этих служб, такими как управление разрешениями и запланированные обновления.

  • Загрузка данных в Dataverse или Azure Data Lake служба хранилища. В зависимости от варианта использования можно хранить данные, подготовленные потоками данных Power Platform, в учетной записи Dataverse или azure Data Lake вашей организации служба хранилища:

    • Dataverse позволяет безопасно хранить и управлять данными, которые используются бизнес-приложениями. Данные в Dataverse хранятся в наборе таблиц. Таблица представляет собой набор строк (ранее называемых записями) и столбцов (ранее называемых полями/атрибутами). Каждый столбец в таблице предназначен для хранения определенного типа данных, например, имени, возраста, заработной платы и т. д. Dataverse включает базовый набор стандартных таблиц, охватывающих типичные сценарии, но вы также можете создавать пользовательские таблицы, относящиеся к вашей организации, и заполнять их данными с помощью потоков данных. Затем разработчики приложений могут использовать Power Apps и Power Automate для создания расширенных приложений, использующих эти данные.

    • Azure Data Lake служба хранилища позволяет совместно работать с людьми в организации с помощью Power BI, Azure Data и служб ИИ или с помощью настраиваемых бизнес-приложений, которые считывают данные из озера. Потоки данных, которые загружают данные в Azure Data Lake служба хранилища хранения данных в папках Common Data Model. Общие папки модели данных содержат схемизированные данные и метаданные в стандартизованном формате, чтобы упростить обмен данными и обеспечить полное взаимодействие между службами, которые создают или используют данные, хранящиеся в учетной записи Azure Data Lake служба хранилища организации в качестве общего уровня хранения.

  • Расширенная аналитика и искусственный интеллект с помощью Azure: потоки данных Power Platform хранят данные в Dataverse или Azure Data Lake служба хранилища. Это означает, что данные, полученные через потоки данных, теперь доступны инженерам и специалистам по обработке и анализу данных Azure для применения полной мощности служб данных Azure, таких как Машинное обучение Azure, Azure Databricks и Azure Synapse Analytics для расширенной аналитики и искусственного интеллекта. Это позволяет бизнес-аналитикам, инженерам и специалистам по обработке и анализу данных совместно работать с теми же данными в своей организации.

  • Поддержка common Data Model: Common Data Model — это набор стандартных схем данных и системы метаданных для обеспечения согласованности данных и его значения в приложениях и бизнес-процессах. Потоки данных поддерживают общую модель данных, предлагая простое сопоставление из любых данных в любой форме в стандартных таблицах модели общих данных, таких как учетная запись и контакт. Потоки данных также помещает данные как в стандартные, так и пользовательские таблицы в схемизированной форме Common Data Model. Бизнес-аналитики могут воспользоваться стандартной схемой и ее семантической согласованности или настроить их таблицы на основе уникальных потребностей. Общая модель данных продолжает развиваться в рамках инициативы Open Data.

Возможности потока данных в службах Microsoft Power Platform

Большинство возможностей потока данных доступны как в Power Apps, так и в Power BI. Потоки данных доступны в рамках планов этих служб. Некоторые функции потока данных относятся либо к продуктам, либо доступны в различных планах продуктов. В следующей таблице описываются функции потока данных и их доступность.

Возможность потока данных Power Apps Power BI
Запланированное обновление До 48 в день До 48 в день
Максимальное время обновления таблицы До 2 часов До 2 часов
Создание потока данных с помощью Power Query Online Да Да
Управление потоками данных На портале администрирования Power Apps На портале администрирования Power BI
Новые соединители Да Да
Стандартизованная схема / встроенная поддержка общей модели данных Да Да
Потоки данных Подключение or в Power BI Desktop Для потоков данных с azure Data Lake служба хранилища в качестве назначения Да
Интеграция с azure Data Lake служба хранилища организации Да Да
Интеграция с Dataverse Да Нет
Связанные таблицы потока данных Для потоков данных с azure Data Lake служба хранилища в качестве назначения Да
Вычисляемые таблицы (преобразования в хранилище с помощью M) Для потоков данных с azure Data Lake служба хранилища в качестве назначения Только Power BI Premium
Добавочное обновление потока данных Для потоков данных с azure Data Lake служба хранилища в качестве назначения требуется План Power Apps2 Только Power BI Premium
Выполнение в емкости Power BI Premium или параллельное выполнение преобразований No Да

Известные ограничения

Следующие шаги

Дополнительные сведения о потоках данных в Power Apps:

Дополнительные сведения о потоках данных в Power BI:

Дополнительные сведения о распространенных сценариях использования потоков данных см. в следующих статьях.

Дополнительные сведения о стандартной папке Common Data Model и папке Common Data Model см. в следующих статьях: