Поділитися через

Самостійна підготовка даних із використанням потоків даних

  • Стаття

Якщо обсяг даних постійно зростає, завдання, пов’язані із формуванням із цих даних добре структурованої практичної інформації, стають дедалі складнішими. Вам потрібні дані, підготовані для використання в програмах, навантаження для ШІ або аналітичні дані, щоб ви могли із легкістю перетворювати об’єми даних на практичні аналітичні висновки. Завдяки самостійній підготовці даних у порталі Power Apps, можна перетворювати дані та завантажувати їх в Microsoft Dataverse або обліковий запис Azure Data Lake Storage Gen2 вашої організації за кілька клацань.

Ми ввели потоки даних, щоб допомогти організаціям об'єднувати і підготовувати для споживання дані з джерел різного типу. За допомогою знайомих засобів, придатних для самостійного використання, можна легко створювати потоки даних для приймання, перетворення, інтеграції та збагачення великих даних. Під час створення потоку даних визначаються підключення до джерела даних, логіка видобування, перетворення та завантаження і призначення, куди слід завантажити отримані дані. Після створення можна вказати, як часто має виконуватися оновлення потоку даних і настроїти розклад оновлень. Крім того, нове обчислювальне ядро, що працює на основі моделі, робить процес підготовки даних більш керованим, більш детермінованим і менш громіздким для користувачів потоку даних. Завдяки потокам даних, завдання, які колись вимагали від організації, що працює з інформаційними технологіями даних, створення та постійного нагляду (і потребували багатьох годин або днів для завершення), тепер можуть виконуватись ліченими клацаннями особами, які навіть не є науковцями в галузі даних, наприклад, програмістами, бізнес-аналітиками або архітекторами запитів.

Потоки даних зберігають дані в таблицях. Таблиця – це набір рядків, що використовуються для збереження даних так само, як таблиця зберігає дані в базі даних. Користувачі можуть визначати настроювану схему таблиці або використовувати стандартні таблиці Common Data Model. Common Data Model — це спільна мова даних, яка може використовуватися бізнес- і аналітичними програмами. Система метаданих Common Data Model забезпечує узгодженість даних і їхнє значення в різних програмах та бізнес-процесах, наприклад, в Power Apps, Power BI, деяких програмах Dynamics 365 (програмах на основі моделі) і Azure, які зберігають дані відповідно до Common Data Model. Отримані таблиці потоку даних потім можна зберігати в будь-якому із зазначених нижче варіантів.

  • Dataverse. Дає змогу безпечно зберігати і керувати даними, які використовуються бізнес-програмами, побудованими за допомогою Power Apps і Power Automate.

  • Azure Data Lake Storage Gen2. Дає змогу співпрацювати з працівниками організації за допомогою Power BI, Azure Data і AI Services або спеціально створених бізнес-програм, що зчитують дані з озера. Потоки даних, які завантажують дані до облікового запису Azure Data Lake Storage Gen2, зберігають їх у папках Common Data Model. Папки Common Data Model містять схеми даних і метадані у стандартизованому форматі, щоб полегшити обмін даними та забезпечити повну сумісність між службами, які виробляють або споживають дані, збережені в обліковому записі Azure Data Lake Storage організації на рівні спільного сховища.

Потоки даних можна використовувати для інтеграції даних із великого та зростаючого набору підтримуваних локальних і хмарних джерел даних, включаючи Excel, базу даних Azure SQL, SharePoint, Azure Data Explorer, Salesforce, базу даних Oracle тощо.

Після вибору джерела даних можна скористатися можливостями Power Query із введенням малої кількості коду або зовсім без кодування, щоб перетворити дані та зіставити їх із стандартними таблицями в Common Data Model або створити настроювані таблиці. Досвідчені користувачі можуть безпосередньо редагувати мову M потоку даних для повної настройки потоків даних, так само, як це робиться в Power Query, з яким вже знайомі мільйони користувачів Power BI Desktop і Excel.

Після створення та збереження потоку даних потрібно буде запустити його в хмарі. Можна, за власним вибором, або ініціювати запуск потоку даних вручну, або запланувати частоту, із якою служба потоку даних Power Platform робитиме це для вас. Після того, як запуск потоку даних буде завершено, можна використовувати дані потоку. Щоб отримати дані потоку даних, завантажені до Dataverse, можна використовувати з’єднувач Common Data Service у Power Apps, Power Automate, Excel і усіх інших програмах, які підтримують з’єднувач Dataverse. Щоб отримати дані потоків даних, які зберігаються у обліковому записі Azure Data Lake Storage Gen2 організації, можна використовувати з'єднувач потоку даних Power Platform в Power BI Desktop або отримати доступ до файлів безпосередньо в озері.

Використання потоків даних

Попередній розділ містить загальну інформацію про технологію потоків даних. У цьому розділі ви отримаєте уявлення щодо того, як можна використовувати потоки даних в організації.

Примітка

Для використання потоків даних необхідно мати платний план Power Apps, але окрема плата за використання потоків даних не стягується.

Завантаження даних до Dataverse

Потоки даних можна використовувати для заповнення таблиць у Common Data Service, які потім будуть використовуватися в програмах Power Apps. Усього за кілька клацань можна інтегрувати дані з онлайнових та локальних джерел даних.

Розширення Common Data Model для потреб вашого бізнесу

Для організацій, які хочуть розширити та надбудувати Common Data Model, потоки даних дозволяють спеціалістам з бізнес-аналітики настроювати стандартні таблиці або створювати нові. Такий самостійний підхід до настроювання моделі даних може бути використаний із потоками даних для створення приладних дощок Power BI, пристосованих до потреб організації.

Розширюйте можливості за допомогою даних Azure і служб ШІ

Потоки даних Power Platform можуть бути налаштовані на збереження даних потоку даних в обліковому записі Azure Data Lake Storage Gen2 вашої організації. Якщо із озером даних вашої організації пов’язано середовище, науковці в галузі даних та розробники можуть використовувати потужні продукти Azure, наприклад, Azure Machine Learning, Azure Databricks, Azure Data Factory тощо.

Докладні відомості про інтеграцію Azure Data Lake Storage Gen2 і потоків даних, зокрема про створення потоків даних, які перебуватимуть в Azure Data Lake вашої організації, див. розділ Підключення Azure Data Lake Storage Gen2 для сховища потоків даних.

Зведення щодо самостійної підготовки даних для великих даних у Power Apps

Існує декілька сценаріїв та прикладів, коли потоки даних дозволять вам отримати кращий контроль та швидший огляд ваших бізнес-даних. Інші співробітники вашої організації можуть використовувати потоки даних через Dataverse, з’єднувач потоку даних Power Platform в Power BI або шляхом прямого доступу до папки Common Data Service потоку даних в обліковому запису Azure Data Lake Storage Gen2 організації. За допомогою стандартної моделі даних (схеми), яку визначає Common Data Model, бізнес-програми можуть залежати від схеми таблиці та не зважати на те, як було створено або з якого джерела було отримано дані. Коли завершується запланований запуск потоку даних, дані стають доступними для моделювання і створення програм, потоків або оглядів BI дуже скоро... а раніше це потребувало кількох місяців або більше.

Стандартизований формат Common Data Model дає змогу працівникам організації створювати програми, які надають швидкі, зручні та автоматичні візуалізації та звіти. Зокрема, але не обмежуючись, такими:

  • Зіставлення даних з різних джерел із стандартними таблицями в Common Data Model для об’єднання даних та використання відомої схеми для роботи готових програм.

  • Створення власних настроюваних таблиць для уніфікації даних у межах організації.

  • Створення звітів Power BI і приладних дощок, які використовують дані потоків даних.

  • Створення інтеграції з Azure Data та службами ШІ за допомогою облікового запису Azure Data Lake Storage Gen2 організації.

Наступні кроки

У цій статті наведено огляд самостійної підготовки даних у порталі Power Apps, а також способи використання цих даних. У зазначених нижче розділах наведено більш докладні відомості про типові сценарії використання потоків даних:

Для отримання додаткових відомостей про Power Query та заплановане оновлення, радимо ознайомитися з такими статтями:

Для отримання додаткових відомостей про Common Data Model можна прочитати цю оглядову статтю:

Примітка

Розкажіть нам про свої уподобання щодо мови документації? Візьміть участь в короткому опитуванні. (зверніть увагу, що це опитування англійською мовою)

Проходження опитування займе близько семи хвилин. Персональні дані не збиратимуться (декларація про конфіденційність).