Share via

Создание панелей мониторинга Power BI в режиме реального времени с помощью Stream Analytics без редактора кода

  • Статья

В этом руководстве показано, как использовать бескодовый редактор Stream Analytics для вычисления агрегатов в потоках данных в режиме реального времени и их хранения в Azure Synapse Analytics.

В этом руководстве описано следующее:

  • Развертывание генератора событий, отправляющего данные в концентратор событий
  • Создание задания Stream Analytics с помощью бескодового редактора
  • Проверка входных данных и схемы
  • Выбор полей для группировки и определение агрегатов в виде счетчика
  • Настройка Azure Synapse Analytics, куда будут записываться результаты
  • Выполнение задания Stream Analytics
  • Визуализация данных в Power BI

Необходимые компоненты

Прежде чем начать работу, нужно сделать следующее:

  1. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись.

  2. Разверните генератор событий TollApp в Azure. Используйте эту ссылку, чтобы развернуть шаблон TollApp Azure. Установите для параметра "interval" значение 1. Используйте новую группу ресурсов для этого шага.

  3. Создайте рабочую область Azure Synapse Analytics с выделенным пулом SQL.

    Примечание.

    Если вы хотите создать панель мониторинга Power BI в режиме реального времени без записи данных в базу данных, можно пропустить шаг 3 и 4, а затем перейти к этому руководству, чтобы создать панель мониторинга в режиме реального времени с набором данных Power BI, созданным заданием Stream Analytics.

  4. Создайте таблицу с именем carsummary с помощью выделенного пула SQL. Это можно сделать, выполнив следующий скрипт SQL:

    CREATE TABLE carsummary   
(  
    Make nvarchar(20),  
    CarCount int,
	times datetime
)
WITH ( CLUSTERED COLUMNSTORE INDEX ) ;

Использование бескодового редактора для создания задания Stream Analytics

  1. Найдите группу ресурсов, в которой был развернут генератор событий TollApp.

  2. Выберите пространство имен Центров событий Azure.

  3. На странице Пространство имен Центров событий выберите Центры событий в разделе Сущности в меню слева.

  4. Выберите entrystream экземпляр.

    Снимок экрана: выбор концентратора событий.

  5. Перейдите в область Обработка данных в разделе "Функции", а затем выберите Пуск в шаблоне Начать с пустого холста.

    Снимок экрана: выбор кнопки

  6. Назовите задание carsummary и нажмите кнопку "Создать".

    Снимок экрана: страница задания New Stream Analytics.

  7. На странице конфигурации концентратора событий подтвердите следующие параметры и выберите Подключить.

    1. Для группы потребителей выберите "Использовать существующий", а затем выберите "По умолчанию".

    2. Для типа сериализации убедитесь, что выбран json .

    3. В режиме проверки подлинности убедитесь, что строка Подключение ion используется для подключения к концентратору событий: строка Подключение ion.

      Снимок экрана: страница конфигурации для концентратора событий.

  8. В течение нескольких секунд отображаются примеры входных данных и схемы. При необходимости вы можете удалить поля, переименовать их или изменить тип данных.

    Снимок экрана: предварительный просмотр данных в концентраторе событий и полях.

  9. Выберите "Операции" на панели команд и выберите "Группировать по".

    Снимок экрана: меню

  10. Выберите плитку Группировка на холсте и подключите ее к плитке концентратора событий.

    Снимок экрана: плитка

  11. Настройте плитку Группировка, указав следующее:

    1. Агрегат в виде счетчика.

    2. Поле Make, которое является вложенным полем внутри CarModel.

    3. Выберите Добавить.

      Снимок экрана: параметр агрегирования на странице

    4. В разделе Параметры:

      1. Для агрегирования групп нажмите кнопку "Сделать".

      2. В окне времени убедитесь, что для значения задано значение Tumbling.

      3. В течение длительности введите 3 минуты

      4. В нижней части страницы нажмите кнопку Готово.

        Снимок экрана: страница

  12. Выберите группировать по и обратите внимание на сгруппированные данные на вкладке "Предварительный просмотр данных" в нижней части страницы.

    Снимок экрана: вкладка

  13. На панели команд выберите "Операции" и "Управление полями".

  14. Подключение группировать плитки полей и управлять ими.

  15. На странице "Управление полями" выполните следующие действия:

    1. Добавьте поле Make, как показано на следующем рисунке, и нажмите кнопку "Добавить".

      Снимок экрана: добавление поля Make.

    2. Нажмите кнопку Добавить.

      Снимок экрана: кнопка

  16. Выберите Добавить все поля на странице конфигурации Управление полями.

    Снимок экрана: страница

  17. Щелкните ... рядом с полями и выберите Изменить, чтобы переименовать их.

    • COUNT_make на CarCount

    • Window_End_Time на times

      Снимок экрана: страница

  18. Выберите "Готово" на странице "Управление полями ". Страница Управление полями должна выглядеть, как показано на следующем снимке изображении.

    Снимок экрана: страница

  19. Выберите плитку "Управление полями" и просмотрите данные, поступающие в операцию на вкладке "Предварительный просмотр данных" в нижней части страницы.

    Снимок экрана: вкладка

  20. На панели команд выберите выходные данные и выберите Synapse.

    Снимок экрана: панель команд с выбранными выходными данными Synapse.

  21. Подключите плитку Synapse к плитке Управление полями на холсте.

  22. На странице параметров Synapse выполните следующие действия:

    1. Если учетная запись хранения задания еще не задана, выберите учетную запись Azure Data Lake служба хранилища в группе ресурсов. Это учетная запись хранения, используемая Synapse SQL для загрузки данных в хранилище данных.

      Снимок экрана: Synapse с выбором учетной записи хранения.

    2. Выберите подписку Azure, в которой находится Azure Synapse Analytics.

    3. Выберите базу данных выделенного пула SQL, который использовался для создания carsummary таблицы в предыдущем разделе.

    4. Введите имя пользователя и пароль для проверки подлинности.

    5. Введите имя carsummaryтаблицы как .

    6. Нажмите Подключиться. Вы увидите примеры результатов, которые будут записаны в таблицу Synapse SQL.

      Снимок экрана: параметры плитки Synapse.

  23. Выберите плитку Synapse и перейдите на вкладку "Предварительный просмотр данных" в нижней части страницы. Вы увидите данные, поступающие в выделенный пул SQL.

    Снимок экрана: предварительная версия данных для плитки Synapse.

  24. Нажмите кнопку Сохранить на верхней ленте, чтобы сохранить задание, а затем нажмите кнопку Пуск. Снимок экрана: кнопка

  25. На странице "Запуск задания Stream Analytics" нажмите кнопку "Пуск", чтобы запустить задание.

    Снимок экрана: страница задания Start Stream Analytics.

  26. Затем вы увидите список всех заданий Stream Analytics, созданных с помощью редактора кода. И в течение двух минут задание переходит в состояние "Выполнение ". Нажмите кнопку Обновить на странице, чтобы увидеть, что состояние изменено с Создано —>Запуск> — Выполняется.

    Снимок экрана: список заданий.

Создание визуализации Power BI

  1. Скачайте последнюю версию Power BI Desktop.

  2. Используйте соединитель Power BI для Azure Synapse SQL.

    Снимок экрана: Power BI Desktop с выбранным sql Azure и Synapse Analytics.

  3. Подключение в базу данных с помощью DirectQuery и используйте этот запрос для получения данных из базы данных.

    SELECT [Make],[CarCount],[times]
FROM [dbo].[carsummary]
WHERE times >= DATEADD(day, -1, GETDATE())

    Снимок экрана: конфигурация Destop Power BI для подключения к Azure Synapse База данных SQL.

    Перейдите на вкладку "База данных " и введите учетные данные (имя пользователя и пароль), чтобы подключиться к базе данных и запустить запрос.

  4. Выберите "Загрузка", чтобы загрузить данные в Power BI.

  5. Затем можно создать график со следующими параметрами:

    • Ось X — times.
    • Ось Y — CarCount.
    • Условные обозначения — Make. После этого появится диаграмма, которую можно опубликовать. Вы можете настроить автоматическое обновление страницы и задать для него значение 3 минут, чтобы получить представление в режиме реального времени. Снимок экрана: панель мониторинга Power BI с данными сводки автомобиля.

Дополнительные варианты

Кроме Azure Synapse SQL, вы также можете использовать База данных SQL в качестве выходных данных редактора без кода для получения потоковых данных. А затем используйте соединитель Power BI для подключения База данных SQL к базе данных с помощью DirectQuery, а также для создания панели мониторинга в режиме реального времени.

Это также хороший вариант для создания панели мониторинга в режиме реального времени с помощью потоковых данных. Дополнительные сведения о выходных данных База данных SQL см. в разделе "Преобразование и прием в База данных SQL".

Очистка ресурсов

  1. Найдите экземпляр Центров событий и просмотрите список заданий Stream Analytics в разделе Обработка данных. Остановите все выполняемые задания.
  2. Перейдите в группу ресурсов, которую вы использовали при развертывании генератора событий TollApp.
  3. Выберите команду Удалить группу ресурсов. Введите имя группы ресурсов, чтобы подтвердить удаление.

Следующие шаги

В этом руководстве вы создали задание Stream Analytics с помощью бескодового редактора, чтобы определить агрегаты и записать результаты в Azure Synapse Analytics. Затем вы использовали Power BI для создания панели мониторинга в режиме реального времени, чтобы просмотреть результаты, полученные заданием.

Без обработки потока кода с помощью Azure Stream Analytics