Обработка данных из концентратора событий с помощью Azure Stream Analytics

Служба Azure Stream Analytics упрощает прием, обработку и анализ потоковой передачи данных из Центров событий Azure, позволяя получать эффективные аналитические данные для выполнения действий в реальном времени. Такая интеграция позволяет быстро создать конвейер аналитики критического пути. Вы можете использовать портал Azure для визуализации входящих данных и создания запроса Stream Analytics. Когда запрос будет готов, его можно переместить в рабочую среду, всего несколько раз щелкнув мышью.

Основные преимущества

Ниже приведены основные преимущества Центров событий Azure и интеграции Azure Stream Analytics.

  • Предварительный просмотр данных. Можно просмотреть входящие данные из концентратора событий на портале Azure.
  • Тестирование запроса. Подготовка запроса преобразования и его тестирование непосредственно на портале Azure. Синтаксис языка запросов см. в документации по языку запросов Azure Stream Analytics.
  • Развертывание запроса в рабочей среде. Можно развернуть запрос в рабочей среде, создав и запустив задание Azure Stream Analytics.

Полный поток процесса

Важно!

Если вы не имеете роль Владелец или Участник на уровне подписки Azure, вам потребуется роль Тестировщик запросов Stream Analytics на уровне подписки Azure, чтобы успешно выполнить описанные в этом разделе действия. Эта роль позволяет выполнять тестирование запросов, не создавая специального задания Stream Analytics. Инструкции по назначению роли пользователю см. в этой статье.

  1. Войдите на портал Azure.

  2. Перейдите к пространству имен Центров событий и перейдите к концентратору событий, который содержит входящие данные.

  3. На странице концентратора событий выберите Обработать данные.

    Process data tile

  4. На плитке Включение аналитических сведений в режиме реального времени из событий выберите Изучить.

    Select Stream Analytics

  5. Отобразится страница запроса со значениями, уже заданными для следующих полей:

    1. Концентратор событий в качестве входных данных для запроса.

    2. Пример запроса SQL с оператором SELECT.

    3. Выходной псевдоним для ссылки на результаты теста запроса.

      Query editor

      Примечание

      При первом использовании этой функции эта страница запрашивает разрешение на создание группы потребителей и политику для концентратора событий для предварительного просмотра входящих данных.

  6. Выберите Создать на панели Просмотр входных данных, как показано на предыдущем рисунке.

  7. На этой вкладке немедленно появится моментальный снимок последних входящих данных.

    • Тип сериализации в данных определяется автоматически (JSON/CSV). Вы можете вручную изменить его на JSON/CSV/AVRO.

    • Вы можете просмотреть входящие данные в формате таблицы или необработанном формате.

    • Если данные не актуальны, выберите Refresh (Обновить), чтобы просмотреть последние события.

      Ниже приведен пример данных в табличном формате: Results in the table format

      Ниже приведен пример данных в формате RAW:

      Results in the raw format

  8. Выберите Тестовый запрос, чтобы просмотреть моментальный снимок результатов тестирования запроса на вкладке Результаты теста. Вы также можете скачать эти результаты.

    Test query results

  9. Напишите собственный запрос для преобразования данных. См. Справочник по языку запросов Stream Analytics.

  10. После тестирования запроса и его перемещения в рабочую среду выберите Развернуть запрос. Чтобы развернуть запрос, создайте задание Azure Stream Analytics, в котором можно задать выходные данные для задания и запустить это задание. Чтобы создать задание Stream Analytics, укажите имя задания и нажмите кнопку Создать.

    Create an Azure Stream Analytics job

    Примечание

    Рекомендуется создавать группу потребителей и политику для каждого нового задания Azure Stream Analytics, которое вы будете создавать на странице "Центры событий". Группы потребителей допускают только пять одновременных средств чтения, поэтому для каждого задания выделяется выделенная группа потребителей, что позволяет избежать ошибок, которые могут возникнуть из-за превышения этого ограничения. Выделенная политика позволяет поворачивать ключ или отзывать разрешения без влияния на другие ресурсы.

  11. Теперь ваше задание Stream Analytics создано, запрос прошел проверку, а входные данные здесь — это концентратор событий.

  12. Чтобы завершить конвейер, задайте выходные данные запроса и нажмите кнопку Старт, чтобы запустить задание.

    Примечание

    Перед запуском задания не забудьте заменить выходной псевдоним выходным именем, созданным в Azure Stream Analytics.

    Set output and start the job

Известные ограничения

При тестировании запроса загрузка результатов теста занимает около 6 секунд. Мы работаем над улучшением производительности тестирования. Однако при развертывании в рабочей среде Azure Stream Analytics будет иметь задержку менее секунды.

Единицы потоковой передачи

В задании Azure Stream Analytics по умолчанию используются три единицы потоковой передачи. Чтобы настроить этот параметр, выберите Масштаб в меню слева на странице Задание Stream Analytics на портале Azure. Дополнительные сведения о единицах потоковой передачи см. в разделе Знакомство с единицами потоковой передачи и их настройка.

Scale streaming units

Дальнейшие действия

Дополнительные сведения о запросах Stream Analytics см. в разделе Язык запросов Stream Analytics.