Потоковая передача данных в SQL Azure для пограничных вычислений

В SQL Azure для пограничных вычислений реализована собственная технология потоковой передачи данных — потоковая передача T-SQL. Она обеспечивает потоковую передачу данных в режиме реального времени, аналитику и обработку событий для одновременного анализа и обработки больших объемов потоковых данных из нескольких источников. Потоковая передача T-SQL построена с использованием того же высокопроизводительного механизма потоковой передачи, на основе которого в Microsoft Azure работает Azure Stream Analytics. Эта технология поддерживает набор возможностей, аналогичный функциям Azure Stream Analytics на пограничном устройстве.

Как и в случае со Stream Analytics, технология потоковой передачи T-SQL распознает закономерности и связи в данных, извлеченных из ряда входных источников Интернета вещей, включая устройства, датчики и приложения. Эти данные можно использовать для активации действий и запуска рабочих процессов. Например, можно создавать оповещения, передавать информацию в решение для отчетности или визуализации либо сохранять данные для последующего использования.

Технология потоковой передачи T-SQL помогает в выполнении следующих задач:

  • анализ потоковой передачи данных телеметрии в реальном времени с устройств Интернета вещей;
  • аналитика данных, созданных от самоуправляющихся и безоператорных транспортных средств, в режиме реального времени;
  • удаленный мониторинг и прогнозное обслуживание высокоценных промышленных или производственных ресурсов;
  • обнаружение аномалий и/или распознавание шаблонов в данных, считанных с датчика Интернета вещей, в сельском хозяйстве или энергоцентре.

Как работает Потоковая передача T-SQL?

Потоковая передача T-SQL работает точно так же, как Azure Stream Analytics. Например, она использует концепцию потоковых заданий для обработки потоковой передачи данных в режиме реального времени.

Задание Stream Analytics состоит из следующих компонентов:

  • Потоковый вход: определяет соединения с источником данных для считывания потока данных. SQL Azure для пограничных вычислений в настоящее время поддерживает следующие типы потоковых входов:

    • Центр Edge
    • Kafka (поддержка входных данных Kafka в настоящее время доступна только в версиях Intel/AMD64 SQL Azure для пограничных вычислений).
  • Потоковый вывод: определяет соединения с источником данных для записи потока данных. SQL Azure для пограничных вычислений в настоящее время поддерживает следующие типы потоковых выводов

    • Центр Edge
    • SQL (выходные данные SQL могут быть локальной базой данных внутри экземпляра SQL Azure для пограничных вычислений либо удаленного сервера SQL Server или Базы данных Azure SQL).
  • Запрос на потоковую передачу: определяет преобразование, агрегирование, фильтрацию, сортировку и объединения, которые необходимо применить к входному потоку перед записью в потоковый вывод. Запрос на потоковую передачу основан на том же языке запросов, который использует Stream Analytics. Дополнительные сведения см. в статье о языке запросов Stream Analytics.

Важно!

Потоковая передача T-SQL, в отличие от Stream Analytics, в настоящее время не поддерживает использование эталонных данных для уточняющих запросов или использование UDF и UDA в заданиях потока.

Примечание

Потоковая передача T-SQL поддерживает только подмножество языковых контактных зон, поддерживаемых Stream Analytics. Дополнительные сведения см. в статье о языке запросов Stream Analytics.

ограничения

Для потоковой передачи действуют приведенные ниже ограничения.

  • В любой момент времени может быть активно только одно задание потоковой передачи. Перед началом выполнения следующего задания уже выполняемые задания необходимо остановить.
  • Каждое выполнение задания потоковой передачи имеет один поток. Если задание потоковой передачи содержит несколько запросов, каждый запрос оценивается в последовательном порядке.
  • При остановке задания потоковой передачи в SQL Azure для пограничных вычислений может возникнуть задержка перед запуском следующего задания потоковой передачи. Эта связано с тем, что базовый процесс потоковой передачи необходимо остановить в ответ на запрос на остановку задания, а затем перезапустить в ответ на запрос запуска.
  • Потоковая передача T-SQL поддерживает до 32 секций для потока Kafka. Попытка настроить больше секций приведет к ошибке.

Дальнейшие действия