Processar fluxos de dados IoT em tempo real com o Azure Stream Analytics

Artigo
08/16/2023

Neste artigo, vai aprender a criar lógica de processamento de fluxos para recolher dados de dispositivos IoT (Internet das Coisas). Utiliza um caso de utilização da Internet das Coisas (IoT) no mundo real para demonstrar como criar a sua solução de forma rápida e económica.

Pré-requisitos

Crie uma subscrição gratuita do Azure.
Transfira a consulta de exemplo e os ficheiros de dados a partir do GitHub.

Scenario

A Contoso, empresa no espaço de automatização industrial, automatizou o processo de fabrico. Nesta fábrica, as máquinas têm sensores que emitem transmissões de dados em tempo real. Neste cenário, um gestor do piso de produção pretende ter conhecimentos aprofundados e em tempo real sobre os sensores de dados e tomar medidas relativamente aos mesmos. Pode utilizar a Linguagem de Consulta do Stream Analytics (SAQL) através dos dados do sensor para encontrar padrões interessantes a partir do fluxo de dados recebidos.

Neste exemplo, os dados são gerados a partir de um dispositivo de etiqueta de sensor Texas Instruments. O payload dos dados está no formato JSON, conforme mostrado no fragmento de exemplo seguinte:

{
    "time": "2016-01-26T20:47:53.0000000",  
    "dspl": "sensorE",  
    "temp": 123,  
    "hmdt": 34  
}

Num cenário real, pode ter centenas destes sensores a gerar eventos como uma transmissão. O ideal seria ter um dispositivo de gateway a executar código para enviar estes eventos para os Hubs de Eventos do Azure ou Hubs IoT do Azure. A tarefa do Stream Analytics ingere estes eventos a partir dos Hubs de Eventos ou dos Hubs IoT e executa consultas de análise em tempo real nos fluxos. Em seguida, pode enviar os resultados para uma das saídas suportadas.

Para facilitar a utilização, este guia de introdução fornece um ficheiro de dados de exemplo, que foi capturado a partir de dispositivos Sensor Tag reais. Pode executar consultas nos dados de exemplo e ver os resultados. Nos tutoriais subsequentes, irá aprender a ligar a sua tarefa a entradas e saídas e a implementá-las no serviço do Azure.

Criar uma tarefa do Stream Analytics

Navegue para o portal do Azure.
No menu de navegação esquerdo, selecione Todos os serviços, selecione Análise, paire o rato sobre as tarefas do Stream Analytics e, em seguida, selecione Criar.
Na página Nova tarefa do Stream Analytics , siga estes passos:
1. Para Subscrição, selecione a sua subscrição do Azure.
2. Para Grupo de recursos, selecione um grupo de recursos existente ou crie um grupo de recursos.
3. Em Nome, introduza um nome exclusivo para a tarefa do Stream Analytics.
4. Selecione a Região na qual pretende implementar a tarefa do Stream Analytics. Utilize a mesma localização para o grupo de recursos e todos os recursos para aumentar a velocidade de processamento e reduzir os custos.
5. Selecione Rever + criar.
Na página Rever + criar , reveja as definições e selecione Criar.
Depois de a implementação ser concluída com êxito, selecione Ir para recurso para navegar para a página de tarefas do Stream Analytics para a sua tarefa do Stream Analytics.

Criar uma consulta do Azure Stream Analytics

Depois de criar a tarefa, escreva uma consulta. Pode testar consultas em dados de exemplo sem ligar uma entrada ou saída à sua tarefa.

Transfira o HelloWorldASA-InputStream.json a partir do GitHub.
Na página de tarefas do Azure Stream Analytics no portal do Azure, selecione Consulta em Topologia de tarefas no menu esquerdo.
Selecione Carregar entrada de exemplo, selecione o HelloWorldASA-InputStream.json ficheiro que transferiu e selecione OK.
Repare que uma pré-visualização dos dados é preenchida automaticamente na tabela De pré-visualização de entrada .

Consulta: Arquivar os dados não processados

A forma mais simples de consulta é uma consulta pass-through que arquiva todos os dados de entrada no resultado designado. Esta consulta é a consulta predefinida preenchida numa nova tarefa do Azure Stream Analytics.

Na janela Consulta , introduza a seguinte consulta e, em seguida, selecione Testar consulta na barra de ferramentas.
```
SELECT
    *
INTO
    youroutputalias
FROM
    yourinputalias
```
Veja os resultados no separador Resultados do teste no painel inferior.

Consulta: Filtrar os dados com base numa condição

Vamos atualizar a consulta para filtrar os resultados com base numa condição. Por exemplo, a seguinte consulta mostra os eventos provenientes de sensorA."

Atualize a consulta com o seguinte exemplo:

SELECT 
    time,
    dspl AS SensorName,
    temp AS Temperature,
    hmdt AS Humidity
INTO
   youroutputalias
FROM
    yourinputalias
WHERE dspl='sensorA'

Selecione Testar consulta para ver os resultados da consulta.

Consulta: Alerta para acionar um fluxo de trabalho comercial

Vamos tornar a nossa consulta mais detalhada. Para cada tipo de sensor, queremos monitorizar a temperatura média por cada janela de 30 segundos e apresentar os resultados apenas se a temperatura média for superior a 100 graus.

Atualize a consulta para:

SELECT 
    System.Timestamp AS OutputTime,
    dspl AS SensorName,
    Avg(temp) AS AvgTemperature
INTO
   youroutputalias
FROM
    yourinputalias TIMESTAMP BY time
GROUP BY TumblingWindow(second,30),dspl
HAVING Avg(temp)>100

Selecione Testar consulta para ver os resultados da consulta.

Deverá ver resultados que contêm apenas 245 linhas e nomes de sensores em que a média temperada é superior a 100. Esta consulta agrupa a transmissão de eventos por dspl, que é o nome do sensor, e coloca-a numa Janela em Cascata de 30 segundos. As consultas temporais têm de indicar como pretende que o tempo progrida. Ao utilizar a cláusula TIMESTAMP BY , especificou a coluna OUTPUTTIME para associar tempos a todos os cálculos temporais. Para obter informações detalhadas, leia sobre as funções Gestão de Tempo e Janela.

Consulta: Detetar a ausência de eventos

Como podemos escrever uma consulta para encontrar uma falta de eventos de entrada? Vamos encontrar a última vez que um sensor enviou dados e, em seguida, não enviou eventos durante os próximos 5 segundos.