Processar dados do seu centro de eventos usando a Azure Stream Analytics

O serviço Azure Stream Analytics facilita a ingestão, processamento e análise de dados de streaming a partir de Hubs de Eventos do Azure, permitindo insights poderosos para impulsionar ações em tempo real. Esta integração permite-lhe criar rapidamente um oleoduto de análise de caminhos quentes. Pode utilizar o portal do Azure para visualizar os dados de entrada e escrever uma consulta stream Analytics. Uma vez que a sua consulta esteja pronta, pode movê-la para a produção em apenas alguns cliques.

Principais vantagens

Aqui estão os principais benefícios da integração Hubs de Eventos do Azure e Azure Stream Analytics:

  • Dados de pré-visualização – Pode visualizar os dados de entrada a partir de um centro de eventos no portal do Azure.
  • Teste a sua consulta – Prepare uma consulta de transformação e teste-a diretamente no portal do Azure. Para a sintaxe da linguagem de consulta, consulte a documentação da linguagem de consulta stream Analytics .
  • Implemente a sua consulta para a produção – Pode implementar a consulta na produção criando e iniciando um trabalho Azure Stream Analytics.

Fluxo de ponta a ponta

Importante

Se não for membro das funções de proprietário ou contribuinte ao nível da subscrição do Azure, deve ser membro da função Stream Analytics Query Tester ao nível de subscrição do Azure para completar com sucesso etapas nesta secção. Esta função permite-lhe realizar consultas de teste sem criar primeiro um trabalho de análise de fluxo. Para obter instruções sobre a atribuição de uma função a um utilizador, consulte atribuir funções AD aos utilizadores.

  1. Inicie sessão no portal do Azure.

  2. Navegue para o seu espaço de nomes Event Hubs e, em seguida, navegue para o centro de eventos, que tem os dados de entrada.

  3. Selecione dados de processo na página do centro do evento.

    Process data tile

  4. Selecione Explore no Enable introspeções em tempo real de eventos em azulejo.

    Select Stream Analytics

  5. Você vê uma página de consulta com valores já definidos para os seguintes campos:

    1. O seu centro de eventos como entrada para a consulta.

    2. Experimente SQL consulta com a declaração SELECT.

    3. Um pseudónimo de saída para consultar os resultados dos seus testes de consulta.

      Query editor

      Nota

      Quando utiliza esta funcionalidade pela primeira vez, esta página pede a sua permissão para criar um grupo de consumidores e uma política para o seu centro de eventos para visualizar os dados recebidos.

  6. Selecione Criar no painel de pré-visualização de entrada, como mostrado na imagem anterior.

  7. Verá imediatamente uma imagem instantânea dos dados mais recentes neste separador.

    • O tipo de serialização dos seus dados é detetado automaticamente (JSON/CSV). Pode alterá-lo manualmente também para JSON/CSV/AVRO.

    • Pode pré-visualizar dados de entrada no formato de tabela ou em formato bruto.

    • Se os seus dados mostrados não estiverem atuais, selecione Refresh para ver os eventos mais recentes.

      Aqui está um exemplo de dados no formato da tabela: Results in the table format

      Aqui está um exemplo de dados no formato bruto:

      Results in the raw format

  8. Selecione a consulta de teste para ver a imagem dos resultados do teste da sua consulta no separador resultados do Teste . Também pode baixar os resultados.

    Test query results

  9. Escreva a sua própria consulta para transformar os dados. Consulte a referência de linguagem de consulta stream analytics.

  10. Depois de testar a consulta e pretende movê-la para a produção, selecione Implementar a consulta. Para implementar a consulta, crie um trabalho Azure Stream Analytics onde pode definir uma saída para o seu trabalho e iniciar o trabalho. Para criar um trabalho stream Analytics, especifique um nome para o trabalho e selecione Criar.

    Create an Azure Stream Analytics job

    Nota

    Recomendamos que crie um grupo de consumidores e uma política para cada novo trabalho Azure Stream Analytics que crie a partir da página De Centros de Eventos. Os grupos de consumidores permitem apenas cinco leitores simultâneos, pelo que o fornecimento de um grupo de consumidores dedicado para cada trabalho evitará quaisquer erros que possam surgir de exceder esse limite. Uma política dedicada permite-lhe rodar a sua chave ou revogar permissões sem afetar outros recursos.

  11. O seu trabalho stream Analytics é agora criado onde a sua consulta é a mesma que testou, e a entrada é o seu centro de eventos.

  12. Para completar o pipeline, desacione a saída da consulta e selecione Comece a iniciar o trabalho.

    Nota

    Antes de iniciar o trabalho, não se esqueça de substituir as outputalias pelo nome de saída que criou no Azure Stream Analytics.

    Set output and start the job

Limitações conhecidas

Ao testar a sua consulta, os resultados dos testes demoram aproximadamente 6 segundos a carregar. Estamos a trabalhar para melhorar o desempenho dos testes. No entanto, quando implantado na produção, a Azure Stream Analytics terá latência subsegundo.

Unidades de transmissão em fluxo

O seu trabalho Azure Stream Analytics falha em três unidades de streaming (SUs). Para ajustar esta definição, selecione Escala no menu esquerdo na página de trabalho Stream Analytics na portal do Azure. Para saber mais sobre as unidades de streaming, consulte Compreender e ajustar Unidades de Streaming.

Scale streaming units

Passos seguintes

Para saber mais sobre as consultas stream Analytics, consulte stream Analytics Query Language