Bem-vindo ao Azure Stream Analytics

Artigo
02/06/2024

O Azure Stream Analytics é um mecanismo de processamento de fluxo totalmente gerenciado projetado para analisar e processar grandes volumes de dados de streaming com latências de submilissegundos. Você pode criar um pipeline de dados de streaming usando o Stream Analytics para identificar padrões e relacionamentos em dados que se originam de várias fontes de entrada, incluindo aplicativos, dispositivos, sensores, clickstreams e feeds de mídia social. Em seguida, você pode usar esses padrões para disparar ações e iniciar fluxos de trabalho, como gerar alertas, alimentar informações para uma ferramenta de relatório ou armazenar dados transformados para uso posterior. O Stream Analytics também está disponível no tempo de execução do Azure IoT Edge, que permite processar dados diretamente de dispositivos IoT.

Aqui estão alguns cenários de exemplo em que você pode usar o Azure Stream Analytics:

Deteção de anomalias nos dados do sensor para detetar picos, quedas e mudanças positivas e negativas lentas
Análise geoespacial para gestão de frotas e veículos sem condutor
Monitoramento remoto e manutenção preditiva de ativos de alto valor
Análise de fluxo de cliques para determinar o comportamento do cliente
Analise fluxos e logs de telemetria em tempo real de aplicativos e dispositivos IoT

Principais capacidades e vantagens

Serviço totalmente gerido

O Azure Stream Analytics é uma oferta totalmente gerenciada (PaaS) no Azure. Não é necessário provisionar nenhum hardware ou infraestrutura, atualizar o sistema operacional ou o software. O Azure Stream Analytics gerencia totalmente seu trabalho, para que você possa se concentrar em sua lógica de negócios e não na infraestrutura.

Facilidade de utilização

O Azure Stream Analytics é fácil de iniciar. São necessários apenas alguns cliques para criar um pipeline de dados de streaming de ponta a ponta que se conecta a várias fontes e coletores.

Você pode criar um trabalho do Stream Analytics que pode se conectar aos Hubs de Eventos do Azure e ao Hub IoT do Azure para transmitir a ingestão de dados e ao armazenamento de Blob do Azure ou ao Azure Data Lake Storage Gen2 para ingerir dados históricos. A entrada para o trabalho do Stream Analytics também pode incluir dados de referência estáticos ou de mudança lenta do armazenamento de Blob do Azure ou do Banco de Dados SQL que você pode unir com dados de streaming para executar operações de pesquisa. Para obter mais informações sobre entradas do Stream Analytics, consulte Transmitir dados como entrada no Stream Analytics.

Você pode rotear a saída de um trabalho do Stream Analytics para muitos sistemas de armazenamento, como o armazenamento de Blob do Azure, o Banco de Dados SQL do Azure, o Azure Data Lake Store e o Azure Cosmos DB. Você também pode executar análises em lote em saídas de fluxo com o Azure Synapse Analytics ou o HDInsight, ou pode enviar a saída para outro serviço, como Hubs de Eventos para consumo ou Power BI para visualização em tempo real. Para obter a lista completa de saídas do Stream Analytics, consulte Compreender as saídas do Azure Stream Analytics.

O editor sem código do Azure Stream Analytics oferece uma experiência sem código que permite desenvolver trabalhos do Stream Analytics sem esforço, usando a funcionalidade de arrastar e soltar, sem precisar escrever nenhum código. Ele simplifica ainda mais a experiência de desenvolvimento de trabalho do Stream Analytics. Para saber mais sobre o editor sem código, consulte Processamento de fluxo sem código no Azure Stream Analytics.

Produtividade do Programador

O Azure Stream Analytics usa uma linguagem de consulta SQL que é aumentada com poderosas restrições temporais para analisar dados em movimento. Você pode criar um trabalho do Stream Analytics usando o portal do Azure. Você também pode criar trabalhos usando ferramentas de desenvolvedor, como as seguintes:

As ferramentas de desenvolvedor permitem desenvolver consultas de transformação offline e usar o pipeline de CI/CD para enviar trabalhos para o Azure.

A linguagem de consulta do Stream Analytics permite que você execute o CEP (Processamento de Eventos Complexos), oferecendo uma ampla gama de funções para analisar dados de streaming. Esta linguagem de consulta suporta manipulação de dados simples, funções de agregação e análise, funções geoespaciais, correspondência de padrões e deteção de anomalias. Você pode editar consultas no portal ou usando ferramentas de desenvolvimento e testá-las usando dados de exemplo extraídos de uma transmissão ao vivo.

Pode definir e invocar funções adicionais para alargar as capacidades da linguagem de consultas. Você pode definir chamadas de função no Aprendizado de Máquina do Azure para aproveitar as soluções do Aprendizado de Máquina do Azure e integrar funções definidas pelo usuário (UDFs) JavaScript ou C# ou agregações definidas pelo usuário para executar cálculos complexos como parte de uma consulta do Stream Analytics.

Execute na nuvem ou na borda inteligente

O Azure Stream Analytics pode ser executado na nuvem, para análises em grande escala, ou executado no IoT Edge ou Azure Stack para análises de latência ultrabaixa. O Azure Stream Analytics usa as mesmas ferramentas e linguagem de consulta na nuvem e na borda, permitindo que os desenvolvedores criem arquiteturas verdadeiramente híbridas para processamento de fluxo.

Baixo custo total de propriedade

Como serviço cloud, o Stream Analytics está otimizado para custo. Não há custos iniciais envolvidos - você paga apenas pelas unidades de streaming que consome. Não há necessidade de comprometimento ou provisionamento de cluster, e você pode dimensionar o trabalho para cima ou para baixo com base em suas necessidades de negócios.

Pronto para missões críticas

O Azure Stream Analytics está disponível em várias regiões em todo o mundo e foi concebido para executar cargas de trabalho de missão crítica, suportando requisitos de fiabilidade, segurança e conformidade.

Fiabilidade

O Azure Stream Analytics garante exatamente uma vez o processamento de eventos e pelo menos uma vez a entrega de eventos, para que os eventos nunca sejam perdidos. Exatamente uma vez que o processamento é garantido com saída selecionada, conforme descrito em Garantias de entrega de eventos.

O Azure Stream Analytics tem recursos de recuperação internos caso a entrega de um evento falhe. O Stream Analytics também fornece pontos de verificação integrados para manter o estado do seu trabalho e fornece resultados repetíveis.

Como um serviço gerenciado, o Stream Analytics garante o processamento de eventos com uma disponibilidade de 99,9% em um nível mínimo de granularidade.

Segurança

Em termos de segurança, o Azure Stream Analytics criptografa todas as comunicações de entrada e saída e dá suporte ao Transport Layer Security (TLS) 1.2. Os pontos de verificação incorporados também são encriptados. O Stream Analytics não armazena os dados recebidos, uma vez que todo o processamento é feito na memória. O Stream Analytics também dá suporte às Redes Virtuais do Azure ao executar um trabalho em um Cluster do Stream Analytics.

Desempenho

O Stream Analytics pode processar milhões de eventos a cada segundo e pode fornecer resultados com latências ultrabaixas. Ele permite que você escale para se ajustar às suas cargas de trabalho. O Stream Analytics suporta maior desempenho por particionamento, permitindo que consultas complexas sejam paralelizadas e executadas em vários nós de streaming. O Azure Stream Analytics baseia-se no Trill, um motor de análise de streaming na memória de elevado desempenho desenvolvido em colaboração com a Microsoft Research.

Próximos passos

Pode experimentar o Azure Stream Analytics com uma subscrição gratuita do Azure.

Experimente o Azure Stream Analytics

Você tem uma visão geral do Azure Stream Analytics. Em seguida, pode criar o seu primeiro trabalho do Stream Analytics e experimentá-lo na prática: