O que é o Azure Stream Analytics?What is Azure Stream Analytics?

O Azure Stream Analytics é uma análise em tempo real e o motor de processamento de eventos complexo que foi concebido para analisar e processar grandes volumes de dados de transmissão em fluxo rápido de várias fontes em simultâneo.Azure Stream Analytics is a real-time analytics and complex event-processing engine that is designed to analyze and process high volumes of fast streaming data from multiple sources simultaneously. Padrões e relações podem ser identificadas no informações extraídas de um número de origens de entrada, incluindo dispositivos, sensores, clickstreams, feeds de redes sociais e aplicativos.Patterns and relationships can be identified in information extracted from a number of input sources including devices, sensors, clickstreams, social media feeds, and applications. Estes padrões podem ser utilizados para acionar ações e iniciar fluxos de trabalho desse tipo criar alertas, informações para ferramentas de relatórios de manutenção ou armazenamento de dados transformados para utilização posterior.These patterns can be used to trigger actions and initiate workflows such creating alerts, feeding information to a reporting tool, or storing transformed data for later use. Além disso, o Stream Analytics está disponível no runtime do Azure IoT Edge e suporta a mesma linguagem exata ou sintaxe como na cloud.Also, Stream Analytics is available on Azure IoT Edge runtime, and supports the same exact language or syntax as cloud.

Os cenários seguintes são exemplos de quando pode utilizar o Azure Stream Analytics:The following scenarios are examples of when you can use Azure Stream Analytics:

  • Analisar fluxos de telemetria em tempo real de dispositivos IoTAnalyze real-time telemetry streams from IoT devices
  • Análise de registos/clickstream da WebWeb logs/clickstream analytics
  • Análise geoespacial para gestão de frotas e veículos autónomosGeospatial analytics for fleet management and driverless vehicles
  • Monitorização remota e manutenção preditiva de ativos de valor elevadoRemote monitoring and predictive maintenance of high value assets
  • Análise em tempo real de dados de Pontos de Vendas para controlo de inventário e deteção de anomaliasReal-time analytics on Point of Sale data for inventory control and anomaly detection

Como funciona o Stream Analytics?How does Stream Analytics work?

Uma tarefa do Azure Stream Analytics é composta por uma entrada, consulta e uma saída.An Azure Stream Analytics job consists of an input, query, and an output. Stream Analytics ingere dados de Hubs de eventos do Azure, o IoT Hub do Azure ou o armazenamento de Blobs do Azure.Stream Analytics ingests data from Azure Event Hubs, Azure IoT Hub, or Azure Blob Storage. A consulta, que é baseada na linguagem de consulta SQL, pode ser utilizado para facilmente filtrar, ordenar, Agregar e associar dados de transmissão ao longo de um período de tempo.The query, which is based on SQL query language, can be used to easily filter, sort, aggregate, and join streaming data over a period of time. Também pode expandir essa linguagem SQL com o JavaScript e C# (UDFs) de funções definidas pelo utilizador.You can also extend this SQL language with JavaScript and C# user defined functions (UDFs). Pode ajustar facilmente o evento de ordenação de opções e a duração das janelas de tempo quando preforming operações de agregação através de construções de linguagem simples e/ou configurações.You can easily adjust the event ordering options and duration of time windows when preforming aggregation operations through simple language constructs and/or configurations.

Cada tarefa tem uma saída para os dados transformados e pode controlar o que acontece em resposta às informações que analisou.Each job has an output for the transformed data, and you can control what happens in response to the information you've analyzed. Pode, por exemplo:For example, you can:

  • Envie dados para serviços, como as funções do Azure, tópicos do Service Bus ou filas para acionar a comunicação ou downstream uma fluxos de trabalho personalizados.Send data to services such as Azure Functions, Service Bus Topics or Queues to trigger communications or custom workflows downstream.
  • Envie dados para um dashboard do Power BI para vistas em tempo real.Send data to a Power BI dashboard for real-time dashboarding.
  • Store dados noutros serviços de armazenamento do Azure para preparar um modelo de machine learning com base nos dados históricos ou executar análises de lote.Store data in other Azure storage services to train a machine learning model based on historical data or perform batch analytics.

A imagem seguinte mostra como os dados são enviados para o Stream Analytics, analisados e enviados para outras ações, como o armazenamento ou apresentação:The following image shows how data is sent to Stream Analytics, analyzed, and sent for other actions like storage or presentation:

Pipeline de introdução do Stream Analytics

Principais capacidades e vantagensKey capabilities and benefits

O Azure Stream Analytics foi concebido para ser fácil de utilizar, flexível, fiável e dimensionável para qualquer tamanho de trabalho.Azure Stream Analytics is designed to be easy to use, flexible, reliable, and scalable to any job size. Está disponível em várias regiões do Azure.It is available across multiple Azure regions. A imagem seguinte ilustra as principais funcionalidades do Azure Stream Analytics:The following image illustrates the key capabilities of Azure Stream Analytics:

Capacidades principais do Stream Analytics

Facilidade para começarEase of getting started

O Azure Stream Analytics é fácil começar.Azure Stream Analytics is easy to start. Demora apenas alguns cliques para ligar a várias origens e sinks, criar um pipeline ponto a ponto.It only takes a few clicks to connect to multiple sources and sinks, creating an end-to-end pipeline. Stream Analytics consegue ligar à os Hubs de eventos do Azure e IoT Hub do Azure para ingestão de dados de transmissão em fluxo, bem como armazenamento de Blobs do Azure para ingerir dados históricos.Stream Analytics can connect to Azure Event Hubs and Azure IoT Hub for streaming data ingestion, as well as Azure Blob storage to ingest historical data. Entrada da tarefa também pode incluir dados de referência estáticos ou com poucas alterações do armazenamento de Blobs do Azure ou base de dados SQL que pode associar a transmissão em fluxo de dados para efetuar operações de pesquisa.Job input can also include static or slow-changing reference data from Azure Blob storage or SQL Database that you can join to streaming data to perform lookup operations.

Stream Analytics pode encaminhar a saída da tarefa para muitos sistemas de armazenamento, tal como armazenamento de Blobs do Azure, base de dados do Azure SQL, Azure Data Lake Store, e Azure CosmosDB.Stream Analytics can route job output to many storage systems such as Azure Blob storage, Azure SQL Database, Azure Data Lake Store, and Azure CosmosDB. Pode executar análises de lote de saída armazenados com o Azure HDInsight, ou pode enviar a saída para outro serviço, como os Hubs de eventos para consumo ou Power BI para visualização em tempo real.You can run batch analytics on stored output with Azure HDInsight, or you can send the output to another service, like Event Hubs for consumption or Power BI for real-time visualization.

Para obter a lista completa de saídas do Stream Analytics, consulte compreender as saídas do Azure Stream Analytics.For the entire list of Stream Analytics outputs, see Understand outputs from Azure Stream Analytics.

Produtividade do ProgramadorProgrammer productivity

O Azure Stream Analytics utiliza uma linguagem de consulta simples baseada em SQL que foi melhorada com limitações temporais poderosas para analisar dados em movimento.Azure Stream Analytics uses a simple SQL-based query language that has been augmented with powerful temporal constraints to analyze data in motion. Para definir as transformações dos trabalhos, é utilizada uma linguagem de consulta do Stream Analytics simples e declarativa, a qual lhe permite criar consultas e análises temporais complexas através da utilização de construções SQL simples.To define job transformations, you use a simple, declarative Stream Analytics query language that lets you author complex temporal queries and analytics using simple SQL constructs. Como linguagem de consulta do Stream Analytics é consistente para a linguagem SQL, familiaridade com o SQL é suficiente para começar a criar trabalhos.Because Stream Analytics query language is consistent to the SQL language, familiarity with SQL is sufficient to start creating jobs. Também pode criar tarefas com as ferramentas de desenvolvedor, como o Azure PowerShell, ferramentas do Stream Analytics para Visual Studio, o extensão do Stream Analytics Visual Studio Code, ou modelos Azure Resource Manager .You can also create jobs by using developer tools like Azure PowerShell, Stream Analytics Visual Studio tools, the Stream Analytics Visual Studio Code extension, or Azure Resource Manager templates. A utilização de ferramentas do programador permite-lhe desenvolver consultas de transformação offline e utilizar o pipeline CI/CD para submeter trabalhos para o Azure.Using developer tools allow you to develop transformation queries offline and use the CI/CD pipeline to submit jobs to Azure.

A linguagem de consulta do Stream Analytics oferece um vasto conjunto de funções para analisar e processar dados de transmissão em fluxo.The Stream Analytics query language offers a wide array of functions for analyzing and processing streaming data. Essa linguagem de consulta suporta manipulação de dados simples, funções de agregação e funções geoespaciais complexas.This query language supports simple data manipulation, aggregation functions, and complex geospatial functions. Pode editar as consultas no portal e testá-las com dados de exemplo que são extraídos de um fluxo em direto.You can edit queries in the portal and test them using sample data that is extracted from a live stream.

Pode definir e invocar funções adicionais para alargar as capacidades da linguagem de consultas.You can extend the capabilities of the query language by defining and invoking additional functions. Pode definir chamadas de função no serviço do Azure Machine Learning para tirar partido das soluções do Azure Machine Learning e integrar o JavaScript ou C# funções definidas pelo utilizador (UDFs) ou agregações definidas pelo utilizador para realizar cálculos complexos como parte um Consulta do Stream Analytics.You can define function calls in the Azure Machine Learning service to take advantage of Azure Machine Learning solutions, and integrate JavaScript or C# user-defined functions (UDFs) or user-defined aggregates to perform complex calculations as part a Stream Analytics query.

Totalmente geridoFully managed

O Azure Stream Analytics é uma oferta sem servidor totalmente gerida (PaaS) no Azure.Azure Stream Analytics is a fully managed serverless (PaaS) offering on Azure. Não tem qualquer hardware de aprovisionar ou gerir clusters para executar suas tarefas.You don’t have to provision any hardware or manage clusters to run your jobs. O Azure Stream Analytics gere totalmente o trabalho ao configurar o cluster de computação complexa na cloud e responsável pelo desempenho necessário para executar a tarefa de otimização.Azure Stream Analytics fully manages your job by setting up complex compute clusters in the cloud and taking care of the performance tuning necessary to run the job. Integração com os Hubs de eventos do Azure e o IoT Hub do Azure permite que o seu trabalho ingerir milhões de eventos por segundo provenientes de várias origens, para incluir dispositivos ligados, clickstreams e ficheiros de registo.Integration with Azure Event Hubs and Azure IoT Hub allows your job to ingest millions of events per second coming from a number of sources, to include connected devices, clickstreams, and log files. Utilizar a funcionalidade de criação de partições dos Hubs de eventos, pode particionar cálculos em passos lógicos, cada um com a capacidade para ter ainda mais partições para aumentar a escalabilidade.Using the partitioning feature of Event Hubs, you can partition computations into logical steps, each with the ability to be further partitioned to increase scalability.

Executar na cloud ou no edge inteligenteRun in the cloud or on the intelligent edge

O Azure Stream Analytics pode executar na cloud, para análise em grande escala, ou executar no IoT Edge para análise de latência Ultra baixas.Azure Stream Analytics can run in the cloud, for large-scale analytics, or run on IoT Edge for ultra-low latency analytics. O Azure Stream Analytics utiliza a mesma linguagem de consulta em cloud e o edge, permitindo que os desenvolvedores para realmente criar arquiteturas híbridas para processamento de fluxo.Azure Stream Analytics uses the same query language on both cloud and the edge, enabling developers to build truly hybrid architectures for stream processing.

Baixo custo total de propriedadeLow total cost of ownership

Como serviço cloud, o Stream Analytics está otimizado para custo.As a cloud service, Stream Analytics is optimized for cost. Existem sem custos iniciais envolvidos – paga apenas o consumir de unidades de transmissão em fluxoe a quantidade de dados processados.There are no upfront costs involved - you only pay for the streaming units you consume, and the amount of data processed. Não existe nenhum compromisso ou o aprovisionamento do cluster necessário, e pode aumentar ou reduzir verticalmente com base nas suas necessidades empresariais.There is no commitment or cluster provisioning required, and you can scale the job up or down based on your business needs.

Pronto para de missão críticaMission-critical ready

O Azure Stream Analytics está disponível em várias regiões em todo o mundo e foi concebido para executar cargas de trabalho de missão crítica ao suportar os requisitos de confiabilidade, segurança e conformidade.Azure Stream Analytics is available across multiple regions worldwide and is designed to run mission-critical workloads by supporting reliability, security and compliance requirements.

FiabilidadeReliability

O Azure Stream Analytics garante exatamente-depois do processamento de eventos e pelo-menos-uma vez entrega de eventos, por isso, eventos nunca sejam perdidos.Azure Stream Analytics guarantees exactly-once event processing and at-least-once delivery of events, so events are never lost. Exatamente-processamento uma vez é garantida com a saída selecionada, conforme descrito em garantias de entrega de eventos.Exactly-once processing is guaranteed with selected output as described in Event Delivery Guarantees.

O Azure Stream Analytics tem capacidades de recuperação incorporadas no caso de falha de entrega de um evento.Azure Stream Analytics has built-in recovery capabilities in case the delivery of an event fails. Além disso, o Stream Analytics fornece pontos de verificação incorporados para manter o estado do seu trabalho e fornece resultados repetíveis.Stream Analytics also provides built-in checkpoints to maintain the state of your job and provides repeatable results.

Como um serviço gerido, Stream Analytics garante o processamento de eventos com uma disponibilidade de 99,9% num nível de minuto de granularidade.As a managed service, Stream Analytics guarantees event processing with a 99.9% availability at a minute level of granularity. Para obter mais informações, consulte a SLA para Stream Analytics página.For more information, see the Stream Analytics SLA page.

SegurançaSecurity

Em termos de segurança, o Azure Stream Analytics encripta todas as comunicações de entrada e saídas e oferece suporte a TLS 1.2.In terms of security, Azure Stream Analytics encrypts all incoming and outgoing communications and supports TLS 1.2. Pontos de verificação incorporados também são encriptados.Built-in checkpoints are also encrypted. Stream Analytics não armazena os dados de entrada, uma vez que todo o processamento é feito na memória.Stream Analytics doesn't store the incoming data since all processing is done in-memory.

ConformidadeCompliance

O Azure Stream Analytics segue várias certificações de conformidade, conforme descrito no descrição geral de conformidade do Azure.Azure Stream Analytics follows multiple compliance certifications as described in the overview of Azure compliance.

DesempenhoPerformance

Stream Analytics consegue processar milhões de eventos por segundo e pode proporcionar resultados com latências baixas ultra.Stream Analytics can process millions of events every second and it can deliver results with ultra low latencies. Permite-lhe aumentar verticalmente e aumentar horizontalmente para lidar com aplicações de processamento de grandes eventos em tempo real e complexos.It allows you to scale-up and scale-out to handle large real-time and complex event processing applications. Stream Analytics suporta um desempenho mais elevado ao particionamento, permitindo que consultas complexas ser paralelizadas e executadas em vários nós de transmissão em fluxo.Stream Analytics supports higher performance by partitioning, allowing complex queries to be parallelized and executed on multiple streaming nodes. O Azure Stream Analytics foi concebido sob Trill, um motor de análise de transmissão em fluxo de dentro da memória do alto desempenho desenvolvido em colaboração com o Microsoft Research.Azure Stream Analytics is built on Trill, a high-performance in-memory streaming analytics engine developed in collaboration with Microsoft Research.

Passos SeguintesNext steps

Viu agora uma descrição geral do Azure Stream Analytics.You now have an overview of Azure Stream Analytics. Em seguida, pode criar o seu primeiro trabalho do Stream Analytics e experimentá-lo na prática:Next, you can dive deep and create your first Stream Analytics job: