Hubs de Eventos do Azure – uma plataforma de streaming de Big Data e um serviço de ingestão de eventosAzure Event Hubs — A big data streaming platform and event ingestion service

Os Hubs de Eventos do Azure são uma plataforma de streaming de Big Data e um serviço de ingestão de eventos.Azure Event Hubs is a big data streaming platform and event ingestion service. Ele pode receber e processar milhões de eventos por segundo.It can receive and process millions of events per second. Os dados enviados para um hub de eventos podem ser transformados e armazenados usando qualquer provedor de análise em tempo real ou adaptadores de envio em lote/armazenamento.Data sent to an event hub can be transformed and stored by using any real-time analytics provider or batching/storage adapters.

Os seguintes cenários estão alguns dos cenários em que você pode usar os Hubs de Eventos:The following scenarios are some of the scenarios where you can use Event Hubs:

  • Detecção de anomalias (fraude/exceções)Anomaly detection (fraud/outliers)
  • Registro em log do aplicativoApplication logging
  • Pipelines de análise, como a sequência de cliquesAnalytics pipelines, such as clickstreams
  • Criação de painéis em tempo realLive dashboarding
  • Arquivamento de dadosArchiving data
  • Processamento de transaçãoTransaction processing
  • Processamento de telemetria do usuárioUser telemetry processing
  • Streaming de telemetria do dispositivoDevice telemetry streaming

Por que usar Hubs de Eventos?Why use Event Hubs?

Dados são valiosos apenas quando há uma maneira fácil de processar e obter análises em tempo hábil das fontes de dados.Data is valuable only when there is an easy way to process and get timely insights from data sources. Os Hubs de Eventos fornecem uma plataforma de processamento de fluxo distribuído com baixa latência e integração perfeita, com serviços de análise e dados dentro e fora do Azure para criar seu pipeline completo de Big Data.Event Hubs provides a distributed stream processing platform with low latency and seamless integration, with data and analytics services inside and outside Azure to build your complete big data pipeline.

Os Hubs de Evento representam a "porta da frente" de um pipeline de evento, geralmente chamado de ingestor de eventos em arquiteturas da solução.Event Hubs represents the "front door" for an event pipeline, often called an event ingestor in solution architectures. Um ingestor de eventos é um componente ou serviço que fica entre os editores de eventos e consumidores de eventos para desacoplar a produção de uma transmissão de eventos do consumo desses eventos.An event ingestor is a component or service that sits between event publishers and event consumers to decouple the production of an event stream from the consumption of those events. Os Hubs de Eventos fornecem uma plataforma unificada de streaming com o buffer de retenção de tempo, desacoplando os produtores do evento dos consumidores do evento.Event Hubs provides a unified streaming platform with time retention buffer, decoupling event producers from event consumers.

As seções abaixo descrevem os principais recursos do serviço Hubs de Eventos do Azure:The following sections describe key features of the Azure Event Hubs service:

PaaS totalmente gerenciadoFully managed PaaS

Os Hubs de Eventos são um PaaS (Plataforma como Serviço) totalmente gerenciado com pouca configuração ou sobrecarga de gerenciamento, para que você se concentre em suas soluções de negócios.Event Hubs is a fully managed Platform-as-a-Service (PaaS) with little configuration or management overhead, so you focus on your business solutions. Os Hubs de Eventos para ecossistemas do Apache Kafka proporcionam a experiência de PaaS Kafka sem a necessidade de gerenciar, configurar ou executar seus clusters.Event Hubs for Apache Kafka ecosystems gives you the PaaS Kafka experience without having to manage, configure, or run your clusters.

Suporte a processamento em lotes e em tempo realSupport for real-time and batch processing

Ingerir, armazenar em buffer, armazenar e processar seu fluxo em tempo real para obter análises acionáveis.Ingest, buffer, store, and process your stream in real time to get actionable insights. Os Hubs de Eventos usam um modelo de consumidor particionado, permitindo que vários aplicativos processem o fluxo simultaneamente e permitindo que você controle a velocidade de processamento.Event Hubs uses a partitioned consumer model, enabling multiple applications to process the stream concurrently and letting you control the speed of processing.

Capture seus dados em tempo quase real em um armazenamento de Blobs do Azure ou no Azure Data Lake Storage para retenção de longo prazo ou processamento em microlotes.Capture your data in near-real time in an Azure Blob storage or Azure Data Lake Storage for long-term retention or micro-batch processing. Obtenha esse comportamento no mesmo fluxo que você usa para obter a análise em tempo real.You can achieve this behavior on the same stream you use for deriving real-time analytics. A configuração da captura de dados de evento é rápida.Setting up capture of event data is fast. Não há custos administrativos para executá-la e ela é dimensionada automaticamente com as unidades de produtividade dos Hubs de Eventos.There are no administrative costs to run it, and it scales automatically with Event Hubs throughput units. Os Hubs de Eventos permitem que você se concentre no processamento de dados, em vez de na captura de dados.Event Hubs enables you to focus on data processing rather than on data capture.

Os Hubs de Eventos do Azure também se integram com o Azure Functions para uma arquitetura sem servidor.Azure Event Hubs also integrates with Azure Functions for a serverless architecture.

EscalonávelScalable

Com os Hubs de eventos, você pode iniciar com fluxos de dados em megabytes e aumentar para gigabytes ou terabytes.With Event Hubs, you can start with data streams in megabytes, and grow to gigabytes or terabytes. O recurso Expandir automaticamente é uma das muitas opções disponíveis para aumentar o número de unidades de produtividade para atender às suas necessidades de uso.The Auto-inflate feature is one of the many options available to scale the number of throughput units to meet your usage needs.

Ecossistema avançadoRich ecosystem

Os Hubs de Eventos para ecossistemas do Apache Kafka permitem que clientes e aplicativos do Apache Kafka (1.0 e posterior) se comuniquem com os Hubs de Eventos.Event Hubs for Apache Kafka ecosystems enables Apache Kafka (1.0 and later) clients and applications to talk to Event Hubs. Você não precisa definir, configurar nem gerenciar seus próprios clusters Kafka.You do not need to set up, configure, and manage your own Kafka clusters.

Com um amplo ecossistema disponível em várias linguagens .NET, Java, Python e JavaScript, você pode iniciar com facilidade o processamento dos seus fluxos nos Hubs de Eventos.With a broad ecosystem available in various languages .NET, Java, Python, JavaScript, you can easily start processing your streams from Event Hubs. Todos as linguagens com suporte do cliente fornecem integração de baixo nível.All supported client languages provide low-level integration. O ecossistema também fornece integração perfeita com serviços do Azure, como o Azure Stream Analytics e o Azure Functions, permitindo que você crie arquiteturas sem servidor.The ecosystem also provides you with seamless integration with Azure services like Azure Stream Analytics and Azure Functions and thus enables you to build serverless architectures.

Principais componentes da arquiteturaKey architecture components

Os Hubs de Eventos contêm os seguintes componentes principais:Event Hubs contains the following key components:

  • Produtores de eventos: uma entidade que envia dados para um hub de eventos.Event producers: Any entity that sends data to an event hub. Os editores de eventos podem publicar eventos usando HTTPS ou AMQP 1.0 ou Apache Kafka (1.0 e acima)Event publishers can publish events using HTTPS or AMQP 1.0 or Apache Kafka (1.0 and above)
  • Partições: cada consumidor lê somente um subconjunto específico ou partição do fluxo de mensagens.Partitions: Each consumer only reads a specific subset, or partition, of the message stream.
  • Grupos de consumidores: uma exibição (estado, posição ou deslocamento) de todo um hub de eventos.Consumer groups: A view (state, position, or offset) of an entire event hub. Os grupos de consumidores permitem que vários aplicativos de consumo tenham uma exibição separada do fluxo de eventos.Consumer groups enable consuming applications to each have a separate view of the event stream. Eles leem o fluxo de forma de maneira independente em seu próprio ritmo e com seus próprios deslocamentos.They read the stream independently at their own pace and with their own offsets.
  • Unidades de produtividade: unidades de capacidade pré-adquiridas que controlam a capacidade de produtividade dos Hubs de Eventos.Throughput units: Pre-purchased units of capacity that control the throughput capacity of Event Hubs.
  • Receptores de eventos: qualquer entidade que leia dados de eventos de um hub de eventos.Event receivers: Any entity that reads event data from an event hub. Todos os consumidores dos Hubs de Eventos se conectam por meio da sessão do AMQP 1.0.All Event Hubs consumers connect via the AMQP 1.0 session. O serviço de Hubs de Eventos oferece eventos por meio de uma sessão conforme eles ficam disponíveis.The Event Hubs service delivers events through a session as they become available. Todos os consumidores do Kafka se conectam por meio do protocolo Kafka 1.0 e posterior.All Kafka consumers connect via the Kafka protocol 1.0 and later.

A figura a seguir mostra a arquitetura de processamento de fluxo dos Hubs de Eventos:The following figure shows the Event Hubs stream processing architecture:

Hubs de Eventos

Hubs de Eventos no Azure Stack HubEvent Hubs on Azure Stack Hub

Os Hubs de Eventos no Azure Stack Hub permitem que você concretize cenários de nuvem híbrida.Event Hubs on Azure Stack Hub allows you to realize hybrid cloud scenarios. Há suporte para soluções baseadas em evento e streaming no processamento de nuvem local e do Azure.Streaming and event-based solutions are supported, for both on-premises and Azure cloud processing. Seja o cenário híbrido (conectado) ou desconectado, sua solução pode dar suporte ao processamento de eventos/fluxos em grande escala.Whether your scenario is hybrid (connected), or disconnected, your solution can support processing of events/streams at large scale. O cenário só é associado ao tamanho do cluster dos Hubs de Eventos, que você pode provisionar de acordo com as suas necessidades.Your scenario is only bound by the Event Hubs cluster size, which you can provision according to your needs.

As edições dos Hubs de Eventos (no Azure Stack Hub e no Azure) oferecem um alto grau de paridade de recursos.The Event Hubs editions (on Azure Stack Hub and on Azure) offer a high degree of feature parity. Essa paridade significa que os SDKs, as amostras, o PowerShell, a CLI e os portais oferecem uma experiência semelhante, com poucas diferenças.This parity means SDKs, samples, PowerShell, CLI, and portals offer a similar experience, with few differences.

Os Hubs de Eventos no Stack são gratuitos durante a versão prévia pública.Event Hubs on Stack is free during public preview. Para obter mais informações, confira Visão Geral dos Hubs de Eventos no Azure Stack Hub.For more information, see Event Hubs on Azure Stack Hub overview.

Próximas etapasNext steps

Para começar a usar os Hubs de Eventos, consulte os tutoriais Enviar e receber eventos:To get started using Event Hubs, see the Send and receive events tutorials:

Para saber mais sobre os Hubs de Eventos, consulte os artigos a seguir:To learn more about Event Hubs, see the following articles: