Hubs de Eventos do Azure – Uma plataforma de transmissão em fluxo de macrodados e um serviço de ingestão de eventosAzure Event Hubs — A big data streaming platform and event ingestion service

Os hubs de eventos do Azure são uma plataforma de streaming Big Data e um serviço de ingestão de eventos.Azure Event Hubs is a big data streaming platform and event ingestion service. Ele pode receber e processar milhões de eventos por segundo.It can receive and process millions of events per second. Os dados enviados para um hub de eventos podem ser transformados e armazenados em qualquer fornecedor de análise em tempo real ou adaptadores de armazenamento/criação de batches.Data sent to an event hub can be transformed and stored by using any real-time analytics provider or batching/storage adapters.

Os cenários a seguir são alguns dos cenários em que você pode usar os hubs de eventos:The following scenarios are some of the scenarios where you can use Event Hubs:

  • Deteção de anomalias (fraude/valores atípicos)Anomaly detection (fraud/outliers)
  • Registo de aplicaçãoApplication logging
  • Pipelines de análise, por exemplo, clickstreamsAnalytics pipelines, such as clickstreams
  • Dashboarding em diretoLive dashboarding
  • Arquivo de dadosArchiving data
  • Processamento de transaçõesTransaction processing
  • Processamento de telemetria do utilizadorUser telemetry processing
  • Transmissão em fluxo de telemetria do dispositivoDevice telemetry streaming

Por quê utilizar os Hubs de Eventos?Why use Event Hubs?

Os dados são valiosos apenas quando existe uma forma fácil de processar e obter informações atempadas de origens de dados.Data is valuable only when there is an easy way to process and get timely insights from data sources. Os hubs de eventos fornecem uma plataforma de processamento de fluxo distribuído com baixa latência e integração direta, com dados e serviços de análise dentro e fora do Azure para criar seu pipeline de Big Data completo.Event Hubs provides a distributed stream processing platform with low latency and seamless integration, with data and analytics services inside and outside Azure to build your complete big data pipeline.

Os Hubs de Eventos representam a "porta de entrada" para um pipeline de eventos, denominado frequentemente ingestor de eventos em arquiteturas de solução.Event Hubs represents the "front door" for an event pipeline, often called an event ingestor in solution architectures. Um ingestor de eventos é um componente ou serviço que se encontra entre os publicadores de eventos e os consumidores de eventos para desacoplar a produção de uma transmissão de eventos do consumo desses eventos.An event ingestor is a component or service that sits between event publishers and event consumers to decouple the production of an event stream from the consumption of those events. Os hubs de eventos fornecem uma plataforma de streaming unificada com buffer de retenção de tempo, desacoplando produtores de eventos de consumidores de eventos.Event Hubs provides a unified streaming platform with time retention buffer, decoupling event producers from event consumers.

As secções seguintes descrevem as principais funcionalidades do serviço Hubs de Eventos do Azure:The following sections describe key features of the Azure Event Hubs service:

PaaS totalmente geridoFully managed PaaS

Os hubs de eventos são uma PaaS (plataforma como serviço) totalmente gerenciada com pouca sobrecarga de configuração ou de gerenciamento, para que você se concentre em suas soluções de negócios.Event Hubs is a fully managed Platform-as-a-Service (PaaS) with little configuration or management overhead, so you focus on your business solutions. Os Hubs de Eventos para ecossistemas do Apache Kafka oferecem-lhe experiência de PaaS Kafka sem ter de gerir, configurar ou executar os seus clusters.Event Hubs for Apache Kafka ecosystems gives you the PaaS Kafka experience without having to manage, configure, or run your clusters.

Suporte para processamento em tempo real e em lotesSupport for real-time and batch processing

Ingira, coloque em memória intermédia, armazene e processe a sua transmissão em fluxo em tempo real para obter informações acionáveis.Ingest, buffer, store, and process your stream in real time to get actionable insights. Os hubs de eventos usam um modelo de consumidor particionado, permitindo que vários aplicativos processem o fluxo simultaneamente e permitindo que você controle a velocidade do processamento.Event Hubs uses a partitioned consumer model, enabling multiple applications to process the stream concurrently and letting you control the speed of processing.

Capture seus dados quase em tempo real em um armazenamento de BLOBs do Azure ou Azure data Lake Storage para retenção de longo prazo ou processamento de micro Batch.Capture your data in near-real time in an Azure Blob storage or Azure Data Lake Storage for long-term retention or micro-batch processing. Você pode obter esse comportamento no mesmo fluxo usado para derivar análises em tempo real.You can achieve this behavior on the same stream you use for deriving real-time analytics. A configuração da captura de dados de evento é rápida.Setting up capture of event data is fast. Não há custos administrativos para executá-lo e ele é dimensionado automaticamente com as unidades de produtividadedos hubs de eventos.There are no administrative costs to run it, and it scales automatically with Event Hubs throughput units. Os hubs de eventos permitem que você se concentre no processamento de dados em vez de na captura de dados.Event Hubs enables you to focus on data processing rather than on data capture.

Os Hubs de Eventos do Azure também se integram nas Funções do Azure para uma arquitetura sem servidor.Azure Event Hubs also integrates with Azure Functions for a serverless architecture.

EscalávelScalable

Com os Hubs de Eventos, pode começar com fluxos de dados em megabytes e aumentar para gigabytes ou terabytes.With Event Hubs, you can start with data streams in megabytes, and grow to gigabytes or terabytes. A funcionalidade Ampliação automática é uma das muitas opções disponíveis para dimensionar o número de unidades de débito para satisfazer as suas necessidades de utilização.The Auto-inflate feature is one of the many options available to scale the number of throughput units to meet your usage needs.

Ecossistema avançadoRich ecosystem

Os hubs de eventos para Apache Kafka ecossistemas permitem que clientes e aplicativos do Apache Kafka (1,0 e posteriores) se comuniquem com os hubs de eventos.Event Hubs for Apache Kafka ecosystems enables Apache Kafka (1.0 and later) clients and applications to talk to Event Hubs. Você não precisa configurar, configurar e gerenciar seus próprios clusters Kafka.You do not need to set up, configure, and manage your own Kafka clusters.

Com um ecossistema abrangente disponível em várias linguagens (.NET, Java, Python, Go, Node.js), pode começar facilmente a processar transmissões em fluxo dos Hubs de Eventos.With a broad ecosystem available in various languages (.NET, Java, Python, Go, Node.js), you can easily start processing your streams from Event Hubs. Todas as linguagens de cliente suportadas oferecem integração de nível baixo.All supported client languages provide low-level integration. O ecossistema também fornece integração direta com os serviços do Azure como Azure Stream Analytics e Azure Functions e, portanto, permite que você crie arquiteturas sem servidor.The ecosystem also provides you with seamless integration with Azure services like Azure Stream Analytics and Azure Functions and thus enables you to build serverless architectures.

Principais componentes da arquiteturaKey architecture components

Os Hubs de Eventos contêm os seguintes componentes principais:Event Hubs contains the following key components:

  • Produtores de eventos: Qualquer entidade que envia dados para um hub de eventos.Event producers: Any entity that sends data to an event hub. Os publicadores de eventos podem publicar eventos através de HTTPS ou AMQP 1.0 ou Apache Kafka (1.0 ou superior)Event publishers can publish events using HTTPS or AMQP 1.0 or Apache Kafka (1.0 and above)
  • Partições: Cada consumidor lê apenas um subconjunto específico, ou partição, do fluxo de mensagens.Partitions: Each consumer only reads a specific subset, or partition, of the message stream.
  • Grupos de consumidores: Uma exibição (estado, posição ou deslocamento) de um hub de eventos inteiro.Consumer groups: A view (state, position, or offset) of an entire event hub. Os grupos de consumidores permitem que os aplicativos de consumo tenham uma exibição separada do fluxo de eventos.Consumer groups enable consuming applications to each have a separate view of the event stream. Eles lêem o fluxo de forma independente em seu próprio ritmo e com seus próprios deslocamentos.They read the stream independently at their own pace and with their own offsets.
  • Unidades de produtividade: Unidades de capacidade adquiridas previamente que controlam a capacidade de taxa de transferência dos hubs de eventos.Throughput units: Pre-purchased units of capacity that control the throughput capacity of Event Hubs.
  • Receptores de eventos: Qualquer entidade que lê dados de eventos de um hub de eventos.Event receivers: Any entity that reads event data from an event hub. Todos os consumidores dos hubs de eventos se conectam por meio da sessão do AMQP 1,0.All Event Hubs consumers connect via the AMQP 1.0 session. O serviço de hubs de eventos entrega eventos por meio de uma sessão à medida que eles ficam disponíveis.The Event Hubs service delivers events through a session as they become available. Todos os consumidores de Kafka ligam através do protocolo de Kafka 1.0 e posterior.All Kafka consumers connect via the Kafka protocol 1.0 and later.

A imagem seguinte mostra a arquitetura do processamento de fluxos dos Hubs de Eventos:The following figure shows the Event Hubs stream processing architecture:

Hubs de Eventos

Passos seguintesNext steps

Para começar a usar os hubs de eventos, consulte os tutoriais de eventos de envio e recebimento :To get started using Event Hubs, see the Send and receive events tutorials:

Para saber mais sobre os Hub de Eventos, veja os artigos seguintes:To learn more about Event Hubs, see the following articles: