Azure Event Hubs — Een streamingplatform en service voor het opnemen van big dataAzure Event Hubs — A big data streaming platform and event ingestion service

Azure Event Hubs is een streamingplatform en service voor het opnemen van big data.Azure Event Hubs is a big data streaming platform and event ingestion service. Het kan miljoenen gebeurtenissen per seconde ontvangen en verwerken.It can receive and process millions of events per second. Gegevens die naar een Event Hub worden verzonden, kunnen worden omgezet en opgeslagen door gebruik te maken van een provider voor realtime analytische gegevens of batchverwerking/opslagadapters.Data sent to an event hub can be transformed and stored by using any real-time analytics provider or batching/storage adapters.

Hier ziet u enkele scenario's waarbij u Event Hubs kunt gebruiken:The following scenarios are some of the scenarios where you can use Event Hubs:

  • Anomaliedetectie (fraude/uitbijters)Anomaly detection (fraud/outliers)
  • ToepassingslogboekenApplication logging
  • Analysepijplijnen, zoals clickstreamsAnalytics pipelines, such as clickstreams
  • Live dashboardsLive dashboarding
  • Archiveren van gegevensArchiving data
  • TransactieverwerkingTransaction processing
  • GebruikerstelemetrieverwerkingUser telemetry processing
  • Telemetrie van apparaten streamenDevice telemetry streaming

Het nut van Event HubsWhy use Event Hubs?

Gegevens zijn alleen waardevol als er een gemakkelijke manier is om gegevens uit bronnen te verwerken en tijdig inzichten te verkrijgen.Data is valuable only when there is an easy way to process and get timely insights from data sources. Event Hubs biedt een gedistribueerd stroomverwerkingsplatform met lage latentie en naadloze integratie met gegevens- en analyseservices binnen en buiten Azure om uw ​​complete big data-pipeline te bouwen.Event Hubs provides a distributed stream processing platform with low latency and seamless integration, with data and analytics services inside and outside Azure to build your complete big data pipeline.

De rol die Event Hubs speelt, is die van 'voordeur' van een gebeurtenispijplijn. In oplossingsarchitecturen wordt dit vaak een event ingestor genoemd.Event Hubs represents the "front door" for an event pipeline, often called an event ingestor in solution architectures. Een event ingestor is een onderdeel dat of een service die zich tussen gebeurtenisuitgever en gebeurtenisconsumer bevindt en de productie van de gebeurtenisstroom loskoppelt van het gebruik van de betreffende gebeurtenissen.An event ingestor is a component or service that sits between event publishers and event consumers to decouple the production of an event stream from the consumption of those events. Event Hubs biedt een geïntegreerd streamingplatform met tijdbuffer, waarmee gebeurtenisproducenten worden ontkoppeld van gebeurtenisconsumers.Event Hubs provides a unified streaming platform with time retention buffer, decoupling event producers from event consumers.

In de volgende secties worden de belangrijkste functies van de Azure Event Hubs-service beschreven:The following sections describe key features of the Azure Event Hubs service:

Volledig beheerde PaaSFully managed PaaS

Event Hubs is een volledig beheerde platform as a service (PaaS) met weinig overheadkosten voor configuratie of beheer, zodat u zich kunt concentreren op uw bedrijfsoplossingen.Event Hubs is a fully managed Platform-as-a-Service (PaaS) with little configuration or management overhead, so you focus on your business solutions. Event Hubs voor Apache Kafka-ecosystemen bieden u de PaaS Kafka-ervaring zonder dat u uw clusters hoeft te beheren, te configureren of uit te voeren.Event Hubs for Apache Kafka ecosystems gives you the PaaS Kafka experience without having to manage, configure, or run your clusters.

Ondersteuning voor realtime- en batchverwerkingSupport for real-time and batch processing

U kunt uw stroom in realtime opnemen, bufferen, opslaan en verwerken om bruikbare inzichten te krijgen.Ingest, buffer, store, and process your stream in real time to get actionable insights. Event Hubs maakt gebruik van een gepartitioneerd consumermodel, waardoor meerdere toepassingen de stroom gelijktijdig kunnen verwerken en u de verwerkingssnelheid kunt regelen.Event Hubs uses a partitioned consumer model, enabling multiple applications to process the stream concurrently and letting you control the speed of processing.

Leg uw gegevens bijna in realtime vast in een Azure Blob-opslag of Azure Data Lake Storage  voor langdurige bewaring of microbatchverwerking.Capture your data in near-real time in an Azure Blob storage or Azure Data Lake Storage for long-term retention or micro-batch processing. U kunt dit gedrag bereiken op dezelfde stroom die u gebruikt voor het afleiden van realtime analyses.You can achieve this behavior on the same stream you use for deriving real-time analytics. Het instellen van het vastleggen van gebeurtenisgegevens gaat snel.Setting up capture of event data is fast. Er zijn geen beheerkosten om het uit te voeren en het schaalt automatisch met Event Hubs- doorvoereenheden.There are no administrative costs to run it, and it scales automatically with Event Hubs throughput units. Met Event Hubs kunt u zich richten op gegevensverwerking in plaats van gegevens vast te leggen.Event Hubs enables you to focus on data processing rather than on data capture.

Azure Event Hubs kan ook worden geïntegreerd met Azure Functions voor een serverloze architectuur.Azure Event Hubs also integrates with Azure Functions for a serverless architecture.

SchaalbaarScalable

Met Event Hubs kunt u beginnen met gegevensstromen van megabytes en uitgroeien tot gigabytes of terabytes.With Event Hubs, you can start with data streams in megabytes, and grow to gigabytes or terabytes. De functie Automatisch vergroten is een van de vele beschikbare opties voor het schalen van het aantal doorvoereenheden om aan uw verbruiksbehoeften te voldoen.The Auto-inflate feature is one of the many options available to scale the number of throughput units to meet your usage needs.

Rijk ecosysteemRich ecosystem

Met een breed ecosysteem, gebaseerd op het standaard AMQP 1.0-protocol voor de branche, dat beschikbaar is in verschillende talen, zoals .NET, Java, Python en JavaScript kunt u eenvoudig beginnen met het verwerken van uw streams van Event Hubs.With a broad ecosystem based on the industry-standard AMQP 1.0 protocol and available in various languages .NET, Java, Python, JavaScript, you can easily start processing your streams from Event Hubs. Alle ondersteunde clienttalen bieden integratie op laag niveau.All supported client languages provide low-level integration. Het ecosysteem biedt u ook naadloze integratie met Azure-services zoals Azure Stream Analytics en Azure Functions, zodat u dus serverloze architecturen kunt bouwen.The ecosystem also provides you with seamless integration with Azure services like Azure Stream Analytics and Azure Functions and thus enables you to build serverless architectures.

Met Event Hubs voor Apache Kafka-ecosystemen kunnen bovendien clients en toepassingen van Apache Kafka (1.0 en nieuwer) met Event Hubs communiceren.Event Hubs for Apache Kafka ecosystems furthermore enables Apache Kafka (1.0 and later) clients and applications to talk to Event Hubs. U hoeft uw eigen Kafka- en Zookeeper-clusters niet in te stellen, te configureren en te beheren, of een Kafka-as-a-Service-aanbieding te gebruiken die niet systeemeigen is voor Azure.You do not need to set up, configure, and manage your own Kafka and Zookeeper clusters or use some Kafka-as-a-Service offering not native to Azure.

Belangrijkste onderdelen van de architectuurKey architecture components

Event Hubs bevat de volgende belangrijke onderdelen:Event Hubs contains the following key components:

  • Gebeurtenisproducenten: elke entiteit die gegevens naar een Event Hub verzendt.Event producers: Any entity that sends data to an event hub. Gebeurtenisuitgevers kunnen gebeurtenissen publiceren met HTTPS, AMQP 1.0 of Apache Kafka (1.0 of hoger)Event publishers can publish events using HTTPS or AMQP 1.0 or Apache Kafka (1.0 and above)
  • Partities: elke consument leest slechts een specifieke subset, of partitie, van de berichtenstroom.Partitions: Each consumer only reads a specific subset, or partition, of the message stream.
  • Consumentengroepen: een weergave (status, positie of offset) van een volledige Event Hub.Consumer groups: A view (state, position, or offset) of an entire event hub. Met consumentengroepen kunnen gebruikstoepassingen elk een afzonderlijke weergave van de gebeurtenisstroom hebben.Consumer groups enable consuming applications to each have a separate view of the event stream. De stroom wordt onafhankelijk in hun eigen tempo en met eigen verschuivingen afgelezen.They read the stream independently at their own pace and with their own offsets.
  • Doorvoereenheden: vooraf gekochte eenheden van capaciteit die de doorvoercapaciteit van Event Hubs regelen.Throughput units: Pre-purchased units of capacity that control the throughput capacity of Event Hubs.
  • Gebeurtenisontvangers: elke entiteit die gebeurtenisgegevens van een Event Hub leest.Event receivers: Any entity that reads event data from an event hub. Alle consumenten van Event Hubs maken verbinding via de AMQP 1.0-sessie.All Event Hubs consumers connect via the AMQP 1.0 session. De Event Hubs-service biedt gebeurtenissen via een sessie zodra ze beschikbaar komen.The Event Hubs service delivers events through a session as they become available. Alle Kafka-consumers maken verbinding via het protocol Kafka 1.0 of hoger.All Kafka consumers connect via the Kafka protocol 1.0 and later.

In de volgende afbeelding ziet u de architectuur voor de verwerking van stromen van Event Hubs:The following figure shows the Event Hubs stream processing architecture:

Event Hubs

Event Hubs in Azure Stack HubEvent Hubs on Azure Stack Hub

Met Event Hubs in Azure Stack Hub kunt u hybride cloudscenario's verwezenlijken.Event Hubs on Azure Stack Hub allows you to realize hybrid cloud scenarios. Streamen en op gebeurtenissen gebaseerde oplossingen worden ondersteund, zowel on-premises als voor Azure-cloudverwerking.Streaming and event-based solutions are supported, for both on-premises and Azure cloud processing. Of uw scenario nu hybride (verbonden) is of op zichzelf staat, uw oplossing biedt ondersteuning voor de verwerking van gebeurtenissen/streams op grote schaal.Whether your scenario is hybrid (connected), or disconnected, your solution can support processing of events/streams at large scale. Uw scenario is enkel afhankelijk van de grootte van de Event Hubs-cluster, die u kunt inrichten volgens uw behoeften.Your scenario is only bound by the Event Hubs cluster size, which you can provision according to your needs.

De Event Hubs-versies (op Azure Stack Hub en op Azure) bieden een hoge functiepariteit.The Event Hubs editions (on Azure Stack Hub and on Azure) offer a high degree of feature parity. Deze pariteit betekent dat SDK's, voorbeelden, PowerShell, CLI en portalen dezelfde ervaring bieden met weinig verschillen.This parity means SDKs, samples, PowerShell, CLI, and portals offer a similar experience, with few differences.

Event Hubs in Stack is beschikbaar tijdens de openbare preview.Event Hubs on Stack is free during public preview. Zie het overzicht voor Event Hubs in Azure Stack Hub voor meer informatie.For more information, see Event Hubs on Azure Stack Hub overview.

Volgende stappenNext steps

Zie de zelfstudies Gebeurtenissen verzenden en ontvangen om aan de slag te gaan met Event Hubs:To get started using Event Hubs, see the Send and receive events tutorials:

Raadpleeg de volgende artikelen voor meer informatie over Event Hubs:To learn more about Event Hubs, see the following articles: