Azure Event Hubs — Een streamingplatform en service voor het opnemen van big data

Azure Event Hubs is een streamingplatform en service voor het opnemen van big data. Het kan miljoenen gebeurtenissen per seconde ontvangen en verwerken. Gegevens die naar een Event Hub worden verzonden, kunnen worden omgezet en opgeslagen door gebruik te maken van een provider voor realtime analytische gegevens of batchverwerking/opslagadapters.

Hier ziet u enkele scenario's waarbij u Event Hubs kunt gebruiken:

  • Anomaliedetectie (fraude/uitbijters)
  • Toepassingslogboeken
  • Analysepijplijnen, zoals clickstreams
  • Live dashboards
  • Archiveren van gegevens
  • Transactieverwerking
  • Gebruikerstelemetrieverwerking
  • Telemetrie van apparaten streamen

Het nut van Event Hubs

Gegevens zijn alleen waardevol wanneer er een eenvoudige manier is om gegevensbronnen te verwerken en tijdig inzicht te krijgen. Event Hubs biedt een gedistribueerd stroomverwerkingsplatform met lage latentie en naadloze integratie met gegevens- en analyseservices binnen en buiten Azure om uw ​​complete big data-pipeline te bouwen.

De rol die Event Hubs speelt, is die van 'voordeur' van een gebeurtenispijplijn. In oplossingsarchitecturen wordt dit vaak een event ingestor genoemd. Een event ingestor is een onderdeel dat of een service die zich tussen gebeurtenisuitgever en gebeurtenisconsumer bevindt en de productie van de gebeurtenisstroom loskoppelt van het gebruik van de betreffende gebeurtenissen. Event Hubs biedt een geïntegreerd streamingplatform met tijdbuffer, waarmee gebeurtenisproducenten worden ontkoppeld van gebeurtenisconsumers.

In de volgende secties worden de belangrijkste functies van de Azure Event Hubs-service beschreven:

Volledig beheerde PaaS

Event Hubs is een volledig beheerde platform as a service (PaaS) met weinig overheadkosten voor configuratie of beheer, zodat u zich kunt concentreren op uw bedrijfsoplossingen. Event Hubs voor Apache Kafka-ecosystemen bieden u de PaaS Kafka-ervaring zonder dat u uw clusters hoeft te beheren, te configureren of uit te voeren.

Ondersteuning voor realtime- en batchverwerking

U kunt uw stroom in realtime opnemen, bufferen, opslaan en verwerken om bruikbare inzichten te krijgen. Event Hubs maakt gebruik van een gepartitioneerd consumermodel, waardoor meerdere toepassingen de stroom gelijktijdig kunnen verwerken en u de verwerkingssnelheid kunt regelen. Azure Event Hubs kan ook worden geïntegreerd met Azure Functions voor een serverloze architectuur.

Gebeurtenisgegevens vastleggen

Leg uw gegevens bijna in realtime vast in een Azure Blob-opslag of Azure Data Lake Storage  voor langdurige bewaring of microbatchverwerking. U kunt dit gedrag bereiken op dezelfde stroom die u gebruikt voor het afleiden van realtime analyses. Het instellen van het vastleggen van gebeurtenisgegevens gaat snel. Er zijn geen beheerkosten om deze uit te voeren en het wordt automatisch geschaald met Event Hubs doorvoereenheden of verwerkingseenheden. Met Event Hubs kunt u zich richten op gegevensverwerking in plaats van gegevens vast te leggen.

Schaalbaar

Met Event Hubs kunt u beginnen met gegevensstromen van megabytes en uitgroeien tot gigabytes of terabytes. De functie Automatisch opschalen is een van de vele opties die beschikbaar zijn om het aantal doorvoereenheden of verwerkingseenheden te schalen om te voldoen aan uw gebruiksbehoeften.

Rijk ecosysteem

Met een breed ecosysteem, gebaseerd op het standaard AMQP 1.0-protocol voor de branche, dat beschikbaar is in verschillende talen, zoals .NET, Java, Python en JavaScript kunt u eenvoudig beginnen met het verwerken van uw streams van Event Hubs. Alle ondersteunde clienttalen bieden integratie op laag niveau. Het ecosysteem biedt u ook naadloze integratie met Azure-services zoals Azure Stream Analytics en Azure Functions, zodat u dus serverloze architecturen kunt bouwen.

Event Hubs voor Apache Kafka

Met Event Hubs voor Apache Kafka-ecosystemen kunnen bovendien clients en toepassingen van Apache Kafka (1.0 en nieuwer) met Event Hubs communiceren. U hoeft uw eigen Kafka- en Zookeeper-clusters niet in te stellen, te configureren en te beheren of gebruik te maken van een Kafka-as-a-Service-aanbieding die niet systeemeigen is voor Azure.

Event Hubs premium en toegewezen

Event Hubs Premium is geschikt voor high-end streamingbehoeften waarvoor betere prestaties, betere isolatie met voorspelbare latentie en minimale interferentie in een beheerde Multitenant PaaS-omgeving nodig zijn. Naast alle functies van het standard-aanbod biedt de Premium-laag verschillende extra functies, zoals dynamisch omhoog schalen van partities, uitgebreide retentie en door de klant beheerde sleutels. Zie voor meer informatie Event Hubs Premium.

Event Hubs toegewezen laag biedt implementaties met één tenant voor klanten met de meest veeleisende streamingbehoeften. Deze aanbieding voor één tenant heeft een gegarandeerde SLA van 99,99% en is alleen beschikbaar in onze speciale prijscategorie. Een Event Hubs-cluster kan miljoenen gebeurtenissen per seconde opnemen met gegarandeerde capaciteit en latentie van minder dan een seconde. Naamruimten en Event Hubs die in het toegewezen cluster zijn gemaakt, bevatten alle functies van het Premium-aanbod en meer. Zie voor meer informatie Event Hubs Dedicated.

Zie vergelijking tussen Event Hubs lagen voor meer informatie.

Event Hubs in Azure Stack Hub

Met Event Hubs in Azure Stack Hub kunt u hybride cloudscenario's verwezenlijken. Streamen en op gebeurtenissen gebaseerde oplossingen worden ondersteund, zowel on-premises als voor Azure-cloudverwerking. Of uw scenario nu hybride (verbonden) is of op zichzelf staat, uw oplossing biedt ondersteuning voor de verwerking van gebeurtenissen/streams op grote schaal. Uw scenario is enkel afhankelijk van de grootte van de Event Hubs-cluster, die u kunt inrichten volgens uw behoeften.

De Event Hubs-versies (op Azure Stack Hub en op Azure) bieden een hoge functiepariteit. Deze pariteit betekent dat SDK's, voorbeelden, PowerShell, CLI en portalen dezelfde ervaring bieden met weinig verschillen.

Event Hubs in Stack is beschikbaar tijdens de openbare preview. Zie het overzicht voor Event Hubs in Azure Stack Hub voor meer informatie.

Belangrijkste onderdelen van de architectuur

Event Hubs bevat de volgende belangrijke onderdelen:

  • Gebeurtenisproducenten: elke entiteit die gegevens naar een Event Hub verzendt. Gebeurtenisuitgevers kunnen gebeurtenissen publiceren met HTTPS, AMQP 1.0 of Apache Kafka (1.0 of hoger)
  • Partities: elke consument leest slechts een specifieke subset, of partitie, van de berichtenstroom.
  • Consumentengroepen: een weergave (status, positie of offset) van een volledige Event Hub. Met consumentengroepen kunnen gebruikstoepassingen elk een afzonderlijke weergave van de gebeurtenisstroom hebben. De stroom wordt onafhankelijk in hun eigen tempo en met eigen verschuivingen afgelezen.
  • Doorvoereenheden of verwerkingseenheden:vooraf gekochte capaciteitseenheden die de doorvoercapaciteit van de Event Hubs.
  • Gebeurtenisontvangers: elke entiteit die gebeurtenisgegevens van een Event Hub leest. Alle consumenten van Event Hubs maken verbinding via de AMQP 1.0-sessie. De Event Hubs-service biedt gebeurtenissen via een sessie zodra ze beschikbaar komen. Alle Kafka-consumers maken verbinding via het protocol Kafka 1.0 of hoger.

In de volgende afbeelding ziet u de architectuur voor de verwerking van stromen van Event Hubs:

Event Hubs

Volgende stappen

Zie de zelfstudies Gebeurtenissen verzenden en ontvangen om aan de slag te gaan met Event Hubs:

Raadpleeg de volgende artikelen voor meer informatie over Event Hubs: