Azure Event Hubs: Big Data-Streamingplattform und EreigniserfassungsdienstAzure Event Hubs — A big data streaming platform and event ingestion service

Bei Azure Event Hubs handelt es sich um eine Big Data-Streamingplattform und einen Ereigniserfassungsdienst.Azure Event Hubs is a big data streaming platform and event ingestion service. Mit diesem Dienst können Millionen von Ereignissen pro Sekunde empfangen und verarbeitet werden.It can receive and process millions of events per second. An einen Event Hub gesendete Daten können transformiert und mit einem beliebigen Echtzeitanalyse-Anbieter oder Batchverarbeitungs-/Speicheradapter gespeichert werden.Data sent to an event hub can be transformed and stored by using any real-time analytics provider or batching/storage adapters.

Event Hubs kann beispielsweise in den folgenden Szenarien verwendet werden:The following scenarios are some of the scenarios where you can use Event Hubs:

  • Anomalieerkennung (Betrug/Ausreißer)Anomaly detection (fraud/outliers)
  • AnwendungsprotokollierungApplication logging
  • Analyse-Pipelines, z.B. ClickstreamsAnalytics pipelines, such as clickstreams
  • Dashboards in EchtzeitLive dashboarding
  • Archivierung von DatenArchiving data
  • TransaktionsverarbeitungTransaction processing
  • Verarbeitung der BenutzertelemetrieUser telemetry processing
  • Streaming der GerätetelemetrieDevice telemetry streaming

Vorteile von Event HubsWhy use Event Hubs?

Daten sind nur wertvoll, wenn es eine einfache Möglichkeit für die Verarbeitung und das Abrufen frühzeitiger Einblicke von Datenquellen gibt.Data is valuable only when there is an easy way to process and get timely insights from data sources. Event Hubs stellt eine verteilte Verarbeitungsplattform für Datenströme mit kurzer Wartezeit und nahtloser Integration sowie Daten und Analysediensten innerhalb und außerhalb von Azure bereit, um eine vollständige Big Data-Pipeline zu erstellen.Event Hubs provides a distributed stream processing platform with low latency and seamless integration, with data and analytics services inside and outside Azure to build your complete big data pipeline.

Event Hubs stellt die „Vordertür“ für eine Ereignispipeline dar. Dies wird in Lösungsarchitekturen oft als Ereignisingestor bezeichnet.Event Hubs represents the "front door" for an event pipeline, often called an event ingestor in solution architectures. Ein Ereigniserfasser ist eine Komponente oder ein Dienst zwischen Ereignisherausgeber und Ereignisverarbeitung zum Entkoppeln der Erzeugung eines Ereignisdatenstroms von der Verarbeitung dieser Ereignisse.An event ingestor is a component or service that sits between event publishers and event consumers to decouple the production of an event stream from the consumption of those events. Event Hubs bietet eine einheitliche Streamingplattform mit einem Aufbewahrungspuffer, durch den die Ereignisersteller von den Ereignisconsumern entkoppelt werden.Event Hubs provides a unified streaming platform with time retention buffer, decoupling event producers from event consumers.

In den folgenden Abschnitten werden die wichtigsten Features des Azure Event Hubs-Diensts beschrieben:The following sections describe key features of the Azure Event Hubs service:

Vollständig verwaltete PaaSFully managed PaaS

Event Hubs ist eine vollständig verwaltete PaaS (Platform-as-a-Service) mit geringfügigem Konfigurations- oder Verwaltungsaufwand, sodass Sie sich auf Ihre Unternehmenslösungen konzentrieren können.Event Hubs is a fully managed Platform-as-a-Service (PaaS) with little configuration or management overhead, so you focus on your business solutions. Event Hubs für Apache Kafka-Ökosysteme bietet Ihnen die Funktionen von PaaS-Kafka, ohne dass Sie Cluster verwalten, konfigurieren oder ausführen müssen.Event Hubs for Apache Kafka ecosystems gives you the PaaS Kafka experience without having to manage, configure, or run your clusters.

Unterstützung für Echtzeit- und BatchverarbeitungSupport for real-time and batch processing

Erfassen, puffern, speichern und verarbeiten Sie Ihren Datenstrom in Echtzeit, um verwertbare Einblicke zu erhalten.Ingest, buffer, store, and process your stream in real time to get actionable insights. Event Hubs verwendet ein partitioniertes Consumermodell, sodass mehrere Anwendungen den Datenstrom gleichzeitig verarbeiten und Sie die Verarbeitungsgeschwindigkeit steuern können.Event Hubs uses a partitioned consumer model, enabling multiple applications to process the stream concurrently and letting you control the speed of processing.

Erfassen Sie Ihre Daten mit Capture nahezu in Echtzeit in Azure Blob Storage oder Azure Data Lake Storage für die Langzeitaufbewahrung oder die Microbatch-Verarbeitung.Capture your data in near-real time in an Azure Blob storage or Azure Data Lake Storage for long-term retention or micro-batch processing. Sie können dieses Verhalten für den gleichen Datenstrom erreichen, den Sie zum Ableiten von Echtzeitanalysen verwenden.You can achieve this behavior on the same stream you use for deriving real-time analytics. Das Einrichten der Erfassung von Ereignisdaten geht schnell.Setting up capture of event data is fast. Für das Ausführen fallen keine Verwaltungskosten an, und die Skalierung erfolgt automatisch mit den  Event Hub-Durchsatzeinheiten.There are no administrative costs to run it, and it scales automatically with Event Hubs throughput units. Mit Event Hubs können Sie sich anstelle auf die Datenerfassung auf die Datenverarbeitung konzentrieren.Event Hubs enables you to focus on data processing rather than on data capture.

Azure Event Hubs lässt sich für eine serverlose Architektur auch mit Azure Functions integrieren.Azure Event Hubs also integrates with Azure Functions for a serverless architecture.

SkalierbarScalable

Mit Event Hubs können Sie mit Datenströmen in Megabytes anfangen und zu Gigabytes oder Terabytes erweitern.With Event Hubs, you can start with data streams in megabytes, and grow to gigabytes or terabytes. Das Feature für die automatische Vergrößerung ist eine von vielen verfügbaren Optionen zum Skalieren der Anzahl von Durchsatzeinheiten, um Ihren Nutzungsanforderungen gerecht zu werden.The Auto-inflate feature is one of the many options available to scale the number of throughput units to meet your usage needs.

Umfangreiches ÖkosystemRich ecosystem

Mit Event Hubs für Apache Kafka-Ökosysteme können Apache Kafka-Clients und -Anwendungen (1.0 und höher) mit Event Hubs kommunizieren.Event Hubs for Apache Kafka ecosystems enables Apache Kafka (1.0 and later) clients and applications to talk to Event Hubs. Sie müssen keine eigenen Kafka-Cluster einrichten, konfigurieren und verwalten.You do not need to set up, configure, and manage your own Kafka clusters.

Mit einem umfassenden Ökosystem in verschiedenen Sprachen (.NET, Java, Python, JavaScript) können Sie über Event Hubs problemlos mit der Verarbeitung Ihrer Datenströme beginnen.With a broad ecosystem available in various languages .NET, Java, Python, JavaScript, you can easily start processing your streams from Event Hubs. Mit allen unterstützten Clientsprachen wird tiefgreifende Integration gewährleistet.All supported client languages provide low-level integration. Das Ökosystem ermöglicht darüber hinaus die nahtlose Integration in Azure-Dienste wie Azure Stream Analytics und Azure Functions und damit die Erstellung serverloser Architekturen.The ecosystem also provides you with seamless integration with Azure services like Azure Stream Analytics and Azure Functions and thus enables you to build serverless architectures.

Wichtige Komponenten der ArchitekturKey architecture components

Event Hubs enthält die folgenden Schlüsselkomponenten:Event Hubs contains the following key components:

  • Ereignisersteller: Jede Entität, die Daten an einen Event Hub sendet.Event producers: Any entity that sends data to an event hub. Ereignisherausgeber können Ereignisse über HTTPS, AMQP 1.0 oder Apache Kafka (1.0 und höher) veröffentlichen.Event publishers can publish events using HTTPS or AMQP 1.0 or Apache Kafka (1.0 and above)
  • Partitionen: Jeder Consumer liest nur eine bestimmte Teilmenge oder Partition des Nachrichtendatenstroms.Partitions: Each consumer only reads a specific subset, or partition, of the message stream.
  • Consumergruppen: Eine Ansicht (Zustand, Position oder Offset) eines gesamten Event Hubs.Consumer groups: A view (state, position, or offset) of an entire event hub. Mithilfe von Consumergruppen können verarbeitende Anwendungen jeweils über eine separate Ansicht des Ereignisdatenstroms verfügen.Consumer groups enable consuming applications to each have a separate view of the event stream. Sie können den Datenstrom unabhängig voneinander im eigenen Tempo und mit eigenen Offsets lesen.They read the stream independently at their own pace and with their own offsets.
  • Durchsatzeinheiten: Vorab erworbene Kapazitätseinheiten, die die Durchsatzkapazität von Event Hubs steuern.Throughput units: Pre-purchased units of capacity that control the throughput capacity of Event Hubs.
  • Ereignisempfänger: Jede Entität, die Ereignisdaten aus einem Event Hub liest.Event receivers: Any entity that reads event data from an event hub. Alle Event Hubs-Consumer stellen eine Verbindung über die AMQP 1.0-Sitzung her.All Event Hubs consumers connect via the AMQP 1.0 session. Der Event Hubs-Dienst stellt Ereignisse über eine Sitzung bereit, sobald diese verfügbar werden.The Event Hubs service delivers events through a session as they become available. Alle Kafka-Consumer verwenden zur Verbindungsherstellung mindestens das Kafka-Protokoll 1.0.All Kafka consumers connect via the Kafka protocol 1.0 and later.

Die folgende Abbildung zeigt die Datenstromverarbeitungsarchitektur von Event Hubs:The following figure shows the Event Hubs stream processing architecture:

Event Hubs

Event Hubs in Azure Stack HubEvent Hubs on Azure Stack Hub

Mit Event Hubs in Azure Stack Hub können Sie Hybrid Cloud-Szenarien umsetzen.Event Hubs on Azure Stack Hub allows you to realize hybrid cloud scenarios. Streaming- und ereignisbasierte Lösungen werden sowohl für lokale als auch für Azure-Cloudverarbeitung unterstützt.Streaming and event-based solutions are supported, for both on-premises and Azure cloud processing. Unabhängig davon, ob Ihr Szenario ein hybrides (verbundenes) oder getrenntes Szenario ist, kann Ihre Lösung die Verarbeitung von großvolumigen Ereignissen/Streams unterstützen.Whether your scenario is hybrid (connected), or disconnected, your solution can support processing of events/streams at large scale. Ihr Szenario ist nur an die Größe des Event Hubs-Clusters gebunden, die Sie entsprechend Ihren Anforderungen bereitstellen können.Your scenario is only bound by the Event Hubs cluster size, which you can provision according to your needs.

Die Event Hubs-Editionen (in Azure Stack Hub und in Azure) bieten ein hohes Maß an Featureparität (Funktionsparität).The Event Hubs editions (on Azure Stack Hub and on Azure) offer a high degree of feature parity. Diese Parität bedeutet, dass SDKs, Beispiele, PowerShell, CLI und Portale eine ähnliche Funktionalität bieten, mit wenigen Unterschieden.This parity means SDKs, samples, PowerShell, CLI, and portals offer a similar experience, with few differences.

Event Hubs in Stack ist während der öffentlichen Vorschauphase kostenlos.Event Hubs on Stack is free during public preview. Weitere Informationen finden Sie unter Event Hubs in Azure Stack Hub – Übersicht.For more information, see Event Hubs on Azure Stack Hub overview.

Nächste SchritteNext steps

Lesen Sie zum Einstieg in die Verwendung von Event Hubs die Tutorials zum Senden und Empfangen von Ereignissen:To get started using Event Hubs, see the Send and receive events tutorials:

Weitere Informationen zu Event Hubs finden Sie in den folgenden Artikeln:To learn more about Event Hubs, see the following articles: