Azure Event Hubs - plateforme de streaming de Big Data et service d’ingestion d’événementsAzure Event Hubs — A big data streaming platform and event ingestion service

Azure Event Hubs est une plateforme de streaming de Big Data et un service d’ingestion d’événements.Azure Event Hubs is a big data streaming platform and event ingestion service. Il peut recevoir et traiter des millions d’événements par seconde.It can receive and process millions of events per second. Les données envoyées à un concentrateur d’événements peuvent être transformées et stockées à l’aide d’adaptateurs de traitement par lot/stockage ou d’un fournisseur d’analyse en temps réel.Data sent to an event hub can be transformed and stored by using any real-time analytics provider or batching/storage adapters.

Les scénarios suivants sont quelques-uns des scénarios dans lesquels vous pouvez utiliser Event Hubs :The following scenarios are some of the scenarios where you can use Event Hubs:

  • Détection d’anomalies (fraude/valeurs hors norme)Anomaly detection (fraud/outliers)
  • Journalisation des applicationsApplication logging
  • Pipelines d’analyse, comme les parcours de visiteAnalytics pipelines, such as clickstreams
  • Tableaux de bord en temps réelLive dashboarding
  • Archivage des donnéesArchiving data
  • Traitement des transactionsTransaction processing
  • Traitement des données de télémétrie utilisateurUser telemetry processing
  • Diffusion en continu de télémétrie d’appareilDevice telemetry streaming

Pourquoi utiliser Azure Event Hubs ?Why use Event Hubs?

Les données ne sont importantes que lorsqu’il y a une manière facile de les traiter et d’obtenir des insights en temps voulu de sources de données.Data is valuable only when there is an easy way to process and get timely insights from data sources. Event Hubs fournit une plateforme de traitement de flux distribués avec une latence faible et une intégration sans interruption, avec des services de données et d’analyse dans et hors Azure pour générer votre pipeline de Big Data complet.Event Hubs provides a distributed stream processing platform with low latency and seamless integration, with data and analytics services inside and outside Azure to build your complete big data pipeline.

Event Hubs représente la « porte d’entrée » pour un pipeline d’événements, parfois qualifié de service de réception d’événements dans des architectures de solution.Event Hubs represents the "front door" for an event pipeline, often called an event ingestor in solution architectures. Un service de réception d'événements est un composant ou service qui se trouve entre les éditeurs d'événements et les consommateurs d'événements pour dissocier la production d'un flux d'événements de leur consommation.An event ingestor is a component or service that sits between event publishers and event consumers to decouple the production of an event stream from the consumption of those events. Event Hubs fournit une plateforme de streaming unifiée avec une mémoire tampon de conservation temporelle, en séparant les producteurs d’événements des consommateurs d’événements.Event Hubs provides a unified streaming platform with time retention buffer, decoupling event producers from event consumers.

Les sections suivantes décrivent les fonctionnalités clés du service Azure Event Hubs :The following sections describe key features of the Azure Event Hubs service:

PaaS intégralement géréeFully managed PaaS

Event Hubs est un service PaaS (Platform-as-a-Service) entièrement géré avec peu de configuration ou de gestion, ce qui vous permet de vous concentrer sur vos solutions métier.Event Hubs is a fully managed Platform-as-a-Service (PaaS) with little configuration or management overhead, so you focus on your business solutions. Event Hubs pour les écosystèmes d’Apache Kafka vous offre l’expérience de PaaS Kafka sans avoir à gérer, configurer ou exécuter vos clusters.Event Hubs for Apache Kafka ecosystems gives you the PaaS Kafka experience without having to manage, configure, or run your clusters.

Prise en charge d’un traitement par lots et en temps réelSupport for real-time and batch processing

Ingérez, mettez en mémoire tampon, stockez et traitez votre flux en temps réel pour obtenir des insights actionnables.Ingest, buffer, store, and process your stream in real time to get actionable insights. Event Hubs utilise un modèle de consommateur partitionné, ce qui permet à plusieurs applications de traiter le flux de données en même temps et vous laisse le contrôle sur la rapidité du traitement.Event Hubs uses a partitioned consumer model, enabling multiple applications to process the stream concurrently and letting you control the speed of processing.

Capturez vos données en quasi temps réel dans un Stockage Blob Azure ou dans Azure Data Lake Store  pour une conservation à long terme ou un traitement par micro-lots.Capture your data in near-real time in an Azure Blob storage or Azure Data Lake Storage for long-term retention or micro-batch processing. Vous pouvez obtenir ce comportement sur le même flux que celui que vous utilisez pour la dérivation de l’analytique en temps réel.You can achieve this behavior on the same stream you use for deriving real-time analytics. La configuration de l’outil Capture est rapide.Setting up capture of event data is fast. Son exécution n’engendre aucun coût d’administration et il s’adapte automatiquement à vos  unités de débit Event Hubs.There are no administrative costs to run it, and it scales automatically with Event Hubs throughput units. Event Hubs vous permet de vous concentrer sur le traitement des données plutôt que sur leur capture.Event Hubs enables you to focus on data processing rather than on data capture.

Azure Event Hubs s’intègre aussi avec Azure Functions pour une architecture sans serveur.Azure Event Hubs also integrates with Azure Functions for a serverless architecture.

ÉvolutifScalable

Avec Event Hubs, vous pouvez commencer avec des flux de données en mégaoctets et passer à des gigaoctets ou téraoctets.With Event Hubs, you can start with data streams in megabytes, and grow to gigabytes or terabytes. La fonctionnalité de majoration automatique est une des nombreuses options disponibles pour mettre à l'échelle le nombre d’unités de débit et ainsi répondre à vos besoins d’utilisation.The Auto-inflate feature is one of the many options available to scale the number of throughput units to meet your usage needs.

Écosystème richeRich ecosystem

Event Hubs pour les écosystèmes Apache Kafka permet aux clients et aux applications Apache Kafka (1.0 et ultérieur) de communiquer avec Event Hub.Event Hubs for Apache Kafka ecosystems enables Apache Kafka (1.0 and later) clients and applications to talk to Event Hubs. Vous n’avez pas besoin d’installer, de configurer et de gérer vos propres clusters Kafka.You do not need to set up, configure, and manage your own Kafka clusters.

Avec un vaste écosystème disponible dans différents langages (.NET, Java, Python, Go, Node.js), vous pouvez facilement lancer le traitement de vos flux en provenance d’Event Hubs.With a broad ecosystem available in various languages (.NET, Java, Python, Go, Node.js), you can easily start processing your streams from Event Hubs. Tous les langages client pris en charge fournissent une intégration de faible niveau.All supported client languages provide low-level integration. L’écosystème vous fournit également une intégration fluide aux services Azure tels qu’Azure Stream Analytics et Azure Functions, et vous permet donc de générer des architectures serverless.The ecosystem also provides you with seamless integration with Azure services like Azure Stream Analytics and Azure Functions and thus enables you to build serverless architectures.

Composants clés de l’architectureKey architecture components

Les concentrateurs d’événements incluent les éléments clés suivants :Event Hubs contains the following key components:

  • Producteurs d’événements : entité qui envoie des données à un hub d'événements.Event producers: Any entity that sends data to an event hub. Les éditeurs d’événements peuvent publier des événements à l’aide du protocole HTTPS ou AMQP 1.0 ou Apache Kafka (1.0 et plus récent).Event publishers can publish events using HTTPS or AMQP 1.0 or Apache Kafka (1.0 and above)
  • Partitions : chaque consommateur lit uniquement un sous-ensemble spécifique (partition) du flux de messages.Partitions: Each consumer only reads a specific subset, or partition, of the message stream.
  • Groupes de consommateurs : vue (état, position ou décalage) d'un hub d'événements dans sa totalité.Consumer groups: A view (state, position, or offset) of an entire event hub. Les groupes de consommateurs permettent que les applications de consommation aient chacune une vue distincte du flux d’événements.Consumer groups enable consuming applications to each have a separate view of the event stream. Ils lisent le flux de manière indépendante à leur propre rythme et avec leurs propres décalages.They read the stream independently at their own pace and with their own offsets.
  • Unités de débit : unités de capacité qui contrôlent la capacité de débit d'Event Hubs, achetées préalablement.Throughput units: Pre-purchased units of capacity that control the throughput capacity of Event Hubs.
  • Récepteurs d’événements : entité qui lit des données d'événement à partir d'un hub d’événements.Event receivers: Any entity that reads event data from an event hub. Tous les consommateurs Event Hubs se connectent à l’aide de la session AMQP 1.0.All Event Hubs consumers connect via the AMQP 1.0 session. Le service Event Hubs remet les événements au cours d’une session dès qu’ils sont disponibles.The Event Hubs service delivers events through a session as they become available. Tous les consommateurs de Kafka se connectent via le protocole Kafka 1.0 et versions ultérieures.All Kafka consumers connect via the Kafka protocol 1.0 and later.

La figure suivante montre l’architecture de traitement de flux Event Hubs :The following figure shows the Event Hubs stream processing architecture:

Event Hubs

Étapes suivantesNext steps

Pour commencer à utiliser Event Hubs, consultez les tutoriels Envoyer et recevoir des événements :To get started using Event Hubs, see the Send and receive events tutorials:

Pour plus d’informations sur les hubs d’événements, consultez les articles suivants :To learn more about Event Hubs, see the following articles: