Azure Event Hubs – A big data streaming platform és az esemény-betöltési szolgáltatásAzure Event Hubs — A big data streaming platform and event ingestion service

Az Azure Event Hubs egy big data streaming platform és esemény-betöltési szolgáltatás.Azure Event Hubs is a big data streaming platform and event ingestion service. Másodpercenként több millió eseményt képes fogadni és feldolgozni.It can receive and process millions of events per second. Az eseményközpontokba elküldött adatok bármilyen valós idejű elemzési szolgáltató vagy kötegelési/tárolóadapter segítségével átalakíthatók és tárolhatók.Data sent to an event hub can be transformed and stored by using any real-time analytics provider or batching/storage adapters.

A következő forgatókönyvek néhány olyan forgatókönyvet érintenek, amelyekben a Event Hubs használható:The following scenarios are some of the scenarios where you can use Event Hubs:

  • Rendellenességek észlelése (csalások/kiugró értékek)Anomaly detection (fraud/outliers)
  • AlkalmazásnaplózásApplication logging
  • Elemzési folyamatok, például kattintássorozatokéAnalytics pipelines, such as clickstreams
  • Élő irányítópultokLive dashboarding
  • Adatok archiválásaArchiving data
  • TranzakciófeldolgozásTransaction processing
  • Felhasználói telemetria feldolgozásaUser telemetry processing
  • Eszköztelemetria-streamDevice telemetry streaming

Miért érdemes az Event Hubs platformot használni?Why use Event Hubs?

Az adatok csak akkor képviselnek értéket, ha könnyen feldolgozhatók, és időszerű elemzések állíthatók össze az adatforrásokból.Data is valuable only when there is an easy way to process and get timely insights from data sources. A Event Hubs az Azure-on belüli és azon kívüli adatelemzési és a zökkenőmentes integrációt biztosító elosztott adatfolyam-feldolgozó platformot biztosít a teljes big data folyamat létrehozásához.Event Hubs provides a distributed stream processing platform with low latency and seamless integration, with data and analytics services inside and outside Azure to build your complete big data pipeline.

Az Event Hubs az eseményfolyamatok „bejárati ajtaja”, amelyet gyakran neveznek eseménybetöltőnek a megoldásarchitektúrákban.Event Hubs represents the "front door" for an event pipeline, often called an event ingestor in solution architectures. Az eseménybetöltő egy olyan összetevő vagy szolgáltatás, amely az esemény-közzétevők és az eseményfelhasználók közé ékelődve elkülöníti az eseménystream létrehozását az események felhasználásától.An event ingestor is a component or service that sits between event publishers and event consumers to decouple the production of an event stream from the consumption of those events. A Event Hubs egy egységes adatfolyam-platformot biztosít az időmegőrzési pufferrel, az események fogyasztóitól való leválasztást.Event Hubs provides a unified streaming platform with time retention buffer, decoupling event producers from event consumers.

A következő szakaszok az Azure Event Hubs szolgáltatás legfontosabb jellemzőit ismertetik:The following sections describe key features of the Azure Event Hubs service:

Teljes mértékben felügyelt PaaSFully managed PaaS

A Event Hubs egy teljes körűen felügyelt platform-szolgáltatás (a Pásti), amely kis konfigurációval vagy felügyeleti terheléssel rendelkezik, így Ön az üzleti megoldásokra koncentrálhat.Event Hubs is a fully managed Platform-as-a-Service (PaaS) with little configuration or management overhead, so you focus on your business solutions. Az Apache Kafkához készült Event Hubs-ökoszisztéma anélkül biztosítja a PaaS Kafka előnyeit, hogy saját fürtöket kellene kezelnie, konfigurálnia vagy futtatnia.Event Hubs for Apache Kafka ecosystems gives you the PaaS Kafka experience without having to manage, configure, or run your clusters.

Valós idejű kötegelt feldolgozás támogatásaSupport for real-time and batch processing

Valós időben töltheti be, pufferelheti, tárolhatja és dolgozhatja fel a streameket, hogy a gyakorlatban is használható elemzésekhez jusson.Ingest, buffer, store, and process your stream in real time to get actionable insights. A Event Hubs particionált fogyasztói modellthasznál, amely lehetővé teszi, hogy több alkalmazás egyszerre dolgozza fel az adatfolyamot, és lehetővé tegye a feldolgozás sebességének szabályozását.Event Hubs uses a partitioned consumer model, enabling multiple applications to process the stream concurrently and letting you control the speed of processing.

Az adatok közel valós idejű rögzítése Azure Blob Storage -ban vagy Azure Data Lake Storage   a hosszú távú adatmegőrzéshez vagy a mikro-kötegelt feldolgozáshoz.Capture your data in near-real time in an Azure Blob storage or Azure Data Lake Storage for long-term retention or micro-batch processing. Ezt a viselkedést a valós idejű elemzések elvégzéséhez használt adatfolyamon érheti el.You can achieve this behavior on the same stream you use for deriving real-time analytics. Az események rögzítésének beállítása gyors.Setting up capture of event data is fast. Nincs felügyeleti költség a futtatásához, és a rendszer automatikusan méretezi Event Hubs átviteli egységekkel.There are no administrative costs to run it, and it scales automatically with Event Hubs throughput units. A Event Hubs lehetővé teszi az adatfeldolgozásra koncentrálva az adatrögzítés helyett.Event Hubs enables you to focus on data processing rather than on data capture.

Az Azure Event Hubs az Azure Functions szolgáltatással is integrálható egy kiszolgáló nélküli architektúra keretein belül.Azure Event Hubs also integrates with Azure Functions for a serverless architecture.

MéretezhetőScalable

Az Event Hubs szolgáltatással megabájtokban kezdheti az adatstreameket, és onnan továbbléphet a giga- és terabájtokra.With Event Hubs, you can start with data streams in megabytes, and grow to gigabytes or terabytes. Az automatikus feltöltési funkció az egyik lehetőség az átviteli egységek számának a használati igényeinek megfelelő módosítására.The Auto-inflate feature is one of the many options available to scale the number of throughput units to meet your usage needs.

Gazdag ökoszisztémaRich ecosystem

Az iparági szabványnak megfelelő AMQP 1,0 protokollon alapuló, széles körű ökoszisztémával, amely a .net, a Java, a Pythonés a JavaScriptkülönböző nyelveken érhető el, könnyedén megkezdheti a streamek feldolgozását Event Hubs.With a broad ecosystem based on the industry-standard AMQP 1.0 protocol and available in various languages .NET, Java, Python, JavaScript, you can easily start processing your streams from Event Hubs. Az összes támogatott ügyfélnyelv alacsony szintű integrációt biztosít.All supported client languages provide low-level integration. Az ökoszisztéma olyan zökkenőmentes integrációt is biztosít az Azure-szolgáltatásokkal, mint például a Azure Stream Analytics és a Azure Functions, így kiszolgáló nélküli architektúrákat hozhat létre.The ecosystem also provides you with seamless integration with Azure services like Azure Stream Analytics and Azure Functions and thus enables you to build serverless architectures.

A Apache Kafka ökoszisztémák Event Hubs a Apache Kafka (1,0 és újabb) ügyfelek és alkalmazások számára is lehetővé teszi, hogy Event Hubsekkel beszéljenek.Event Hubs for Apache Kafka ecosystems furthermore enables Apache Kafka (1.0 and later) clients and applications to talk to Event Hubs. Nem kell beállítania, konfigurálnia és felügyelni a saját Kafka-és Zookeeper-fürtöket, vagy egy olyan, az Azure-ban nem natív szolgáltatás-szolgáltatást kínál.You do not need to set up, configure, and manage your own Kafka and Zookeeper clusters or use some Kafka-as-a-Service offering not native to Azure.

Az architektúra legfontosabb összetevőiKey architecture components

Az Event Hubs az alábbi fő összetevőket foglalja magába:Event Hubs contains the following key components:

  • Esemény-előállítók: Minden entitás, amely adatokat küld egy eseményközpontnak.Event producers: Any entity that sends data to an event hub. Az esemény-közzétevők a HTTPS, az AMQP 1.0 vagy az Apache Kafka (1.0 és újabb) használatával tehetik közzé az eseményeket.Event publishers can publish events using HTTPS or AMQP 1.0 or Apache Kafka (1.0 and above)
  • Partíciók: Mindegyik felhasználó az üzenetstreamnek csak egy adott részét vagy partícióját olvassa.Partitions: Each consumer only reads a specific subset, or partition, of the message stream.
  • Felhasználói csoportok: A teljes eseményközpont egyik nézete (állapot, pozíció vagy eltolás).Consumer groups: A view (state, position, or offset) of an entire event hub. A fogyasztói csoportok lehetővé teszik, hogy az alkalmazások mindegyike külön nézetben jelenítse meg az esemény-adatfolyamot.Consumer groups enable consuming applications to each have a separate view of the event stream. A streamet egymástól függetlenül, saját tempójában, saját eltolással olvassák.They read the stream independently at their own pace and with their own offsets.
  • Átviteli egységek: Előre megvásárolt kapacitásegységek, amelyek az eseményközpontok átviteli kapacitását vezérlik.Throughput units: Pre-purchased units of capacity that control the throughput capacity of Event Hubs.
  • Eseményérzékelő: Minden entitás, amely eseményadatokat olvas egy eseményközpontból.Event receivers: Any entity that reads event data from an event hub. Minden Event Hubs fogyasztó a AMQP 1,0-munkameneten keresztül kapcsolódhat.All Event Hubs consumers connect via the AMQP 1.0 session. A Event Hubs szolgáltatás egy munkameneten keresztül nyújt eseményeket, amint azok elérhetővé válnak.The Event Hubs service delivers events through a session as they become available. Minden Kafka-fogyasztó a Kafka-protokoll 1.0-s vagy újabb verziójával csatlakozik.All Kafka consumers connect via the Kafka protocol 1.0 and later.

A következő ábrán az Event Hubs streamfeldolgozási architektúrája látható:The following figure shows the Event Hubs stream processing architecture:

Event Hubs

Event Hubs az Azure Stack HubonEvent Hubs on Azure Stack Hub

A Event Hubs on Azure Stack hub lehetővé teszi a hibrid Felhőbeli forgatókönyvek megvalósítását.Event Hubs on Azure Stack Hub allows you to realize hybrid cloud scenarios. A folyamatos átviteli és eseményvezérelt megoldások támogatottak mind a helyszíni, mind az Azure-beli Felhőbeli feldolgozáshoz.Streaming and event-based solutions are supported, for both on-premises and Azure cloud processing. Ha a forgatókönyv hibrid (csatlakoztatva) vagy le van választva, a megoldás képes támogatni az események/streamek nagy léptékű feldolgozását.Whether your scenario is hybrid (connected), or disconnected, your solution can support processing of events/streams at large scale. A forgatókönyvet csak a Event Hubs-fürt mérete köti, amelyet az igényei szerint hozhat létre.Your scenario is only bound by the Event Hubs cluster size, which you can provision according to your needs.

A Event Hubs kiadásai (Azure Stack hub és az Azure-on) magas fokú szolgáltatási paritást kínálnak.The Event Hubs editions (on Azure Stack Hub and on Azure) offer a high degree of feature parity. Ez a paritás azt jelenti, hogy az SDK-k, minták, PowerShell, CLI és portálok hasonló élményt nyújtanak, néhány különbséggel.This parity means SDKs, samples, PowerShell, CLI, and portals offer a similar experience, with few differences.

A nyilvános előzetes verzióban a Event Hubs on stack ingyenes.Event Hubs on Stack is free during public preview. További információ: Event Hubs Azure stack hub – áttekintés.For more information, see Event Hubs on Azure Stack Hub overview.

Következő lépésekNext steps

Az Event Hubs használatának megkezdéséhez tekintse meg az események küldése és fogadása oktatóanyagokat:To get started using Event Hubs, see the Send and receive events tutorials:

Az Event Hubsszal kapcsolatos további információkért olvassa el a következő cikkeket:To learn more about Event Hubs, see the following articles: