Azure Event Hubs – platforma pro streamování velkých objemů dat a služba pro příjem událostí

Azure Event Hubs je platforma pro streamování velkých objemů dat a služba pro příjem událostí. Dokáže přijímat a zpracovávat miliony událostí za sekundu. Data odeslaná do centra událostí je možné transformovat a uložit pomocí libovolného poskytovatele analýz v reálném čase nebo adaptérů pro dávkové zpracování a ukládání.

Následující scénáře jsou některé ze scénářů, ve kterých můžete službu Event Hubs používat:

  • Detekce anomálií (podvody/odlehlé hodnoty)
  • Protokolování aplikací
  • Analytické kanály, jako například navštívené stránky
  • Živé řídicí panely
  • Archivace dat
  • Zpracování transakcí
  • Zpracování telemetrie uživatelů
  • Streamování telemetrie zařízení

Proč používat Event Hubs

Data jsou cenná jenom v případě, že existuje snadný způsob, jak zpracovat a získat včasné přehledy ze zdrojů dat. Služba Event Hubs poskytuje platformu pro zpracování distribuovaných datových proudů s nízkou latencí a bezproblémovou integrací s daty a analytickými službami uvnitř a mimo Azure za účelem vytvoření kompletního kanálu pro velké objemy dat.

Služba Event Hubs představuje „vstupní dveře“ pro kanál událostí, který se v architekturách řešení často nazývá ingestor událostí. Přijímač událostí je komponenta nebo služba, která se nachází mezi zdroji událostí a příjemci událostí a slouží k oddělení produkce datového proudu událostí od spotřeby těchto událostí. Event Hubs poskytuje jednotnou platformu streamování s vyrovnávací pamětí pro uchovávání času, která odděluje producenty událostí od příjemců událostí.

Následující části popisují klíčové funkce služby Azure Event Hubs:

PaaS (platforma jako služba) s plnou správou

Event Hubs je plně spravovaná platforma jako služba (PaaS) s malou režií na konfiguraci nebo správu, takže se zaměříte na obchodní řešení. Služba Event Hubs pro ekosystémy Apache Kafka vám umožňuje využívat možnosti PaaS Kafka bez nutnosti spravovat, konfigurovat nebo mít spuštěné vaše clustery.

Podpora zpracování v reálném čase a dávkového zpracování

Ingestování, ukládání do vyrovnávací paměti, dlouhodobé ukládání a zpracování streamu je možné v reálném čase, takže můžete využívat užitečné přehledy hned. Služba Event Hubs používá model rozděleného příjemce, který umožňuje více aplikací zpracovávat stream souběžně a umožňuje řídit rychlost zpracování. Azure Event Hubs se také dá integrovat s Azure Functions jako architektura bez serveru.

Zachytávání dat událostí

Zachyťte data téměř v reálném čase v úložišti objektů blob v Azure nebo Azure Data Lake Storage pro dlouhodobé uchovávání dat nebo mikrodávkové zpracování. Toto chování můžete dosáhnout u stejného datového proudu, který používáte k odvozování analýz v reálném čase. Nastavení zachytávání dat událostí je rychlé. Nedochází k žádným nákladům na správu a automaticky se škáluje s jednotkami propustnosti nebo jednotkami zpracování služby Event Hubs. Event Hubs umožňuje soustředit se na zpracování dat, nikoli na zachytávání dat.

Škálovatelné

Pomocí Event Hubs můžete začít se streamy v megabajtech a přejít na gigabajty nebo terabajty. Funkce automatického nafukování je jednou z mnoha možností dostupných pro škálování počtu jednotek propustnosti nebo jednotek zpracování tak, aby vyhovovaly vašim potřebám využití.

Ekosystém plný možností

S rozsáhlým ekosystémem založeným na standardním protokolu AMQP 1.0 a dostupném v různých jazycích .NET, Java, Pythonu, JavaScriptu, můžete snadno začít zpracovávat streamy ze služby Event Hubs. Všechny podporované jazyky klientů poskytují integraci na nízké úrovni. Ekosystém vám také poskytuje bezproblémovou integraci se službami Azure, jako je Azure Stream Analytics a Azure Functions, a umožňuje tak vytvářet bezserverové architektury.

Event Hubs pro Apache Kafka

Event Hubs pro ekosystémy Apache Kafka navíc umožňuje klientům a aplikacím Apache Kafka (1.0 a novějším) komunikovat se službou Event Hubs. Nemusíte nastavovat, konfigurovat a spravovat vlastní clustery Kafka a Zookeeper nebo používat některé nabídky Kafka jako služby, které nejsou nativní pro Azure.

Event Hubs Premium a dedicated

Služba Event Hubs Premium zajišťuje vysoké požadavky na streamování, které vyžadují vysoký výkon, lepší izolaci s předvídatelnou latencí a minimálním rušením ve spravovaném prostředí PaaS s více tenanty. Kromě všech funkcí standardní nabídky nabízí úroveň Premium několik dalších funkcí, jako je vertikální navýšení kapacity dynamického oddílu, rozšířené uchovávání a klíče spravované zákazníkem. Další informace najdete v tématu Premium služby Event Hubs.

Vyhrazená úroveň služby Event Hubs nabízí nasazení s jedním tenantem pro zákazníky s nejnáročnějšími požadavky na streamování. Tato nabídka s jedním tenantem má zaručenou smlouvu SLA o 99,99 % a je k dispozici pouze na naší vyhrazené cenové úrovni. Cluster Event Hubs může ingressovat miliony událostí za sekundu s garantovanou kapacitou a podsekundovou latencí. Obory názvů a centra událostí vytvořené v rámci vyhrazeného clusteru zahrnují všechny funkce nabídky Premium a další. Další informace najdete v tématu Event Hubs Dedicated.

Další podrobnosti najdete v porovnání úrovní služby Event Hubs .

Event Hubs v Azure Stack Hubu

Event Hubs ve službě Azure Stack Hub umožňuje realizovat hybridní cloudové scénáře. Streamování a řešení založená na událostech jsou podporovaná pro místní i cloudové zpracování Azure. Bez ohledu na to, jestli je váš scénář hybridní (připojený) nebo odpojený, vaše řešení může podporovat zpracování událostí nebo datových proudů ve velkém měřítku. Váš scénář je vázán pouze velikostí clusteru Event Hubs, kterou můžete zřídit podle svých potřeb.

Edice Event Hubs (ve službě Azure Stack Hub a v Azure) nabízejí vysokou úroveň parity funkcí. Tato parita znamená, že sady SDK, ukázky, PowerShell, rozhraní příkazového řádku a portály nabízejí podobné prostředí s několika rozdíly.

Další informace najdete v přehledu služby Event Hubs ve službě Azure Stack Hub.

Klíčové komponenty architektury

Event Hubs obsahuje následující klíčové komponenty:

  • Poskytovatelé událostí: Entita, která posílá data do centra událostí. Vydavatelé událostí můžou publikovat události pomocí protokolu HTTPS nebo AMQP 1.0 nebo Apache Kafka (1.0 nebo vyšší).
  • Oddíly: Každý příjemce čte jenom konkrétní podmnožinu, neboli oddíl, streamu zprávy.
  • Skupiny příjemců: Zobrazení (stav, pozice nebo posun) celého centra událostí. Skupiny příjemců umožňují využívat aplikace pro každý z nich samostatné zobrazení datového proudu událostí. Stream si čtou nezávisle vlastním tempem a s vlastními posuny.
  • Jednotky propustnosti (úroveň Standard) nebo jednotky zpracování (úroveň Premium) nebo jednotky kapacity (vyhrazené): Předem zakoupené jednotky kapacity, které řídí kapacitu propustnosti služby Event Hubs.
  • Příjemci událostí: Entita, která čte data událostí z centra událostí. Všichni příjemci služby Event Hubs se připojují prostřednictvím relace AMQP 1.0. Služba Event Hubs poskytuje události prostřednictvím relace, jakmile budou k dispozici. Všichni příjemci Kafka se připojují přes protokol Kafka 1.0 nebo novější.

Následující obrázek znázorňuje architekturu zpracování datového proudu Event Hubs:

Event Hubs

Další kroky

Pokud chcete začít používat službu Event Hubs, projděte si kurzy k odesílání a přijímání událostí :

Další informace o službě Event Hubs najdete v následujících článcích: