Azure Event Hubs – platforma pro streamování velkých dat a služba pro ingestování událostí
Azure Event Hubs je platforma pro streamování velkých dat a služba pro příjem událostí. Dokáže přijímat a zpracovávat miliony událostí za sekundu. Data odeslaná do centra událostí je možné transformovat a uložit pomocí libovolného poskytovatele analýz v reálném čase nebo adaptérů pro dávkové zpracování a ukládání.
Následující scénáře jsou některé ze scénářů, ve kterých můžete Event Hubs:
- Detekce anomálií (podvody/odlehlé hodnoty)
- Protokolování aplikací
- Analytické kanály, jako například navštívené stránky
- Živé řídicí panely
- Archivace dat
- Zpracování transakcí
- Zpracování telemetrie uživatelů
- Streamování telemetrie zařízení
Proč používat Event Hubs
Data jsou cenná jenom v případě, že existuje snadný způsob, jak zpracovat a získat včasné přehledy ze zdrojů dat. Event Hubs poskytuje distribuovanou platformu pro zpracování datových proudů s nízkou latencí a bezproblémovou integrací, s datovými a analytickými službami uvnitř a mimo Azure pro sestavení kanálu pro velké množství dat.
Služba Event Hubs představuje „vstupní dveře“ pro kanál událostí, který se v architekturách řešení často nazývá ingestor událostí. Přijímač událostí je komponenta nebo služba, která se nachází mezi zdroji událostí a příjemci událostí a slouží k oddělení produkce datového proudu událostí od spotřeby těchto událostí. Event Hubs poskytuje jednotnou streamovací platformu s vyrovnávací pamětí pro uchovávání času, která odkoncuje producenty událostí od spotřebitelů událostí.
Následující části popisují klíčové funkce služby Azure Event Hubs:
PaaS (platforma jako služba) s plnou správou
Event Hubs je plně spravovaná platforma jako služba (PaaS) s malými režijní náklady na konfiguraci nebo správu, takže se zaměříte na vaše obchodní řešení. Služba Event Hubs pro ekosystémy Apache Kafka vám umožňuje využívat možnosti PaaS Kafka bez nutnosti spravovat, konfigurovat nebo mít spuštěné vaše clustery.
Podpora zpracování v reálném čase a dávkového zpracování
Ingestování, ukládání do vyrovnávací paměti, dlouhodobé ukládání a zpracování streamu je možné v reálném čase, takže můžete využívat užitečné přehledy hned. Event Hubs používá model příjemce rozdělenýna oddíly, který umožňuje více aplikacím zpracovávat datový proud souběžně a umožňuje řídit rychlost zpracování. Azure Event Hubs se také dá integrovat s Azure Functions jako architektura bez serveru.
Zachytávání dat událostí
Zachytávání dat v úložišti objektů blob v Azure nebo Azure Data Lake Storagepro dlouhodobé uchovávání nebo zpracování v mikrodávce. Tohoto chování můžete dosáhnout u stejného datového proudu, který používáte k odvození analýzy v reálném čase. Nastavení zachytávání dat událostí je rychlé. Za jeho spuštění nejsou žádné náklady na správu a automaticky se škáluje pomocí Event Hubs jednotek propustnosti nebo jednotek zpracování. Event Hubs vám umožňuje soustředit se na zpracování dat, nikoli na zachytávání dat.
Škálovatelné
Pomocí Event Hubs můžete začít se streamy v megabajtech a přejít na gigabajty nebo terabajty. Funkce Automatické nafouknutí je jednou z mnoha dostupných možností škálování počtu jednotek propustnosti nebo jednotek zpracování tak, aby splňovaly vaše potřeby využití.
Ekosystém plný možností
Díky širokému ekosystému založenému na standardním protokolu AMQP 1.0, který je k dispozici v různých jazycích: .NET, Java, Pythona JavaScript,můžete streamy snadno začít zpracovávat z Event Hubs. Všechny podporované jazyky klientů poskytují integraci na nízké úrovni. Ekosystém také poskytuje bezproblémovou integraci se službami Azure, jako jsou Azure Stream Analytics a Azure Functions, a díky tomu můžete vytvářet bez serverů architektury.
Event Hubs pro Apache Kafka
Event Hubs pro Apache Kafka ekosystémy navíc umožňuje klientům Apache Kafka (1.0 a novějším) a aplikacím s Event Hubs. Nemusíte nastavovat, konfigurovat a spravovat vlastní clustery Kafka a Zookeeper ani používat některé nabídky Kafka jako služby, které nejsou nativní pro Azure.
Event Hubs Premium a Dedicated
Event Hubs úroveň Premium je řazená k požadavkům na streamování vyšší kategorie, které vyžadují špičkový výkon, lepší izolaci s předvídatelnou latencí a minimální interferenci ve spravovaném prostředí PaaS s více náklady. Nad všemi funkcemi nabídky Standard nabízí úroveň Premium několik dalších funkcí, jako je dynamické škálování oddílů, rozšířené uchovávání a klíče spravované zákazníkem. Další informace najdete v tématu Event Hubs Premium.
Event Hubs úroveň nabízí nasazení s jedním tenantem pro zákazníky s nejnáročnějšími požadavky na streamování. Tato nabídka s jedním tenantem má zaručenou 99,99% sla a je k dispozici pouze na naší vyhrazené cenové úrovni. Cluster Event Hubs může ingressovat miliony událostí za sekundu se zaručenou kapacitou a latencí za sekundu. Obory názvů a centra událostí vytvořená ve vyhrazeném clusteru zahrnují všechny funkce nabídky Premium a další. Další informace najdete v tématu Event Hubs úrovně Dedicated.
Další podrobnosti najdete Event Hubs úrovní služeb.
Event Hubs v Azure Stack Hubu
Event Hubs na Azure Stack Hub umožňuje realizovat scénáře hybridního cloudu. Řešení založená na streamování a událostech jsou podporovaná pro místní i cloudové zpracování Azure. Bez ohledu na to, jestli je váš scénář hybridní (připojený) nebo odpojený, může vaše řešení podporovat zpracování událostí nebo datových proudů ve velkém měřítku. Váš scénář je vázán pouze velikostí clusteru Event Hubs, kterou můžete zřídit podle svých potřeb.
Edice Event Hubs (v Azure Stack Hub a v Azure) nabízejí vysoký stupeň parity funkcí. Tato parita znamená, že sdk, ukázky, PowerShell, rozhraní příkazového řádku a portály nabízejí podobné prostředí s několika rozdíly.
Event Hubs ve verzi Stack je ve verzi Public Preview zdarma. Další informace najdete v Event Hubs přehledu Azure Stack Hub .
Klíčové komponenty architektury
Event Hubs obsahuje následující klíčové komponenty:
- Poskytovatelé událostí: Entita, která posílá data do centra událostí. Vydavatelé událostí můžou publikovat události pomocí protokolu HTTPS nebo AMQP 1.0 nebo Apache Kafka (1.0 nebo vyšší).
- Oddíly: Každý příjemce čte jenom konkrétní podmnožinu, neboli oddíl, streamu zprávy.
- Skupiny příjemců: Zobrazení (stav, pozice nebo posun) celého centra událostí. Skupiny uživatelů umožňují, aby každý z aplikací měl samostatné zobrazení datového proudu událostí. Čtou datový proud nezávisle vlastním tempem a s vlastními posuny.
- Jednotky propustnosti nebo jednotky zpracování:Předem zakoupené jednotky kapacity, které řídí kapacitu propustnosti Event Hubs.
- Příjemci událostí: Entita, která čte data událostí z centra událostí. Všichni Event Hubs připojení přes relaci AMQP 1.0. Služba Event Hubs události prostřednictvím relace, jakmile jsou k dispozici. Všichni příjemci Kafka se připojují přes protokol Kafka 1.0 nebo novější.
Následující obrázek znázorňuje architekturu zpracování datového proudu Event Hubs:
Další kroky
Pokud chcete začít používat Event Hubs, projděte si kurzy k odesílání a příjmu událostí:
Další informace o službě Event Hubs najdete v následujících článcích: