Zrušení dávek a filtrování ve zpracování událostí bez serveru pomocí Event Hubs

Event Hubs
Functions
Cosmos DB

Idea řešení

Pokud se chcete podívat, jak tento článek rozšíříme o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět pomocí GitHub Feedback!

Tento nápad řešení ukazuje variaci architektury řízené událostmi bez serveru s využitím Azure Event Hubs a Azure Functions k ingestování a zpracování streamu dat. Po zrušení dávky a filtrování se výsledky zapisují do databáze pro úložiště a budoucí kontrolu.

Další informace o základních konceptech, faktorech a přístupech k zpracování událostí bez serveru najdete v referenční architektuře pro zpracování událostí bez serveru .

Potenciální případy použití

Oblíbený případ použití pro implementaci komplexního vzoru zpracování streamování událostí zahrnuje službu ingestování streamování Event Hubs pro příjem a zpracování událostí za sekundu pomocí logiky zrušení dávky a transformace implementované s vysoce škálovatelnou funkcí vyaktivovanými v centru událostí–aktivované funkce.

Architektura

Diagram znázorňující tok dat a body zpracování klíčů v architektuře popsané v tomto článku

  1. Události přicházejí do vstupního centra událostí.
  2. Funkce zrušení dávky a filtrování Azure Functions se aktivuje pro zpracování události. Tento krok vyfiltruje nechtěné události a před jejich odesláním do výstupního centra událostí odbalí přijaté události.
  3. Pokud funkce zrušit dávkování a filtrování funkce Azure přestane událost ukládat úspěšně, událost se odešle do centra událostí nedoručených zpráv 1.
  4. Události přicházející do výstupního centra událostí aktivují transformaci funkce Azure. tato funkce Azure transformuje událost do zprávy pro Cosmos DB.
  5. událost je uložena v databázi Cosmos DB.
  6. Pokud funkce Transforming Azure nepodaří událost ukládat úspěšně, událost se uloží do centra událostí nedoručených zpráv 2.

Komponenty

  • Event Hubs ingestuje datový proud. Event Hubs je navržená pro scénáře streamování dat s vysokou propustností.
  • Azure Functions je možnost COMPUTE bez serveru. Používá model řízený událostmi, kde je část kódu ( funkce) vyvolána triggerem.
  • Azure Cosmos DB je databázová služba pro více modelů, která je dostupná v režimu bez serveru, který je založený na spotřebě. v tomto scénáři funkce zpracování událostí ukládá záznamy JSON pomocí rozhraní Cosmos DB SQL API.

Další kroky