Zpracování datových proudů událostí bez serveru ve virtuální síti s privátními koncovými body

Private Link
Event Hubs
Functions
Cosmos DB

Idea řešení

Pokud se chcete podívat, jak tento článek rozšíříme o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět pomocí GitHub Feedback!

Tento nápad řešení ukazuje variaci architektury řízené událostmi bez serveru, která ingestuje datový proud dat, zpracovává data a zapisuje výsledky do back-endové databáze. V tomto příkladu je řešení hostované ve virtuální síti (VNet) se všemi prostředky Azure za privátními koncovými body.

Další informace o základních konceptech, faktorech a přístupech k zpracování událostí bez serveru najdete v referenční architektuře pro zpracování událostí bez serveru .

Potenciální případy použití

Oblíbený případ použití pro implementaci komplexního vzoru zpracování streamování událostí zahrnuje službu ingestování streamování Event Hubs pro příjem a zpracování událostí za sekundu pomocí logiky zrušení dávky a transformace implementované s vysoce škálovatelnou funkcí vyaktivovanými v centru událostí–aktivované funkce.

Architektura

Diagram znázorňující tok dat do virtuální sítě a následně se zpracovává pomocí architektury popsané v tomto článku.

  1. Integrace virtuální sítě se používá k umístění všech prostředků Azure za privátní koncové body Azure.
  2. Události přicházejí do vstupního centra událostí.
  3. Funkce zrušení dávky a filtrování Azure Functions se aktivuje pro zpracování události. Tento krok vyfiltruje nechtěné události a před jejich odesláním do výstupního centra událostí odbalí přijaté události.
  4. Pokud funkce zrušit dávkování a filtrování funkce Azure přestane událost ukládat úspěšně, událost se odešle do centra událostí nedoručených zpráv 1.
  5. Události přicházející do výstupního centra událostí aktivují transformaci funkce Azure. tato funkce Azure transformuje událost do zprávy pro Cosmos DB.
  6. událost je uložena v databázi Cosmos DB.
  7. Pokud funkce Transforming Azure nepodaří událost ukládat úspěšně, událost se uloží do centra událostí nedoručených zpráv 2.

Poznámka

V zájmu jednoduchosti nejsou podsítě v diagramu zobrazené.

Komponenty

  • Služba Azure Private Endpoint je síťové rozhraní, které umožňuje soukromé a bezpečné připojení ke službě, která používá technologii Azure Private Link. Privátní koncový bod používá privátní IP adresu vaší virtuální sítě a tím vlastně přináší službu do vaší virtuální sítě.
  • Event Hubs ingestuje datový proud. Event Hubs je navržená pro scénáře streamování dat s vysokou propustností.
  • Azure Functions je možnost COMPUTE bez serveru. Používá model řízený událostmi, kde je část kódu ( funkce) vyvolána triggerem.
  • Azure Cosmos DB je databázová služba pro více modelů, která je dostupná v režimu bez serveru, který je založený na spotřebě. v tomto scénáři funkce zpracování událostí ukládá záznamy JSON pomocí rozhraní Cosmos DB SQL API.

Další kroky