Upravit

Streamování dat pomocí AKS

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

Návrhy řešení

Tento článek je nápadem na řešení. Pokud chcete, abychom obsah rozšířili o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět tím, že nám poskytnete zpětnou vazbu na GitHubu.

Tento článek představuje řešení pro rychlé zpracování a analýzu velkého objemu streamovaných dat ze zařízení pomocí Azure Kubernetes Service (AKS).

Apache®, Apache Kafka a Apache Spark jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo jiných zemích. Použití těchto značek nevyvozuje žádné doporučení ze strany The Apache Software Foundation.

Architektura

Diagram architektury znázorňující, jak se streamovaná data ze zařízení ingestují, zpracovávají a analyzují.

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

  1. Senzory generují data a streamují je do Azure API Management.
  2. Cluster AKS spouští mikroslužby, které jsou nasazené jako kontejnery za sítí služeb. Kontejnery se vytvářejí pomocí procesu DevOps a ukládají se do Azure Container Registry.
  3. Služba ingestování ukládá data ve službě Azure Cosmos DB.
  4. Služba Analysis Service asynchronně přijímá data a streamuje je do Apache Kafka a Azure HDInsight.
  5. Datoví vědci k analýze dat používají modely strojového učení a platformu Splunk.
  6. Služba zpracování zpracovává data a ukládá výsledek do Azure Database for PostgreSQL. Služba také ukládá data do mezipaměti v Azure Cache for Redis.
  7. Webová aplikace, která běží v Azure App Service vytvoří vizualizace výsledků.

Komponenty

Řešení používá následující klíčové technologie:

Podrobnosti scénáře

Toto řešení je vhodné pro scénář, který zahrnuje miliony datových bodů, kde mezi zdroje dat patří zařízení internetu věcí (IoT), senzory a vozidla. V takové situaci je zpracování velkého objemu dat jedním z výzev. Rychlá analýza dat je dalším náročným úkolem, protože organizace se snaží získat přehled o složitých scénářích.

Kontejnerizované mikroslužby v AKS tvoří klíčovou součást řešení. Tyto samostatné služby ingestují a zpracovávají datový proud v reálném čase. Podle potřeby se také škálují. Přenositelnost kontejnerů umožňuje, aby služby běžely v různých prostředích a zpracovávaly data z více zdrojů. K vývoji a nasazení mikroslužeb se používá DevOps a kontinuální integrace/průběžné doručování (CI/CD). Tyto přístupy zkracují vývojový cyklus.

K ukládání přijatých dat používá řešení Službu Azure Cosmos DB. Tato databáze elasticky škáluje propustnost a úložiště, což z ní dělá dobrou volbu pro velké objemy dat.

Řešení také používá Kafka. Tato streamovací platforma s nízkou latencí zpracovává datové kanály v reálném čase s extrémně vysokou rychlostí.

Další klíčovou komponentou řešení je HDInsight, což je spravovaná opensourcová cloudová analytická služba. HDInsight zjednodušuje spouštění architektur pro velké objemy dat ve velkém objemu a rychlosti při používání Apache Sparku v Azure. Splunk pomáhá v procesu analýzy dat. Tato platforma vytváří vizualizace z dat v reálném čase a poskytuje business intelligence.

Potenciální případy použití

Toto řešení přináší výhody v následujících oblastech:

  • Bezpečnost vozidel, zejména v automobilovém průmyslu
  • Zákaznický servis v maloobchodě a dalších odvětvích
  • Cloudová řešení pro zdravotnictví
  • Řešení finančních technologií ve finančním odvětví

Další kroky

Dokumentace k produktu:

Školicí moduly Microsoftu: