Idea řešení
Pokud se chcete podívat, jak tento článek rozšíříme o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět pomocí GitHub Feedback!
Tato myšlenka řešení ukazuje analýzu rychle proudících a objemných streamovaných dat ze zařízení IoT, senzorů, propojených budov a vozidel v reálném čase a tak dále. Zaměřuje se na integraci Azure Data Explorer s dalšími službami IoT, které jsou k dispozici pro provozní i analytické úlohy s využitím Cosmos DB a Azure Data Explorer.
Toto řešení už zákazníci Microsoftu používají k analýze telemetrie zařízení IoT. Například k kombinaci silničníchpodmínek v reálném čase s daty o počasí pro bezpečnější autonomní řízení .
Architektura
Tok dat
- Ingestování široké škály rychle proudících streamovaných dat, jako jsou protokoly, obchodní události a aktivity uživatelů z různých zdrojů, jako je Azure Event Hub, Azure IoT Hub nebo Kafka.
- Zpracování dat v reálném čase pomocí Azure Functions nebo Azure Stream Analytics.
- Streamované zprávy JSON ukládejte Cosmos DB, aby sloužily provozní aplikaci v reálném čase.
- Ingestování dat do Azure Data Explorer s nízkou latencí a vysokou propustností pomocí konektorů pro Azure Event Hub, Azure IoT Hub, Kafkaatd. Alternativně můžete ingestovat data prostřednictvím Azure Storage (objekt blob nebo ADLS Gen2), který používá Azure Event Grid a aktivuje kanál ingestování Azure Data Explorer. Můžete také průběžně exportovat data do Azure Storage v komprimovaném formátu parquet s oddíly a bezproblémově se na tato data dotazovat, jak je podrobně podrobně probádá přehled průběžného exportu dat.
- Azure Data Explorer je úložiště pro analýzu velkých dat, které slouží k analýzám aplikací a řídicích panelů v reálném čase.
Vzhledem k tomu, že tento model slouží jak k provoznímu, tak analytickému použití, je možné data směrovat do Azure Data Explorer a Cosmos DB paralelně, nebo z databáze Cosmos DB do Azure Data Explorer.
- Integrace Cosmos DB s Azure Data Explorer s využitím kanálu změn Každá transakce v Cosmos DB může prostřednictvím tohoto kanálu změn aktivovat funkci Azure. Data je pak možné streamovat do centra událostí a ingestovat do Azure Data Explorer.
- Z azure function vyvolat rozhraní API služby Azure Digital Twins (ADT). ADT se používá k ukládání digitálních modelů fyzických prostředí. Tato služba streamuje data do centra událostí, které se pak ingestuje do Azure Data Explorer.
- Získejte přehledy z dat uložených Azure Data Explorer kterékoli z následujících metod:
- Vytvořte vlastní analytickou aplikaci, která vyvolá rozhraní API zveřejněná službou ADT a Azure Data Explorer pro kombinaci dat z obou zdrojů.
- Sestavíte řídicí panely pro analýzu v reálném čase Azure Data Explorerřídicích panelů, Power BInebo Grafany.
- Vytváření a plánování upozornění a oznámení pomocí konektoru Azure Data Explorer pro Azure Logic Apps.
- Analýza dat pomocí Azure Data Explorer uživatelského rozhraní, Kusto.Explorerunebo poznámkových bloků Jupyter.
- Azure Data Explorer poskytuje nativní pokročilé analytické možnosti pro analýzu časových řad,rozpoznávání vzorů, detekci a prognózování anomálií a strojové učení. Azure Data Explorer je také dobře integrovaná s ML službami, jako jsou Databricks a Azure Machine Learning. Tato integrace umožňuje vytvářet modely pomocí jiných nástrojů a služeb a exportovat ML modely do Azure Data Explorer pro bodovací data.
Komponenty
- Centrum událostí Azure:Plně spravovaná služba pro příjem dat v reálném čase, která je jednoduchá, důvěryhodná a škálovatelná.
- Azure IoT Hub:Spravovaná služba umožňující obousměrnou komunikaci mezi zařízeními IoT a Azure.
- Kafka ve službě HDInsight:Snadná a nákladově efektivní služba na podnikové úrovni open source analýzy s Apache Kafka.
- Azure Cosmos DB:Plně spravovaná rychlá databázová služba NoSQL pro moderní vývoj aplikací s otevřenými rozhraními API pro libovolné škálování.
- Azure Synapse Link pro Azure Cosmos DB umožňuje spouštět analýzy provozních dat v Azure Cosmos DB v reálném čase bez jakéhokoli dopadu na výkon nebo náklady na transakční úlohu pomocí dvou analytických modulů dostupných ve vašem pracovním prostoru Azure Synapse: SQL bez serveru a fondů Spark.
- Azure Data Explorer:Rychlá, plně spravovaná a vysoce škálovatelná služba pro analýzu dat v reálném čase pro velké objemy dat streamovaných z aplikací, webů, zařízení IoT a dalších zdrojů.
- Azure Data Explorer řídicí panely:Nativně exportujte dotazy Kusto, které byly prozkoumány ve webovém uživatelském rozhraní, do optimalizovaných řídicích panelů.
- Azure Digital Twins:Vytvářejte řešení IoT nové generace, která modelovat skutečný svět.
Alternativy
- Synapse Link je upřednostňovaným řešením Microsoftu pro analýzu nad daty Cosmos DB.
Další kroky
Další informace najdete v Azure Data Explorer dokumentaci.