Idea řešení
Pokud se chcete podívat, jak tento článek rozšíříme o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět pomocí GitHub Feedback!
Tento nápad řešení ukazuje analýzu velkých objemů dat ve velkých objemech dat s vysokou rychlostí z různých zdrojů.
Potenciální případy použití
Toto řešení ukazuje, jak jsou Azure Průzkumník dat a Azure synapse Analytics navzájem doplňující pro analýzy téměř v reálném čase a v moderních případech použití datových skladů.
Toto řešení už používají zákazníci Microsoftu. Například Hailing společnost založená na Singapuru, převedla jsme implementaci analýz v reálném čase pro velké objemy dat shromážděných z jejich taxislužby a služeb pro doručování potravin i z obchodních partnerských aplikací. Tým z podnětu předložil své řešení na Ignite v tomto videu (20:30 a vyšší). Pomocí tohoto modelu přepracovalo více než bilióny události za den.
Architektura
Tok dat
- Nezpracované strukturovaná, částečně strukturovaná a nestrukturovaná (volná) data, jako je jakýkoli typ protokolů, obchodní události a aktivity uživatelů, se dají ingestovat do Azure Průzkumník dat z různých zdrojů.
- Ingestujte data do Azure Průzkumník dat s nízkou latencí a vysokou propustností pomocí svých konektorů pro Azure Data Factory, Azure Event Hub, Azure IoT Hub, Kafkaa tak dále. alternativně ingestujte data prostřednictvím Azure Storage (objekt Blob nebo ADLS Gen2), který používá Azure Event Grid a aktivuje kanál příjmu do Azure Průzkumník dat. data můžete také průběžně exportovat Azure Storage v komprimovaném formátu rozděleném na dělené parquet a bez problémů dotazovat tato data, jak je podrobně popsáno v přehledu průběžného exportu dat.
- exportujte předem agregovaná data z Azure Průzkumník dat do Azure Storage a pak ingestujte data do Synapse Analytics a sestavujte datové modely a sestavy.
- Využijte nativní možnosti služby Azure Průzkumník dat ke zpracování, agregaci a analýze dat. chcete-li získat přehledy při rychlosti blesku, sestavujte řídicí panely pro analýzu v reálném čase pomocí řídicích panelů Azure Průzkumník dat, Power BI, Grafananebo jiných nástrojů. Pomocí služby Azure synapse Analytics můžete vytvářet moderní datové sklady a kombinovat je s daty Azure Průzkumník dat ke generování sestav BI na spravovaných a agregovaných datových modelech.
- Azure Průzkumník dat poskytuje nativní možnosti pokročilé analýzy pro analýzu časových řad, rozpoznávání vzorků, detekci anomálií a předpovědia Machine Learning. služba Azure Průzkumník dat je také dobře integrovaná s ML službami, jako jsou datacihly a Azure Machine Learning. tato integrace umožňuje vytvářet modely pomocí jiných nástrojů a služeb a exportovat ML modely do Azure Průzkumník dat pro Data bodování.
Komponenty
- Centrum událostí Azure: plně spravovaná služba pro přijímání dat v reálném čase, která je jednoduchá, důvěryhodná a škálovatelná.
- Azure IoT Hub: spravovaná služba umožňující obousměrnou komunikaci mezi zařízeními IoT a Azure.
- Kafka v HDInsight: Snadná a cenově výhodné služba na podnikové úrovni pro open source analytics pomocí Apache Kafka.
- Azure Průzkumník dat: rychlá, plně spravovaná a vysoce škálovatelná služba analýzy dat pro analýzu velkých objemů dat datových proudů z aplikací, webů, zařízení IoT a dalších prostředků v reálném čase.
- Řídicí panely Azure Průzkumník dat: nativně exportujte dotazy Kusto, které byly prozkoumány ve webovém uživatelském rozhraní, na optimalizované řídicí panely.
- Azure synapse Analytics: analytická služba, která přináší dohromady podnikové datové sklady a analýzu velkých objemů dat.
Další kroky
Další informace najdete v dokumentaci k Azure Průzkumník dat.