Návrhy řešení
Tento článek je nápadem na řešení. Pokud chcete, abychom obsah rozšířili o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět tím, že nám poskytnete zpětnou vazbu na GitHubu.
Tento nápad řešení ukazuje, jak používat interaktivní analýzy v Azure Data Explorer. Popisuje, jak můžete zkoumat strukturovaná, částečně strukturovaná a nestrukturovaná data pomocí improvizovaných, interaktivních a rychlých dotazů.
Jupyter je ochranná známka příslušné společnosti. Použití této značky nevyvozuje žádné doporučení. Apache® a Apache Kafka® jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo jiných zemích. Použití těchto značek nevyvozuje žádné doporučení ze strany The Apache Software Foundation.
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Tok dat
- Do Azure Data Explorer z různých zdrojů je možné ingestovat nezpracovaná strukturovaná, částečně strukturovaná a nestrukturovaná data (volný text), například jakýkoli typ protokolů, obchodních událostí a uživatelských aktivit. Ingestujte data v režimu streamování nebo dávkovém režimu pomocí různých metod.
- Ingestuje data do Azure Data Explorer s nízkou latencí a vysokou propustností pomocí jejích konektorů pro Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka atd. Místo toho ingestujte data prostřednictvím služby Azure Storage (Blob nebo ADLS Gen2), která používá Azure Event Grid a aktivuje kanál příjmu dat do Azure Data Explorer. Můžete také průběžně exportovat data do Azure Storage v komprimovaném, děleném formátu parquet a bezproblémově se na tato data dotazovat, jak je podrobně popsáno v přehledu průběžného exportu dat.
- Spouštět interaktivní dotazy s malými až extrémně velkými objemy dat pomocí nativních nástrojů Azure Data Explorer nebo alternativních nástrojů podle vašeho výběru. Azure Data Explorer poskytuje mnoho modulů plug-in a integrací se zbytkem ekosystému datových platforem. Použijte některý z následujících nástrojů a integrací:
- Pro interaktivní analýzy použijte webové uživatelské rozhraní Azure Data Explorer, webového klienta pro Azure Data Explorer nebo Kusto.Explorer, bohatého klienta Windows pro Azure Data Explorer.
- Pokud se chcete připojit ke clusteru Azure Data Explorer, použijte poznámkové bloky Jupyter, konektor Spark, libovolného klienta SQL kompatibilního s TDS a připojení JDBC a ODBC.
- Pokud chcete vytvářet nové aplikace nebo integrovat se stávajícími aplikacemi nebo architekturami, použijte Azure Data Explorer rozhraní REST API a sady SDK dostupné v různých jazycích.
- Vytvářejte analytické řídicí panely téměř v reálném čase pomocí řídicích panelů Azure Data Explorer, Power BI nebo Grafany.
- Rozšiřte data spouštěná federovanými dotazy kombinováním dat z databáze SQL a Azure Cosmos DB pomocí modulů plug-in Azure Data Explorer.
Komponenty
- Azure Event Hubs: Plně spravovaná služba pro příjem dat v reálném čase, která je jednoduchá, důvěryhodná a škálovatelná.
- Azure IoT Hub: Spravovaná služba umožňující obousměrnou komunikaci mezi zařízeními IoT a Azure.
- Kafka ve službě HDInsight: Snadná a nákladově efektivní služba na podnikové úrovni pro opensourcové analýzy s využitím Apache Kafka.
- Azure Data Factory: Služba hybridní integrace dat, která zjednodušuje ETL ve velkém.
- Azure Data Explorer: Rychlá, plně spravovaná a vysoce škálovatelná služba analýzy dat pro analýzu velkých objemů dat streamovaných z aplikací, webů, zařízení IoT a dalších dat v reálném čase.
- Řídicí panely Azure Data Explorer: Nativně exportujte dotazy Kusto, které byly prozkoumány ve webovém uživatelském rozhraní, do optimalizovaných řídicích panelů.
- Azure Cosmos DB: Plně spravovaná rychlá databázová služba NoSQL pro vývoj moderních aplikací s využitím otevřených rozhraní API pro libovolné škálování.
- Azure SQL DB: Vytvářejte aplikace, které se škálují tempem vaší firmy, pomocí spravovaného a inteligentního SQL v cloudu.
Podrobnosti scénáře
Tento nápad řešení ukazuje, jak používat interaktivní analýzy s Azure Data Explorer k prozkoumání dat pomocí improvizovaných, interaktivních a rychlých dotazů na malé až extrémně velké objemy dat. K tomuto zkoumání dat můžete použít nativní nástroje Azure Data Explorer nebo alternativní nástroje podle vašeho výběru. Toto řešení se zaměřuje na integraci Azure Data Explorer se zbytkem ekosystému datové platformy.
Potenciální případy použití
Toto řešení používají zákazníci Microsoftu ke sledování aktivit uživatelů, správě profilů uživatelů a scénářů segmentace uživatelů.
Přispěvatelé
Tento článek spravuje Microsoft. Původně ji napsali následující přispěvatelé.
Hlavní autor:
- Ornat Spodek | Vedoucí správce obsahu
Další kroky
Další informace najdete v dokumentaci k Azure Data Explorer.