Co je Azure synapse Průzkumník dat? (Preview)
Azure synapse Průzkumník dat poskytuje zákazníkům interaktivní možnosti dotazování pro odemknutí přehledů z dat protokolů a telemetrie. aby bylo možné doplnit existující moduly runtime SQL a Apache Spark analytics, modul runtime analýzy Průzkumník dat je optimalizován pro efektivní analýzu protokolů pomocí výkonné technologie indexování, která automaticky indexuje volná a částečně strukturovaná data, která se běžně nacházejí v datech telemetrie.
Co dělá Průzkumník dat synapse Azure jedinečný?
Snadné ingestování – Průzkumník dat nabízí integrované integrace pro nekódování a nízké kódování dat s vysokou propustností a ukládání dat do mezipaměti ze zdrojů v reálném čase. Data je možné přijímat ze zdrojů, jako je centrum událostí, Kafka, Azure Data Lake, open source agenti, jako je například Fluent nebo Fluent Bit, a širokou škálu cloudových a místních zdrojů dat.
Žádná složitá modelování dat – pomocí Průzkumník dat není nutné vytvářet komplexní datové modely a nemusíte pro transformaci dat před spotřebou používat složitou skriptování.
Bez údržby indexů – pro optimalizaci dat pro dotaz na výkon dotazů a pro údržbu indexu není potřeba úlohy údržby. Díky Průzkumník dat jsou všechna nezpracovaná data k dispozici okamžitě, takže můžete spouštět vysoce výkonné a vysoce souběžné dotazy na datové proudy a trvalá data. Tyto dotazy můžete použít k sestavení řídicích panelů a upozornění v reálném čase a k propojení dat provozní analýzy se zbytkem platformy pro analýzu dat.
Democratizing data analytics – Průzkumník dat demokratizuje samoobslužné analýzy velkých objemů dat pomocí intuitivního dotazovacího jazyka Kusto (KQL), který poskytuje expresivity a výkon SQL jednoduchostí Excel. KQL je vysoce optimalizovaná pro zkoumání nezpracovaných dat telemetrie a časových řad Průzkumník dat využitím špičkové technologie pro indexování textu ve své třídě pro efektivní fulltextové a regulární vyhledávání a komplexní možnosti analýzy pro dotazování dat traces\text a částečně strukturovaných dat JSON, včetně polí a vnořených struktur. KQL nabízí pokročilou podporu časových řad pro vytváření, manipulaci a analýzu více časových řad s využitím integrované podpory spouštění Pythonu pro model bodování.
Prověřená technologie na řádu petabajtů Scale -Průzkumník dat je distribuovaným systémem s výpočetními prostředky a úložištěm, které se můžou nezávisle škálovat, což umožňuje analýzu na gigabajty nebo petabajty dat.
integrovaná – Azure Synapse Analytics zajišťuje vzájemnou spolupráci mezi daty mezi Průzkumník dat, Apache Spark a SQLmi moduly, které zmocňují datové inženýry, odborníky na data a analytikům dat, aby se mohli snadno a bezpečně, přistupovat k datům a spolupracovat na nich se stejnými daty v data lake.
Kdy použít Azure synapse Průzkumník dat?
Použijte Průzkumník dat jako datovou platformu pro sestavování analýz protokolů v reálném čase a řešení IoT Analytics pro:
Konsolidujte a korelujte data protokolů a událostí napříč místními, cloudem a zdroji dat třetích stran.
Zrychlete cestu k operacím AI (rozpoznávání vzorků, detekce anomálií, prognózování a další).
Nahraďte řešení vyhledávání v protokolech založenou na infrastruktuře, abyste ušetřili náklady a zvýšili produktivitu.
Sestavujte řešení IoT Analytics pro vaše data IoT.
Sestavujte řešení SaaS Analytics pro poskytování služeb vašim interním i externím zákazníkům.
Architektura Průzkumník dat fondu
Fondy Průzkumník dat implementují architektury horizontálního navýšení kapacity oddělením výpočetních prostředků a prostředků úložiště. To vám umožňuje nezávisle škálovat jednotlivé prostředky a například spouštět více výpočetních výpočtů jenom pro čtení na stejných datech. Fondy Průzkumník dat se skládají ze sady výpočetních prostředků, které jsou zodpovědné za automatické indexování, komprimaci, ukládání do mezipaměti a poskytování distribuovaných dotazů. Mají také druhou sadu výpočtů, na kterých běží služba pro správu dat, která je odpovědná za úlohy systému na pozadí, spravované a ingestování dat ve frontě. Všechna data jsou v účtech spravovaného úložiště objektů BLOB trvale zachovaná pomocí komprimovaného sloupcového formátu.
Fondy Průzkumník dat podporují bohatý ekosystém pro ingestování dat pomocí konektorů, sad SDK, rozhraní REST API a dalších spravovaných funkcí. Nabízí různé způsoby, jak využívat data pro dotazy ad hoc, sestavy, řídicí panely, výstrahy, rozhraní REST API a sady SDK.
K dispozici je mnoho jedinečných možností, díky kterým se data procházejí nejlepším analytickým modulem pro analýzu protokolů a časových řad v Azure. Pokud vás zajímá, jak Průzkumník dat funguje, přečtěte si dokument white paper k Azure Průzkumník dat.
V následujících částech jsou zvýrazněny klíčové rozdíly.
Indexování volného textu a částečně strukturovaných dat umožňuje vysoce výkonné a vysoce souběžné dotazy téměř v reálném čase.
Průzkumník dat indexovat částečně strukturovaná data (JSON) a nestrukturovaná data (bezplatný text), díky kterému se spouští dotazy velmi náročné na tento typ dat. Ve výchozím nastavení jsou všechna pole indexována během příjmu dat s možností použít zásady kódování nízké úrovně pro vyladění nebo zakázání indexu pro konkrétní pole. Rozsahem indexu je jeden datový horizontálních oddílů.
Implementace indexu závisí na typu pole, a to následujícím způsobem:
| Typ pole | Implementace indexování |
|---|---|
| Řetězec | Modul sestaví inverzní index pro hodnoty řetězcových sloupců. Každá řetězcová hodnota se analyzuje a rozdělí na normalizované podmínky a seřazený seznam logických pozic, které obsahují pořadí záznamů, se zaznamenávají pro každý termín. Výsledný seřazený seznam podmínek a jejich přidružené pozice jsou uloženy jako neměnné B-strom. |
| Číselný DateIime TimeSpan |
Modul sestaví jednoduchý index předávaného na základě rozsahu. Index zaznamenává minimální/maximální hodnoty pro každý blok, pro skupinu bloků a pro celý sloupec v rámci horizontálních oddílů dat. |
| dynamicky, | Proces přijímání vypíše všechny "atomické" prvky v rámci dynamické hodnoty, jako jsou názvy vlastností, hodnoty a prvky pole, a předá je tvůrci indexů. Dynamická pole mají stejný index obráceného termínu jako řetězcová pole. |
Tyto efektivní možnosti indexování umožňují prozkoumat data, aby data byla dostupná téměř v reálném čase pro vysoce výkonné a vysoce souběžné dotazy. Systém automaticky optimalizuje data horizontálních oddílů a zvyšuje tak výkon.
Dotazovací jazyk Kusto
KQL má rozsáhlou a rostoucí komunitu s rychlým přijetím Azure Monitor Log Analytics a Application Insights, Microsoft Sentinel, Azure Průzkumník dat a dalšími nabídkami microsoftu. Jazyk je dobře navržený pomocí snadno čitelné syntaxe a poskytuje hladký přechod z jednoduchého dotazování na složité dotazy zpracování dat. to umožňuje Průzkumník dat poskytovat bohatou podporu technologie Intellisense a bohatou sadu jazykových konstrukcí a integrovaných funkcí pro agregace, časovou řadu a uživatele, které nejsou dostupné v SQL pro rychlý průzkum dat telemetrie.