Detekce a zmírnění potenciálních problémů s využitím AIOps a strojového učení ve službě Azure Monitor

  • Článek

Umělá inteligence pro provoz IT (AIOps) nabízí výkonné způsoby, jak zlepšit kvalitu a spolehlivost služeb pomocí strojového učení ke zpracování a automatickému zpracování dat, která shromažďujete z aplikací, služeb a IT prostředků do služby Azure Monitor.

Integrované funkce AIOps služby Azure Monitor poskytují přehledy a pomáhají řešit problémy a automatizovat úlohy řízené daty, jako je předpověď využití kapacity a automatické škálování, identifikace a analýza problémů s výkonem aplikací a zjišťování neobvyklého chování virtuálních počítačů, kontejnerů a dalších prostředků. Tyto funkce zvyšují monitorování a provoz IT, aniž by vyžadovaly znalosti strojového učení a další investice.

Azure Monitor také poskytuje nástroje, které umožňují vytvořit vlastní kanál strojového učení, který vám umožní zavést nové možnosti analýzy a reakce a pracovat s daty v protokolech služby Azure Monitor.

Tento článek popisuje integrované funkce AIOps služby Azure Monitor a vysvětluje, jak můžete vytvářet a spouštět přizpůsobené modely strojového učení a vytvářet automatizovaný kanál strojového učení na datech v protokolech služby Azure Monitor.

Integrované funkce AIOps a strojového učení ve službě Azure Monitor

Scénář monitorování Schopnost Popis
Monitorování protokolů Přehledy pracovních prostorů služby Log Analytics Poskytuje jednotné zobrazení pracovních prostorů služby Log Analytics a využívá strojové učení k detekci anomálií příjmu dat.
dotazovací jazyk Kusto (KQL) – funkce analýzy časových řad a strojového učení Snadno použitelné nástroje pro generování dat časových řad, detekci anomálií, prognózování a provádění analýzy původních příčin přímo v protokolech služby Azure Monitor, aniž by bylo nutné provádět podrobné znalosti datových věd a programovacích jazyků.
Microsoft Copilot pro Azure Pomáhá používat Log Analytics k analýze dat a řešení potíží. Vygeneruje ukázkové dotazy KQL na základě výzev, například "Dochází k chybám v protokolech kontejnerů?".
Monitorování výkonu aplikací Inteligentní zobrazení mapy aplikace Mapy závislostí mezi službami a pomáhá odhalit kritické body výkonu nebo hotspoty selhání ve všech komponentách vaší distribuované aplikace.
Inteligentní detekce Analyzuje telemetrii, která aplikace odesílá do aplikačního Přehledy, výstrahy na problémy s výkonem a anomálie selhání a identifikuje potenciální původní příčiny problémů s výkonem aplikace.
Upozornění na metriky Dynamické prahové hodnoty pro upozorňování na metriky Naučte se vzory metrik, automaticky nastaví prahové hodnoty upozornění na základě historických dat a identifikuje anomálie, které můžou znamenat problémy se službami.
Škálovací sady virtuálních počítačů Prediktivní automatické škálování Prognózuje celkové požadavky na procesor škálovací sady virtuálních počítačů na základě historických vzorů využití procesoru a automaticky škáluje kapacitu podle těchto potřeb.

Strojové učení v protokolech služby Azure Monitor

Pomocí integrovaných funkcí analýzy časových řad a strojového učení, operátorů a modulů plug-in dotazovací jazyk Kusto můžete získat přehled o stavu služeb, využití, kapacitě a dalších trendech a generovat prognózy a zjišťovat anomálie v protokolech služby Azure Monitor.

Pokud chcete získat větší flexibilitu a rozšířit schopnost analyzovat a pracovat s daty, můžete také implementovat vlastní kanál strojového učení na data v protokolech služby Azure Monitor.

Tato tabulka porovnává výhody a omezení používání integrovaných funkcí strojového učení KQL a vytvoření vlastního kanálu strojového učení a odkazů na kurzy, které ukazují, jak můžete jednotlivé možnosti implementovat:

Integrované funkce strojového učení KQL Vytvoření vlastního kanálu strojového učení
Scénář ✅ Detekce anomálií, původní příčina a analýza časových řad
✅ Detekce anomálií, původní příčina a analýza časových řad
✅Pokročilé analýzy a scénáře AIOPs
Výhody 🔹Začnete velmi rychle.
🔹Nevyžadují se žádné znalosti datových věd a programovací dovednosti.
🔹 Optimální výkon a úspory nákladů.		 🔹Podporuje větší měřítka.
🔹Umožňuje pokročilé a složitější scénáře.
🔹Flexibilita při výběru knihoven, modelů a parametrů
Limity služeb a datové svazky Limity dotazů protokolu rozhraní API na webu Azure Portal nebo dotazování v závislosti na tom, jestli pracujete na portálu nebo používáte rozhraní API, například z poznámkového bloku. 🔹Omezení dotazů na dotazy na protokoly rozhraní API, pokud dotazujete data v protokolech služby Azure Monitor jako součást kanálu strojového učení. V opačném případě žádné limity služeb Azure.
🔹Může podporovat větší objemy dat.
Integrace Žádné se nevyžadují. Spusťte službu Log Analytics na webu Azure Portal nebo z integrovaného poznámkového bloku Jupyter. Vyžaduje integraci s nástrojem, jako je například Jupyter Notebook. Obvykle byste se také integrovali s dalšími službami Azure, jako je Azure Synapse Analytics.
Výkon Optimální výkon s využitím platformy Azure Data Explorer, která běží ve velkém měřítku distribuovaným způsobem. Představuje malou latenci při dotazování nebo exportu dat v závislosti na způsobu implementace kanálu strojového učení.
Typ modelu Lineární regresní model a další modely podporované funkcemi časových řad KQL se sadou konfigurovatelných parametrů Zcela přizpůsobitelný model strojového učení nebo metodu detekce anomálií
Náklady Žádné další náklady. V závislosti na způsobu implementace kanálu strojového učení se můžou účtovat poplatky za export dat, příjem vyhodnocených dat do protokolů služby Azure Monitor a používání dalších služeb Azure.
Kurz Detekce a analýza anomálií pomocí funkcí strojového učení KQL ve službě Azure Monitor Analýza dat v protokolech služby Azure Monitor pomocí poznámkového bloku

Vytvoření vlastního kanálu strojového učení pro data v protokolech služby Azure Monitor

Vytvořte si vlastní kanál strojového učení na základě dat v protokolech služby Azure Monitor, abyste představili nové funkce AIOps a podporovali pokročilé scénáře, například:

  • Proaktivní vyhledávání útoků na zabezpečení s propracovanějšími modely, než jsou útoky KQL.
  • Zjišťování problémů s výkonem a řešení chyb ve webové aplikaci
  • Vytváření toků s více kroky, spuštění kódu v každém kroku na základě výsledků předchozího kroku
  • Automatizace analýzy dat protokolu služby Azure Monitor a poskytování přehledů o několika oblastech, včetně stavu infrastruktury a chování zákazníků.
  • Korelace dat v protokolech služby Azure Monitor s daty z jiných zdrojů

Existují dva přístupy k zpřístupnění dat v protokolech služby Azure Monitor pro váš kanál strojového učení:

Tato tabulka porovnává výhody a omezení přístupů k načítání dat pro váš kanál strojového učení:

Dotazování dat v protokolech služby Azure Monitor Export dat
Výhody 🔹Začnete rychle.
🔹Vyžaduje pouze základní dovednosti v oblasti datových věd a programování.
🔹Minimální latence a úspora nákladů		 🔹Podporuje větší měřítka.
🔹Žádná omezení dotazů.
Exportovaná data? No Ano
Omezení služby Omezení dotazů na dotazy rozhraní API protokolu a omezování uživatelských dotazů Limity rozhraní API pro dotazy můžete překonat určitým stupněm rozdělením větších dotazů na bloky dat. Žádná ze služby Azure Monitor.
Datové svazky Analyzujte několik gb dat nebo několik milionů záznamů za hodinu. Podporuje velké objemy dat.
Knihovna strojového učení U malých až středně velkých datových sad byste obvykle používali knihovny strojového učení s jedním uzlem, jako je Scikit Learn. U velkých datových sad byste obvykle používali knihovny strojového učení pro velké objemy dat, jako je SynapseML.
Latence Minimální. Představuje malou latenci při exportu dat.
Náklady Ve službě Azure Monitor se neúčtují žádné další poplatky.
Náklady na Azure Synapse Analytics, azure machine Učení nebo jinou službu, pokud se používají.		 Náklady na export dat a externí úložiště
Náklady na Azure Synapse Analytics, azure machine Učení nebo jinou službu, pokud se používají.

Tip

Pokud chcete využít výhod nejlepších z obou přístupů implementace, vytvořte hybridní kanál. Běžným hybridním přístupem je export dat pro trénování modelu, který zahrnuje velké objemy dat, a použití dotazů dat v protokolech služby Azure Monitor k prozkoumání dat a určení skóre nových dat za účelem snížení latence a nákladů.

Implementace kroků životního cyklu strojového učení v protokolech služby Azure Monitor

Nastavení kanálu strojového učení obvykle zahrnuje všechny nebo některé kroky popsané níže.

K implementaci kanálu strojového učení můžete použít různé knihovny Strojového učení Azure a Open Source, včetně Scikit Learn, PyTorch, Tensorflow, Spark MLlib a SynapseML.

Tato tabulka popisuje jednotlivé kroky a poskytuje základní pokyny a některé příklady implementace těchto kroků na základě přístupů implementace popsaných v tématu Vytvoření vlastního kanálu strojového učení na datech v protokolech služby Azure Monitor:

Krok Popis Dotazování dat v protokolech služby Azure Monitor Export dat
Zkoumání dat Prozkoumejte data, která jste shromáždili, a seznamte se s daty, která jste shromáždili. Nejjednodušší způsob, jak prozkoumat data, je použití Log Analytics, které poskytuje bohatou sadu nástrojů pro zkoumání a vizualizaci dat na webu Azure Portal. Data v protokolech služby Azure Monitor můžete analyzovat také pomocí poznámkového bloku. Pokud chcete analyzovat protokoly mimo Azure Monitor, exportujte data z pracovního prostoru služby Log Analytics a nastavte prostředí ve zvolené službě.
Příklad, jak prozkoumat protokoly mimo Azure Monitor, najdete v tématu Analýza dat exportovaných z Log Analytics pomocí Synapse.
Sestavení a trénování modelu strojového učení Trénování modelu je iterativní proces. Výzkumní pracovníci nebo datoví vědci vyvíjejí model načtením a čištěním trénovacích dat, funkcí inženýrů, zkoušením různých modelů a laděním parametrů a opakováním tohoto cyklu, dokud model nebude přesný a robustní. U malých až středně velkých datových sad obvykle používáte knihovny strojového učení s jedním uzlem, jako je Scikit Learn.
Příklad trénování modelu strojového učení na data v protokolech služby Azure Monitor pomocí knihovny Scikit Learn najdete v tomto ukázkovém poznámkovém bloku: Detekce anomálií v protokolech služby Azure Monitor pomocí technik strojového učení.		 U velkých datových sad obvykle používáte knihovny strojového učení pro velké objemy dat, jako je SynapseML.
Nasazení a určení skóre modelu Bodování je proces použití modelu strojového učení na nová data k získání předpovědí. Vyhodnocování je obvykle potřeba provést ve velkém měřítku s minimální latencí. Pokud chcete dotazovat nová data v protokolech služby Azure Monitor, použijte klientskou knihovnu Azure Monitor Query.
Příklad skóre dat pomocí opensourcových nástrojů najdete v tomto ukázkovém poznámkovém bloku: Detekce anomálií v protokolech služby Azure Monitor pomocí technik strojového učení.
Spuštění kanálu podle plánu Automatizujte kanál pro pravidelné trénování modelu na aktuální data. Naplánujte kanál strojového učení pomocí Azure Synapse Analytics nebo azure machine Učení. Podívejte se na příklady ve sloupci Dotazování dat ve sloupci Protokoly služby Azure Monitor.

Ingestování výsledků skóre do pracovního prostoru služby Log Analytics umožňuje používat data k získání pokročilých přehledů a k vytváření upozornění a řídicích panelů. Příklad, jak ingestovat výsledky s skóre pomocí klientské knihovny pro příjem dat ve službě Azure Monitor, najdete v tématu Ingestování anomálií do vlastní tabulky v pracovním prostoru služby Log Analytics.

Další kroky

Přečtěte si další informace: