Integrace Azure Průzkumník dat pro dlouhodobé uchovávání protokolů

  • Článek
  • 12 min ke čtení

Poznámka

Azure Sentinel se teď nazývá Microsoft Sentinel a tyto stránky budeme v nadcházejících týdnech aktualizovat. Přečtěte si další informace o nedávných vylepšeních zabezpečení od Microsoftu.

Ve výchozím nastavení se protokoly ingestované do programu Microsoft Sentinel ukládají do Azure Monitor Log Analytics. Tento článek vysvětluje, jak snížit náklady na uchovávání dat v Microsoft Sentinel tím, že je posíláte do Azure Průzkumník dat pro dlouhodobé uchovávání.

Ukládání protokolů v Azure Průzkumník dat snižuje náklady a přitom si zachovává schopnost dotazovat se na data a je obzvláště užitečná při zvětšování dat. Například zatímco data zabezpečení mohou v průběhu času přijít o hodnotu, může být nutné zachovat protokoly pro zákonné požadavky nebo spustit pravidelné šetření na starší data.

Informace o službě Azure Data Explorer

Azure Průzkumník dat je platforma pro analýzu velkých objemů dat, která je vysoce optimalizovaná pro protokoly a analýzu dat. Vzhledem k tomu, že Azure Průzkumník dat jako svůj dotazovací jazyk používá KQL (Kusto Query Language), je pro úložiště dat Microsoft Sentinel vhodná alternativa. Použití služby Azure Průzkumník dat pro úložiště dat umožňuje spouštění dotazů napříč platformami a vizualizaci dat napříč Azure Průzkumník dat a Microsoft Sentinel.

Další informace naleznete v tématu:

Kdy se dá integrovat s Azure Průzkumník dat

Microsoft Sentinel poskytuje úplné SIEM a společnosti možnosti, rychlé nasazení a konfiguraci a také pokročilé integrované funkce zabezpečení pro SOC týmy. Hodnota ukládání dat zabezpečení v rámci Microsoft Sentinel se ale může po několika měsících vyřadit, jakmile SOC uživatelé nebudou potřebovat přístup k nim, jak často mají přístup k novějším datům.

Pokud potřebujete přístup jen ke konkrétním tabulkám, například k pravidelným vyšetřováním nebo auditům, můžete zvážit, že zachování dat v nástroji Microsoft Sentinel již není nákladově efektivní. V tuto chvíli doporučujeme ukládat data do Azure Průzkumník dat, což snižuje náklady, ale pořád vám umožní prozkoumat pomocí stejných dotazů KQL, které spouštíte v rámci Microsoft Sentinel.

K datům v Azure Průzkumník dat můžete přistupovat přímo z Microsoft Sentinel pomocí funkce Log Analytics Azure Průzkumník dat proxy. Provedete to tak, že v hledání v protokolu nebo v sešitech použijete dotazy pro různé clustery.

Důležité

Základní možnosti SIEM, včetně analytických pravidel, UEBA a grafu šetření, nepodporují data uložená v Azure Průzkumník dat.

Poznámka

Integrace s Azure Průzkumník dat také umožňuje mít v datech kontrolu a členitost. Další informace najdete v tématu věnovaném hledisku návrhu.

Přímý přenos dat do služby Microsoft Sentinel a Azure Průzkumník dat paralelně

Možná budete chtít zachovat veškerá data s hodnotou zabezpečení v nástroji Microsoft Sentinel pro použití při detekcích, vyšetřování incidentů, loveckí hrozeb, UEBA a tak dále. Tato data si podržíte v systému Microsoft Sentinel – výhody SOC (Security Operations Center), kde jsou obvykle dostatečné 3-12 měsíců úložiště.

Můžete také nakonfigurovat všechna vaše data, bez ohledu na její hodnotu zabezpečení, která se mají odeslat do Azure Průzkumník dat ve stejnou chvíli, kde ji můžete ukládat déle. Při posílání dat do služby Microsoft Sentinel i do služby Azure Průzkumník dat ve stejnou dobu při některých duplicitách dojde k výraznému snížení nákladů, protože snížíte náklady na uchování v programu Microsoft Sentinel.

Tip

Tato možnost také umožňuje korelovat data rozložená mezi úložišti dat, například k obohacení dat zabezpečení uložených v rámci Microsoft Sentinel s provozními nebo dlouhodobými daty uloženými v Azure Průzkumník dat. Další informace najdete v tématu dotazování služby Azure Průzkumník dat mezi prostředky pomocí Azure monitor.

Následující obrázek ukazuje, jak uchovávat všechna vaše data v Azure Průzkumník dat a zároveň posílat pouze vaše data zabezpečení do služby Microsoft Sentinel pro každodenní použití.

Ukládejte data v Azure Průzkumník dat a paralelně Microsoft Sentinel.

Další informace o implementaci této možnosti architektury najdete v tématu monitorování služby Azure Průzkumník dat.

Export dat z Log Analytics do Azure Průzkumník dat

Místo odesílání dat přímo do Azure Průzkumník dat můžete zvolit export dat z Log Analytics do Azure Průzkumník dat prostřednictvím centra událostí Azure nebo Azure Data Factory.

Architektura exportu dat

Následující obrázek znázorňuje ukázkový tok exportovaných dat prostřednictvím kanálu ingestování Azure Monitor. vaše data jsou ve výchozím nastavení směrována na Log Analytics, ale můžete ji také nakonfigurovat pro export do Azure Storage účtu nebo centra událostí.

Exportujte data z Azure Monitor architektury.

Při konfiguraci pravidel exportu dat vyberte typy protokolů, které chcete exportovat. po nakonfigurování se nová data, která přicházejí do koncového bodu ingestování Log Analytics a cílí na váš pracovní prostor pro vybrané tabulky, exportují do svého účtu Storage nebo centra událostí.

Při konfiguraci dat pro export si pamatujte na následující skutečnosti:

Aspekty Podrobnosti
Rozsah exportovaných dat Po nakonfigurování exportu pro konkrétní tabulku se exportují všechna data odesílaná do této tabulky bez výjimky. Export filtrované podmnožiny dat nebo omezení exportu na konkrétní události není podporován.
Požadavky na umístění pracovní prostor Azure Monitor/Microsoft Sentinel a cílové umístění (účet Azure Storage nebo centrum událostí) se musí nacházet ve stejné geografické oblasti.
Podporované tabulky Pro export nejsou podporovány všechny tabulky, například vlastní tabulky protokolů, které nejsou podporovány.

Další informace najdete v tématu Export dat Log Analytics pracovního prostoru v Azure monitor a seznam podporovaných tabulek.

Metody a postupy exportu dat

Pomocí jednoho z následujících postupů exportujte data z Microsoft Sentinel do Azure Průzkumník dat:

  • Prostřednictvím centra událostí Azure. Exportujte data z Log Analytics do centra událostí, kde je můžete ingestovat do Azure Průzkumník dat. Tato metoda ukládá některá data (prvních X měsíců) v rámci ověřovacích dat Microsoft i v Azure Průzkumník dat.

  • prostřednictvím Azure Storage a Azure Data Factory. exportujte data z Log Analytics do azure Blob Storage a pak Azure Data Factory se používá ke spuštění úlohy pravidelného kopírování, aby bylo možné dále exportovat data do Průzkumník dat Azure. Tato metoda umožňuje kopírovat data z Azure Data Factory jenom v případě, že v blízkosti svého limitu uchování v Microsoft Sentinel/Log Analytics vyloučíte duplicity.

Tato část popisuje, jak exportovat data Microsoft Sentinel z Log Analytics do centra událostí, kde je můžete ingestovat do Azure Průzkumník dat. Podobně jako při posílání dat přímo do aplikace Microsoft Sentinel a Azure Průzkumník dat paralelnězahrnuje tato metoda duplikaci dat, protože data se streamují do Azure Průzkumník dat při jejich doručování do Log Analytics.

Následující obrázek znázorňuje ukázkový tok exportovaných dat do centra událostí, ze kterého se ingestuje do služby Azure Průzkumník dat.

Exportujte data do Azure Průzkumník dat prostřednictvím centra událostí Azure.

Architektura zobrazená na předchozím obrázku poskytuje kompletní prostředí Microsoft Sentinel SIEM, včetně správy incidentů, vizuálních vyšetřování, loveckých hrozeb, pokročilých vizualizací, UEBA a dalších, pro data, ke kterým musí být často přistupovaná data, a to každých X měsíců. Tato architektura zároveň umožňuje dotazovat se na dlouhodobá data tím, že se k nim přistupuje přímo v Azure Průzkumník dat nebo přes Microsoft Sentinel s funkcí proxy Azure Průzkumník dat. Dotazy na dlouhodobé úložiště dat ve službě Azure Průzkumník dat můžete přenést bez jakýchkoli změn z Microsoft Sentinel do Azure Průzkumník dat.

Poznámka

Při exportu více datových tabulek do Azure Průzkumník dat prostřednictvím centra událostí mějte na paměti, že Log Analytics exportu dat má omezení maximálního počtu Event Hubs na obor názvů. Další informace o exportu dat Log Analytics pracovního prostoru v Azure monitor.

Pro většinu zákazníků doporučujeme používat úroveň Standard centra událostí. V závislosti na množství tabulek potřebných k exportu a objemu provozu do těchto tabulek možná budete muset použít vyhrazenou úroveň centra událostí. Další informace najdete v dokumentaci centra událostí.

Tip

Další informace o tomto postupu najdete v tématu kurz: ingestování a dotazování na data monitorování v Azure Průzkumník dat.

Export dat do služby Azure Průzkumník dat prostřednictvím centra událostí:

  1. Nakonfigurujte Log Analytics exportovat data do centra událostí. Další informace najdete v tématu Export dat z pracovního prostoru Log Analytics v Azure monitor.

  2. Vytvořte cluster a databázi Azure Průzkumník dat. Další informace naleznete v tématu:

  3. Vytvořte cílové tabulky. Nezpracovaná data se nejdřív ingestují do mezilehlé tabulky, kde se nezpracované data ukládají, zpracovávají a rozšiřují.

    Zásada aktualizace, která je podobná funkci použitým pro všechna nová data, se používá k ingestování rozšířených dat do finální tabulky, která má stejné schéma jako původní tabulka v rámci Microsoft Sentinel.

    Nastavte uchování v nezpracované tabulce na 0 dní. Data jsou uložena pouze v správně formátované tabulce a po transformaci se odstraní v nezpracované tabulce.

    Další informace najdete v tématu ingestování a dotazování na data monitorování v Azure Průzkumník dat.

  4. Vytvořit mapování tabulky Namapujte tabulky JSON, abyste definovali způsob, jakým se v tabulce nezpracované události najdou záznamy, jak se nacházejí v centru událostí. Další informace najdete v tématu Vytvoření zásad aktualizace pro data metrik a log.

  5. Vytvořte zásadu aktualizace a připojte ji k tabulce nezpracované záznamy. V tomto kroku vytvořte funkci, která se nazývá zásada aktualizace, a připojte ji k cílové tabulce, aby se data po dobu příjmu transformoval.

    Poznámka

    Tento krok se vyžaduje jenom v případě, že chcete mít tabulky dat v Azure Průzkumník dat se stejným schématem a formátem jako v Microsoft Sentinel.

    další informace najdete v tématu Připojení centra událostí do Azure Průzkumník dat.

  6. Vytvoří datové připojení mezi centrem událostí a nezpracovanými tabulkami dat v Azure Průzkumník dat. Nakonfigurujte Azure Průzkumník dat s podrobnostmi o tom, jak exportovat data do centra událostí.

    Postupujte podle pokynů v dokumentaci k Azure Průzkumník dat a zadejte následující podrobnosti:

    • Cíl. Zadejte konkrétní tabulku s nezpracovaná data.
    • Naformátovat. Jako .json formát tabulky zadejte .
    • Mapování, které se má použít. Zadejte tabulku mapování vytvořenou v kroku 4 výše.

  7. Upravte uchovávání pro cílovou tabulku. Výchozí zásada Azure Data Explorer uchovávání informací může být mnohem delší, než potřebujete.

    Pomocí následujícího příkazu aktualizujte zásady uchovávání informací na jeden rok:

    .alter-merge table <tableName> policy retention softdelete = 365d recoverability = disabled

Na co dát pozor při navrhování

Při ukládání dat Microsoft Sentinelu do Azure Data Explorer zvažte následující prvky:

Aspekty Popis
Velikost clusteru a SKU Pečlivě naplánujte počet uzlů a SKU virtuálního počítače v clusteru. Tyto faktory určují množství výpočetního výkonu a velikost horké mezipaměti (SSD a paměti). Čím větší mezipaměť, tím více dat budete moct dotazovat při vyšším výkonu.

Doporučujeme vám navštívit kalkulačku Azure Data Explorervelikostí, kde si můžete pohrát s různými konfiguracemi a podívat se na výsledné náklady.

Azure Data Explorer také funkci automatického škálování, která na základě zatížení clusteru provádí inteligentní rozhodnutí o přidávání a odebírání uzlů podle potřeby. Další informace najdete v tématu Správa horizontálního škálování clusteru (horizontální navýšení kapacity) Azure Data Explorer podle měnící se poptávky.
Horká/studená mezipaměť Azure Data Explorer poskytuje kontrolu nad tabulkami dat, které jsou v horké mezipaměti, a rychleji vrací výsledky. Pokud máte v clusteru Azure Data Explorer velké objemy dat, můžete chtít rozdělit tabulky podle měsíců, abyste měli větší členitost dat, která se nachází ve vaší horké mezipaměti.

Další informace najdete v tématu Zásady mezipaměti (horká a studená mezipaměť).
Uchování V Azure Data Explorer můžete nakonfigurovat, kdy se data odebrala z databáze nebo jednotlivé tabulky, což je také důležitou součástí omezení nákladů na úložiště.

Další informace najdete v tématu Zásady uchovávání informací.
Zabezpečení S Azure Data Explorer dat vám může pomoct několik dalších nastavení, jako je správa identit, šifrování atd. Konkrétně pro řízení přístupu na základě role (RBAC) Azure Data Explorer nakonfigurovat tak, aby omezoval přístup k databázím, tabulkám nebo dokonce řádkům v tabulce. Další informace najdete v tématu Zabezpečení v Azure Data Explorer a zabezpečení na úrovni řádků.
Sdílení údajů Azure Data Explorer umožňuje získejte části dat jiným stranám, jako jsou partneři nebo dodavatelé, a dokonce i kupovat data od jiných stran. Další informace najdete v tématu Použití Azure Data Share ke sdílení dat s Azure Data Explorer.
Další nákladové komponenty Zvažte další nákladové komponenty pro následující metody:

Export dat prostřednictvím centra událostí Azure:
– Náklady na export dat Log Analytics účtované za vyexportované mb.
– Náklady na centrum událostí, které se účtují podle jednotky propustnosti.

Export dat prostřednictvím Azure Storage a Azure Data Factory:
– Export dat Log Analytics, který se účtuje za exportované MB.
– Azure Storage, účtované podle uložených MB.
– Azure Data Factory se účtují poplatky za každou kopii spuštěných aktivit.

Další kroky

Bez ohledu na to, kam data ukládáte, pokračujte v proašetřování pomocí služby Microsoft Sentinel.

Další informace naleznete v tématu: