Integrera Azure Data Explorer för långsiktig loggbevarande

  • Artikel
  • 12 minuter för att läsa

Anteckning

Azure Sentinel heter nu Microsoft Sentinel och vi kommer att uppdatera dessa sidor under de kommande veckorna. Läs mer om de senaste säkerhetsförbättringarna från Microsoft.

Som standard lagras loggar som matas in i Microsoft Sentinel i Azure Monitor Log Analytics. Den här artikeln förklarar hur du minskar kvarhållningskostnaderna i Microsoft Sentinel genom att skicka dem Azure Data Explorer för långsiktig kvarhållning.

Lagring av loggar i Azure Data Explorer minskar kostnaderna samtidigt som du behåller din möjlighet att köra frågor mot dina data och är särskilt användbart när dina data växer. Även om säkerhetsdata till exempel kan förlora värde över tid kan du behöva behålla loggar för regelkrav eller köra regelbundna undersökningar av äldre data.

Om Azure Data Explorer

Azure Data Explorer är en plattform för stordataanalys som är mycket optimerad för logg- och dataanalys. Eftersom Azure Data Explorer använder Kusto Query Language (KQL) som frågespråk är det ett bra alternativ för Microsoft Sentinel-datalagring. Med Azure Data Explorer för din datalagring kan du köra plattformsoberoende frågor och visualisera data i både Azure Data Explorer och Microsoft Sentinel.

Mer information finns i:

När du ska integrera med Azure Data Explorer

Microsoft Sentinel tillhandahåller fullständiga SIEM- och SOAR-funktioner, snabb distribution och konfiguration, samt avancerade, inbyggda säkerhetsfunktioner för SOC-team. Värdet för att lagra säkerhetsdata i Microsoft Sentinel kan dock minska efter några månader, när SOC-användare inte behöver komma åt dem så ofta som de kommer åt nyare data.

Om du bara behöver komma åt vissa tabeller ibland, till exempel för regelbundna undersökningar eller granskningar, kan du överväga att det inte längre är kostnadseffektivt att behålla dina data i Microsoft Sentinel. Nu rekommenderar vi att du lagrar data i Azure Data Explorer, vilket kostar mindre, men ändå kan du utforska med samma KQL-frågor som du kör i Microsoft Sentinel.

Du kan komma åt data i Azure Data Explorer direkt från Microsoft Sentinel med hjälp av log analytics Azure Data Explorer proxyfunktionen. Det gör du genom att använda frågor mellan kluster i loggsökningen eller arbetsböckerna.

Viktigt

Viktiga SIEM-funktioner, inklusive analysregler, UEBA och undersökningsdiagrammet, stöder inte data som lagras i Azure Data Explorer.

Anteckning

Integrering med Azure Data Explorer kan också ge dig kontroll och kornighet i dina data. Mer information finns i Designöverväganden.

Skicka data direkt till Microsoft Sentinel och Azure Data Explorer parallellt

Du kanske vill behålla alla data med säkerhetsvärde i Microsoft Sentinel som ska användas vid identifieringar, incidentundersökningar, hotjakt, UEBA och så vidare. Att lagra dessa data i Microsoft Sentinel har främst fördelar för Användare av Security Operations Center (SOC), där det vanligtvis räcker med 3–12 månaders lagring.

Du kan också konfigurera att alla dina data, oavsett säkerhetsvärde, skickas till Azure Data Explorer samtidigt, där du kan lagra dem längre. När data skickas till både Microsoft Sentinel och Azure Data Explorer samtidigt resulterar i viss duplicering, kan kostnadsbesparingarna vara betydande eftersom du minskar kvarhållningskostnaderna i Microsoft Sentinel.

Tips

Med det här alternativet kan du också korrelera data som sprids över datalager, till exempel för att utöka säkerhetsdata som lagras i Microsoft Sentinel med operativa eller långsiktiga data som lagras i Azure Data Explorer. Mer information finns i Frågefrågor mellan resurser Azure Data Explorer med hjälp av Azure Monitor.

Följande bild visar hur du kan behålla alla dina data i Azure Data Explorer, samtidigt som du bara skickar dina säkerhetsdata till Microsoft Sentinel för daglig användning.

Lagra data i Azure Data Explorer och Microsoft Sentinel parallellt.

Mer information om hur du implementerar det här arkitekturalternativet finns i Azure Data Explorer övervakning.

Exportera data från Log Analytics till Azure Data Explorer

I stället för att skicka dina data direkt till Azure Data Explorer kan du välja att exportera data från Log Analytics till Azure Data Explorer via en Azure Event Hub eller Azure Data Factory.

Arkitektur för dataexport

Följande bild visar ett exempelflöde med exporterade data via Azure Monitor datainmatningspipeline. Dina data dirigeras till Log Analytics som standard, men du kan också konfigurera dem för att exportera till ett Azure Storage-konto eller en händelsehubb.

Exportera data från Azure Monitor – arkitektur.

När du konfigurerar dataexportreglerna väljer du de typer av loggar som du vill exportera. När den har konfigurerats exporteras nya data som kommer till Log Analytics-inmatningsslutpunkten och riktas mot arbetsytan för de valda tabellerna till ditt Storage konto eller händelsehubb.

Tänk på följande när du konfigurerar data för export:

Att tänka på Information
Omfång för exporterade data När exporten har konfigurerats för en specifik tabell exporteras alla data som skickas till tabellen, utan undantag. Det finns inte stöd för att exportera en filtrerad delmängd av dina data eller begränsa exporten till specifika händelser.
Platskrav Både arbetsytan Azure Monitor/Microsoft Sentinel och målplatsen (ett Azure Storage-konto eller en händelsehubb) måste finnas i samma geografiska region.
Tabeller som stöds Alla tabeller stöds inte för export, till exempel anpassade loggtabeller, som inte stöds.

Mer information finns i Dataexport för Log Analytics-arbetsyta i Azure Monitor och listan över tabeller som stöds.

Metoder och procedurer för dataexport

Använd någon av följande procedurer för att exportera data från Microsoft Sentinel till Azure Data Explorer:

  • Via en Azure-händelsehubb. Exportera data från Log Analytics till en händelsehubb, där du kan mata in dem i Azure Data Explorer. Den här metoden lagrar vissa data (de första X månaderna) i både Microsoft Sentinel och Azure Data Explorer.

  • Via Azure Storage och Azure Data Factory. Exportera dina data från Log Analytics till Azure Blob Storage och Azure Data Factory sedan för att köra ett periodiskt kopieringsjobb för att ytterligare exportera data till Azure Data Explorer. Med den här metoden kan du endast kopiera data Azure Data Factory data från en lagringsgräns i Microsoft Sentinel/Log Analytics för att undvika duplicering.

I det här avsnittet beskrivs hur du exporterar Microsoft Sentinel-data från Log Analytics till en händelsehubb, där du kan mata in dem i Azure Data Explorer. På samma sätt som data skickas direkt till Microsoft Sentinel och Azure Data Explorerparallellt innehåller den här metoden viss dataduplicering eftersom data strömmas till Azure Data Explorer när de tas emot i Log Analytics.

Följande bild visar ett exempelflöde med exporterade data till en händelsehubb, där de matas in i Azure Data Explorer.

Exportera data till Azure Data Explorer via en Azure-händelsehubb.

Arkitekturen som visas i föregående bild ger den fullständiga Microsoft Sentinel SIEM-upplevelsen, inklusive incidenthantering, visuella undersökningar, hotjakt, avancerade visualiseringar, UEBA med mera, för data som måste användas ofta, var X månad. Samtidigt kan du med den här arkitekturen även köra frågor mot långsiktiga data genom att komma åt dem direkt i Azure Data Explorer eller via Microsoft Sentinel tack vare funktionen Azure Data Explorer proxy. Frågor till långsiktig datalagring i Azure Data Explorer kan portas utan ändringar från Microsoft Sentinel till Azure Data Explorer.

Anteckning

När du exporterar flera datatabeller till Azure Data Explorer via Event Hub bör du tänka på att Log Analytics-dataexporten har begränsningar för det maximala antalet Event Hubs per namnområde. Mer information om dataexport av Log Analytics-arbetsytedataexport i Azure Monitor.

För de flesta kunder rekommenderar vi att du använder standardnivån för Event Hub. Beroende på hur många tabeller du behöver exportera och mängden trafik till dessa tabeller kan du behöva använda event hub dedicated-nivån. Mer information finns i Event Hub-dokumentationen.

Tips

Mer information om den här proceduren finns i Självstudie: Mata in och fråga övervakningsdata i Azure Data Explorer.

Så här exporterar du data Azure Data Explorer via en händelsehubb:

  1. Konfigurera Log Analytics-dataexporten till en händelsehubb. Mer information finns i Dataexport för Log Analytics-arbetsyta i Azure Monitor.

  2. Skapa ett Azure Data Explorer-kluster och databas. Mer information finns i:

  3. Skapa måltabeller. Rådata matas först in i en mellanliggande tabell, där rådata lagras, ändras och expanderas.

    En uppdateringsprincip, som liknar en funktion som tillämpas på alla nya data, används för att mata in expanderade data i den slutliga tabellen, som har samma schema som den ursprungliga tabellen i Microsoft Sentinel.

    Ange kvarhållningen för råtabellen till 0 dagar. Data lagras endast i den korrekt formaterade tabellen och tas bort i råtabellen så fort den transformeras.

    Mer information finns i Mata in och köra frågor mot övervakningsdata i Azure Data Explorer.

  4. Skapa tabellmappning. Mappa JSON-tabellerna för att definiera hur poster hamnar i råhändelsetabellen när de kommer från en händelsehubb. Mer information finns i Skapa uppdateringsprincipen för mått- och loggdata.

  5. Skapa en uppdateringsprincip och koppla den till tabellen raw records. I det här steget skapar du en funktion som kallas uppdateringsprincip och kopplar den till måltabellen så att data transformeras vid inmatningen.

    Anteckning

    Det här steget krävs bara när du vill ha datatabeller i Azure Data Explorer med samma schema och format som i Microsoft Sentinel.

    Mer information finns i Anslut en händelsehubb för att Azure Data Explorer.

  6. Skapa en dataanslutning mellan händelsehubben och rådatatabellen i Azure Data Explorer. Konfigurera Azure Data Explorer information om hur du exporterar data till händelsehubben.

    Följ instruktionerna i Azure Data Explorer och ange följande information:

    • Mål . Ange den specifika tabellen med rådata.
    • Formatera. Ange .json som tabellformat.
    • Mappning som ska tillämpas. Ange mappningstabellen som skapades i steg 4 ovan.

  7. Ändra kvarhållning för måltabellen. Standardprincipen för Azure Data Explorer kvarhållning kan vara mycket längre än du behöver.

    Använd följande kommando för att uppdatera kvarhållningsprincipen till ett år:

    .alter-merge table <tableName> policy retention softdelete = 365d recoverability = disabled

Designöverväganden

När du lagrar Microsoft Sentinel-data Azure Data Explorer bör du tänka på följande:

Att tänka på Beskrivning
Klusterstorlek och SKU Planera noggrant för antalet noder och VM-SKU:n i klustret. Dessa faktorer avgör mängden processorkraft och storleken på din heta cache (SSD och minne). Ju större cache, desto mer data kommer du att kunna köra frågor mot med högre prestanda.

Vi rekommenderar att du besöker Azure Data Explorer storlekskalkylatorn,där du kan leka med olika konfigurationer och se den resulterande kostnaden.

Azure Data Explorer har också en funktion för automatisk skalning som fattar intelligenta beslut om att lägga till/ta bort noder efter behov baserat på klusterbelastning. Mer information finns i Hantera horisontell klusterskalning (skala ut) i Azure Data Explorer för att hantera föränderlig efterfrågan.
Hot/cold cache Azure Data Explorer ger kontroll över de datatabeller som finns i cacheminnet och returnerar resultat snabbare. Om du har stora mängder data i Azure Data Explorer-klustret kanske du vill dela upp tabeller per månad, så att du har större kornighet på de data som finns i din heta cache.

Mer information finns i Cacheprincip (varm och kall cache)
Kvarhållning I Azure Data Explorer kan du konfigurera när data tas bort från en databas eller en enskild tabell, vilket också är en viktig del av att begränsa lagringskostnaderna.

Mer information finns i Kvarhållningsprincip.
Säkerhet Flera Azure Data Explorer kan hjälpa dig att skydda dina data, till exempel identitetshantering, kryptering och så vidare. Specifikt för rollbaserad åtkomstkontroll (RBAC) kan Azure Data Explorer konfigureras för att begränsa åtkomsten till databaser, tabeller eller till och med rader i en tabell. Mer information finns i Säkerhet i Azure Data Explorer säkerhet på radnivå.
Datadelning Azure Data Explorer kan du göra datadelar tillgängliga för andra parter, till exempel partner eller leverantörer, och även köpa data från andra parter. Mer information finns i Använda Azure Data Share för att dela data med Azure Data Explorer.
Andra kostnadskomponenter Överväg de andra kostnadskomponenterna för följande metoder:

Exportera data via en Azure Event Hub:
– Log Analytics-dataexportkostnader, debiteras per exporterad GB.
– Kostnader för händelsehubben som debiteras per dataflödesenhet.

Exportera data via Azure Storage och Azure Data Factory:
– Log Analytics-dataexport, debiteras per exporterad GB.
– Azure Storage som debiteras av GB som lagras.
– Azure Data Factory debiteras per kopia av aktiviteter som körs.

Nästa steg

Oavsett var du lagrar dina data kan du fortsätta att jaga och undersöka med hjälp av Microsoft Sentinel.

Mer information finns i: