Integratie Azure Data Explorer voor langetermijnretentie van logboeken

  • Artikel
  • 13 minuten om te lezen

Notitie

Azure Sentinel heet nu Microsoft Sentinel en we zullen deze pagina's in de komende weken bijwerken. Meer informatie over recente beveiligingsverbeteringen van Microsoft.

Standaard worden logboeken die zijn opgenomen in Microsoft Sentinel opgeslagen in Azure Monitor Log Analytics. In dit artikel wordt uitgelegd hoe u de retentiekosten in Microsoft Sentinel verlaagt door ze naar Azure Data Explorer voor langetermijnretentie.

Als u logboeken opslaat Azure Data Explorer kosten, terwijl u de mogelijkheid behoudt om query's uit te voeren op uw gegevens. Dit is met name handig als uw gegevens groeien. Hoewel beveiligingsgegevens in de loop van de tijd bijvoorbeeld waarde verliezen, moet u mogelijk logboeken bewaren voor wettelijke vereisten of periodiek onderzoek uitvoeren op oudere gegevens.

Over Azure Data Explorer

Azure Data Explorer is een big data analytics-platform dat in hoge mate is geoptimaliseerd voor logboek- en gegevensanalyse. Omdat Azure Data Explorer Kusto Query Language (KQL) gebruikt als querytaal, is het een goed alternatief voor gegevensopslag van Microsoft Sentinel. Door Azure Data Explorer voor uw gegevensopslag te gebruiken, kunt u platformoverschrijdende query's uitvoeren en gegevens visualiseren in zowel Azure Data Explorer als Microsoft Sentinel.

Zie voor meer informatie:

Wanneer integreren met Azure Data Explorer

Microsoft Sentinel biedt volledige SIEM- en SOAR-mogelijkheden, snelle implementatie en configuratie, evenals geavanceerde, ingebouwde beveiligingsfuncties voor SOC-teams. De waarde van het opslaan van beveiligingsgegevens in Microsoft Sentinel kan echter na enkele maanden afvallen, zodra SOC-gebruikers deze niet zo vaak hoeven te openen als ze toegang hebben tot nieuwere gegevens.

Als u slechts af en toe toegang nodig hebt tot specifieke tabellen, zoals voor periodieke onderzoeken of controles, kunt u overwegen dat het bewaren van uw gegevens in Microsoft Sentinel niet langer rendabel is. Op dit moment raden we u aan om gegevens op te slaan in Azure Data Explorer, wat minder kost, maar u nog steeds in staat stelt om te verkennen met behulp van dezelfde KQL-query's die u in Microsoft Sentinel hebt uitgevoerd.

U kunt de gegevens in de Azure Data Explorer rechtstreeks vanuit Microsoft Sentinel openen met behulp van de Log Analytics Azure Data Explorer proxyfunctie. Gebruik dit door clusteroverschrijdende query's te gebruiken in uw logboekzoek- of werkmappen.

Belangrijk

Kern-SIEM-mogelijkheden, waaronder analyseregels, UEBA en de onderzoeksgrafiek, bieden geen ondersteuning voor gegevens die zijn opgeslagen in Azure Data Explorer.

Notitie

Door te integreren Azure Data Explorer kunt u ook controle en granulariteit in uw gegevens hebben. Zie Ontwerpoverwegingen voor meer informatie.

Gegevens rechtstreeks naar Microsoft Sentinel verzenden en Azure Data Explorer parallel verzenden

Mogelijk wilt u gegevens met een beveiligingswaarde in Microsoft Sentinel bewaren voor gebruik in detecties, incidentonderzoeken, opsporing van bedreigingen, UEBA, en meer. Het bewaren van deze gegevens in Microsoft Sentinel heeft voornamelijk voordelen voor SOC-gebruikers (Security Operations Center), waarbij doorgaans 3-12 maanden aan opslagruimte voldoende zijn.

U kunt ook configureren dat al uw gegevens, ongeacht de beveiligingswaarde, op hetzelfde moment naar Azure Data Explorer worden verzonden, waar u ze langer kunt opslaan. Hoewel het tegelijkertijd verzenden van gegevens naar zowel Microsoft Sentinel als Azure Data Explorer leidt tot duplicatie, kunnen de kostenbesparingen aanzienlijk zijn als u de retentiekosten in Microsoft Sentinel verlaagt.

Tip

Met deze optie kunt u ook gegevens correleren die zijn verspreid over gegevensopslag, zoals om de beveiligingsgegevens die zijn opgeslagen in Microsoft Sentinel te verrijken met operationele of langetermijngegevens die zijn opgeslagen in Azure Data Explorer. Zie Query's uitvoeren op meerdere resources voor Azure Data Explorer met behulp van Azure Monitor.

In de volgende afbeelding ziet u hoe u al uw gegevens kunt bewaren in Azure Data Explorer, terwijl u alleen uw beveiligingsgegevens voor dagelijks gebruik naar Microsoft Sentinel kunt verzenden.

Gegevens parallel opslaan in Azure Data Explorer en Microsoft Sentinel.

Zie voor meer informatie over het implementeren van deze architectuuroptie Azure Data Explorer bewaking.

Gegevens exporteren van Log Analytics naar Azure Data Explorer

In plaats van uw gegevens rechtstreeks naar Azure Data Explorer verzenden, kunt u ervoor kiezen om uw gegevens vanuit Log Analytics te exporteren naar Azure Data Explorer via een Azure Event Hub of Azure Data Factory.

Architectuur voor gegevensexport

In de volgende afbeelding ziet u een voorbeeldstroom van geëxporteerde gegevens via de Azure Monitor opnamepijplijn. Uw gegevens worden standaard omgeleid naar Log Analytics, maar u kunt deze ook configureren om te exporteren naar een Azure Storage-account of Event Hub.

Gegevens exporteren uit Azure Monitor - architectuur.

Wanneer u de regels voor gegevensexport configureert, selecteert u de typen logboeken die u wilt exporteren. Zodra de configuratie is geconfigureerd, worden nieuwe gegevens die aankomen bij het Log Analytics-opname-eindpunt en gericht zijn op uw werkruimte voor de geselecteerde tabellen, geëxporteerd naar uw Storage-account of Event Hub.

Houd rekening met de volgende overwegingen bij het configureren van gegevens voor export:

Overweging Details
Bereik van geëxporteerde gegevens Zodra de export is geconfigureerd voor een specifieke tabel, worden alle gegevens die naar die tabel worden verzonden geëxporteerd, zonder uitzondering. Het exporteren van een gefilterde subset van uw gegevens of het beperken van de export tot specifieke gebeurtenissen wordt niet ondersteund.
Locatievereisten Zowel de Azure Monitor/Microsoft Sentinel-werkruimte als de doellocatie (een Azure Storage-account of Event Hub) moeten zich in dezelfde geografische regio bevinden.
Ondersteunde tabellen Niet alle tabellen worden ondersteund voor export, zoals aangepaste logboektabellen, die niet worden ondersteund.

Zie Gegevensexport van Log Analytics-werkruimten in Azure Monitor en de lijst met ondersteunde tabellen voor meer informatie.

Methoden en procedures voor gegevensexport

Gebruik een van de volgende procedures om gegevens uit Microsoft Sentinel te exporteren naar Azure Data Explorer:

  • Via een Azure Event Hub. Gegevens uit Log Analytics exporteren naar een Event Hub, waar u deze kunt opnemen in Azure Data Explorer. Met deze methode worden sommige gegevens (de eerste X maanden) op zowel in Microsoft Sentinel als in Azure Data Explorer.

  • Via Azure Storage en Azure Data Factory. Exporteert uw gegevens van Log Analytics naar Azure Blob Storage. Vervolgens wordt Azure Data Factory gebruikt om een periodieke kopieer job uit te voeren om de gegevens verder te exporteren naar Azure Data Explorer. Met deze methode kunt u alleen gegevens uit een Azure Data Factory wanneer de bewaarlimiet in Microsoft Sentinel/Log Analytics is bereikt, om duplicatie te voorkomen.

In deze sectie wordt beschreven hoe u Microsoft Sentinel-gegevens exporteert uit Log Analytics naar een Event Hub, waar u deze kunt opnemen in Azure Data Explorer. Net als bij het rechtstreeks verzenden van gegevens naar Microsoft Sentinel en Azure Data Explorer parallel,bevat deze methode enkele gegevensduplicatie omdat de gegevens worden gestreamd naar Azure Data Explorer wanneer ze binnenkomen in Log Analytics.

In de volgende afbeelding ziet u een voorbeeldstroom van geëxporteerde gegevens naar een Event Hub, van waaruit deze worden opgenomen in Azure Data Explorer.

Gegevens exporteren naar Azure Data Explorer via een Azure Event Hub.

De architectuur die in de vorige afbeelding wordt weergegeven, biedt de volledige SIEM-ervaring van Microsoft Sentinel, waaronder incidentbeheer, visuele onderzoeken, opsporing van bedreigingen, geavanceerde visualisaties, UEBA en meer, voor gegevens die regelmatig moeten worden geopend, elke X maanden. Tegelijkertijd kunt u met deze architectuur ook langetermijngegevens opvragen door ze rechtstreeks te openen in Azure Data Explorer of via Microsoft Sentinel dankzij de Azure Data Explorer proxyfunctie. Query's naar langetermijngegevensopslag in Azure Data Explorer kunnen worden overgeplaatst zonder wijzigingen van Microsoft Sentinel in Azure Data Explorer.

Notitie

Wanneer u meerdere gegevenstabellen exporteert naar Azure Data Explorer via Event Hub, moet u er rekening mee houden dat het exporteren van Log Analytics-gegevens beperkingen heeft voor het maximum aantal Event Hubs per naamruimte. Voor meer informatie over gegevensexport van Log Analytics-werkruimtegegevens exporteren in Azure Monitor.

Voor de meeste klanten wordt u aangeraden de Standard-laag van Event Hub te gebruiken. Afhankelijk van de hoeveelheid tabellen die u moet exporteren en de hoeveelheid verkeer naar deze tabellen, moet u mogelijk de Event Hub Dedicated-laag gebruiken. Zie Event Hub-documentatie voor meer informatie.

Tip

Zie Voor meer informatie over deze procedure Zelfstudie: Bewakingsgegevensopnemen en opvragen in Azure Data Explorer.

Gegevens exporteren naar Azure Data Explorer via een Event Hub:

  1. Configureer de Log Analytics-gegevensexport naar een Event Hub. Zie Log Analytics workspace data export in Azure Monitor (Gegevensexport van Log Analytics-werkruimten in Azure Monitor).

  2. Maak een Azure Data Explorer-cluster en -database. Zie voor meer informatie:

  3. Doeltabellen maken. De onbewerkte gegevens worden eerst opgenomen in een tussenliggende tabel, waar de onbewerkte gegevens worden opgeslagen, bewerkt en uitgebreid.

    Een updatebeleid, dat vergelijkbaar is met een functie die wordt toegepast op alle nieuwe gegevens, wordt gebruikt om de uitgebreide gegevens op te nemen in de laatste tabel, die hetzelfde schema heeft als de oorspronkelijke tabel in Microsoft Sentinel.

    Stel de retentie voor de onbewerkte tabel in op 0 dagen. De gegevens worden alleen opgeslagen in de correct opgemaakte tabel en verwijderd uit de onbewerkte tabel zodra deze is getransformeerd.

    Zie Bewakingsgegevens opnemen en opvragen in Azure Data Explorer voor meer Azure Data Explorer.

  4. Maak tabeltoewijzing. Wijs de JSON-tabellen toe om te definiëren hoe records in de tabel met onbewerkte gebeurtenissen belandt wanneer ze afkomstig zijn van een Event Hub. Zie Het updatebeleid maken voor metrische gegevens en logboekgegevens voor meer informatie.

  5. Maak een updatebeleid en koppel dit aan de tabel met onbewerkte records. In deze stap maakt u een functie, een updatebeleid genoemd, en koppelt u deze aan de doeltabel, zodat de gegevens tijdens de opname worden getransformeerd.

    Notitie

    Deze stap is alleen vereist als u gegevenstabellen in een Azure Data Explorer met hetzelfde schema en dezelfde indeling als in Microsoft Sentinel.

    Zie Een Event Hub Verbinding maken voor meer informatie Azure Data Explorer.

  6. Maak een gegevensverbinding tussen de Event Hub en de tabel met onbewerkte gegevens in Azure Data Explorer. Configureer Azure Data Explorer met details over het exporteren van de gegevens naar de Event Hub.

    Volg de instructies in de Azure Data Explorer documentatie en geef de volgende details op:

    • Doel. Geef de specifieke tabel met de onbewerkte gegevens op.
    • Maak op. Geef .json op als tabelindeling.
    • Toewijzing die moet worden toegepast. Geef de toewijzingstabel op die u in stap 4 hierboven hebt gemaakt.

  7. Wijzig de retentie voor de doeltabel. Het standaard Azure Data Explorer retentiebeleid is mogelijk veel langer dan u nodig hebt.

    Gebruik de volgende opdracht om het retentiebeleid bij te werken naar één jaar:

    .alter-merge table <tableName> policy retention softdelete = 365d recoverability = disabled

Overwegingen bij het ontwerpen

Wanneer u uw Microsoft Sentinel-gegevens opslaat in Azure Data Explorer, moet u rekening houden met de volgende elementen:

Overweging Description
Clustergrootte en SKU Plan zorgvuldig het aantal knooppunten en de VM-SKU in uw cluster. Deze factoren bepalen de hoeveelheid verwerkingskracht en de grootte van uw hot cache (SSD en geheugen). Hoe groter de cache, hoe meer gegevens u kunt opvragen bij hogere prestaties.

We raden u aan om de calculator voor Azure Data Explorerte bezoeken, waar u met verschillende configuraties kunt spelen en de resulterende kosten kunt bekijken.

Azure Data Explorer beschikt ook over een mogelijkheid voor automatisch schalen die intelligente beslissingen neemt om knooppunten toe te voegen of te verwijderen op basis van de clusterbelasting. Zie Horizontaal schalen van clusters beheren (uitschalen) inAzure Data Explorer aan veranderende vraag te voldoen voor meer informatie.
Hot/cold cache Azure Data Explorer biedt controle over de gegevenstabellen die zich in de hot-cache en sneller resultaten retourneren. Als u grote hoeveelheden gegevens in uw Azure Data Explorer-cluster hebt, kunt u tabellen op maand opmaken, zodat u meer granulariteit hebt op de gegevens die aanwezig zijn in uw hot cache.

Zie Cachebeleid (hot en cold cache) voor meer informatie.
Retentie In Azure Data Explorer kunt u configureren wanneer gegevens worden verwijderd uit een database of een afzonderlijke tabel. Dit is ook een belangrijk onderdeel van het beperken van de opslagkosten.

Zie Bewaarbeleid voor meer informatie.
Beveiliging Verschillende Azure Data Explorer kunnen u helpen bij het beveiligen van uw gegevens, zoals identiteitsbeheer, versleuteling, en meer. Met name voor op rollen gebaseerd toegangsbeheer (RBAC) kunnen Azure Data Explorer worden geconfigureerd om de toegang tot databases, tabellen of zelfs rijen in een tabel te beperken. Zie Security in Azure Data Explorer and Row level security (Beveiliging op rijniveau) voor meer informatie.
Gegevens delen Azure Data Explorer kunt u gegevens beschikbaar maken voor andere partijen, zoals partners of leveranciers, en zelfs gegevens van andere partijen kopen. Zie Use Azure Data Share to share data with Azure Data Explorer (Gegevens gebruiken om gegevens te delen met Azure Data Explorer) voor meer Azure Data Explorer.
Andere kostenonderdelen Houd rekening met de andere kostenonderdelen voor de volgende methoden:

Gegevens exporteren via een Azure Event Hub:
- Kosten voor het exporteren van Log Analytics-gegevens, in rekening gebracht per geëxporteerde GB.
- Event Hub-kosten, in rekening gebracht per doorvoereenheid.

Gegevens exporteren via Azure Storage en Azure Data Factory:
- Exporteren van Log Analytics-gegevens, in rekening gebracht per geëxporteerde GB.
- Azure Storage, in rekening gebracht door opgeslagen TB's.
- Azure Data Factory, in rekening gebracht per kopie van de activiteiten die worden uitgevoerd.

Volgende stappen

Ongeacht waar u uw gegevens opgeslagen, kunt u doorgaan met zoeken en onderzoeken met behulp van Microsoft Sentinel.

Zie voor meer informatie: