Delen via

Aangepaste gegevensopname en -transformatie in Microsoft Sentinel

  • Artikel

Log Analytics van Azure Monitor fungeert als het platform achter de Microsoft Sentinel-werkruimte. Alle logboeken die zijn opgenomen in Microsoft Sentinel, worden standaard opgeslagen in Log Analytics. Vanuit Microsoft Sentinel hebt u toegang tot de opgeslagen logboeken en kunt u Kusto-querytaal (KQL)-query's uitvoeren om bedreigingen te detecteren en uw netwerkactiviteit te bewaken.

Het aangepaste gegevensopnameproces van Log Analytics biedt u een hoge mate van controle over de gegevens die worden opgenomen. Er worden regels voor gegevensverzameling (DCR's) gebruikt om uw gegevens te verzamelen en te manipuleren, zelfs voordat deze in uw werkruimte worden opgeslagen. Hiermee kunt u standaardtabellen filteren en verrijken en zeer aanpasbare tabellen maken voor het opslaan van gegevens uit bronnen die unieke logboekindelingen produceren.

Microsoft Sentinel biedt u twee hulpprogramma's om dit proces te beheren:

  • Met de logboekopname-API kunt u logboeken van elke gegevensbron naar uw Log Analytics-werkruimte verzenden en deze logboeken opslaan in bepaalde specifieke standaardtabellen of in aangepaste tabellen die u maakt. U hebt volledige controle over het maken van deze aangepaste tabellen, totdat u de kolomnamen en -typen opgeeft. U maakt regels voor gegevensverzameling (DCR's) voor het definiëren, configureren en toepassen van transformaties op deze gegevensstromen.

  • Transformatie van gegevensverzameling maakt gebruik van DCR's om eenvoudige KQL-query's toe te passen op binnenkomende standaardlogboeken (en bepaalde typen aangepaste logboeken) voordat ze worden opgeslagen in uw werkruimte. Deze transformaties kunnen irrelevante gegevens filteren, bestaande gegevens verrijken met analyses of externe gegevens, of gevoelige of persoonlijke gegevens maskeren.

Deze twee hulpprogramma's worden hieronder uitgebreid beschreven.

Use cases en voorbeeldscenario's

Filteren

Transformatie van opnametijd biedt u de mogelijkheid om irrelevante gegevens te filteren, zelfs voordat deze voor het eerst in uw werkruimte worden opgeslagen.

U kunt filteren op recordniveau (rijniveau), door criteria op te geven waarvoor records moeten worden opgenomen, of op het niveau van het veld (kolom), door de inhoud voor specifieke velden te verwijderen. Het uitfilteren van irrelevante gegevens kan:

  • Hulp bij het verlagen van de kosten, terwijl u de opslagvereisten verlaagt
  • Prestaties verbeteren, omdat er minder querytijdaanpassingen nodig zijn

Gegevenstransformatie voor opnametijd ondersteunt scenario's met meerdere werkruimten.

Normalisatie

Met de opnametijdtransformatie kunt u ook logboeken normaliseren wanneer deze worden opgenomen in ingebouwde of genormaliseerde ASIM-tabellen van klanten. Door opnametijdnormalisatie te gebruiken, worden de prestaties van genormaliseerde query's verbeterd.

Raadpleeg voor meer informatie over opnametijdnormalisatie met behulp van transformaties de opnametijdnormalisatie.

Verrijking en taggen

Met opnametijdtransformatie kunt u ook analyses verbeteren door uw gegevens te verrijken met extra kolommen die zijn toegevoegd aan de geconfigureerde KQL-transformatie. Extra kolommen kunnen bestaan uit geparseerde of berekende gegevens uit bestaande kolommen of gegevens die afkomstig zijn van gegevensstructuren die on-the-fly zijn gemaakt.

U kunt bijvoorbeeld extra informatie toevoegen, zoals externe HR-gegevens, een uitgebreide beschrijving van gebeurtenissen of classificaties die afhankelijk zijn van de gebruiker, locatie of activiteitstype.

Maskering

Opname-tijdtransformaties kunnen ook worden gebruikt om persoonlijke gegevens te maskeren of te verwijderen. U kunt bijvoorbeeld gegevenstransformatie gebruiken om alle cijfers van een burgerservicenummer of creditcardnummer te maskeren, of u kunt andere typen persoonsgegevens vervangen door onzin, standaardtekst of dummygegevens. Masker uw persoonlijke gegevens tijdens opnametijd om de beveiliging in uw netwerk te verbeteren.

Gegevensopnamestroom in Microsoft Sentinel

In de volgende afbeelding ziet u waar gegevenstransformatie voor opnametijd de gegevensopnamestroom in Microsoft Sentinel invoert.

Microsoft Sentinel verzamelt gegevens in de Log Analytics-werkruimte uit meerdere bronnen.

  • Gegevens van ingebouwde gegevensconnectors worden verwerkt in Log Analytics met behulp van een combinatie van in code vastgelegde werkstromen en opnametijdtransformaties in de DCR van de werkruimte. Deze gegevens kunnen worden opgeslagen in standaardtabellen of in een specifieke set aangepaste tabellen.
  • Gegevens die rechtstreeks in het API-eindpunt voor logboekopname worden opgenomen, worden verwerkt door een standaard DCR die een opnametijdtransformatie kan bevatten. Deze gegevens kunnen vervolgens worden opgeslagen in standaard- of aangepaste tabellen van elk type.

Diagram of the Microsoft Sentinel data transformation architecture.

DCR-ondersteuning in Microsoft Sentinel

In Log Analytics bepalen gegevensverzamelingsregels (DCR's) de gegevensstroom voor verschillende invoerstromen. Een gegevensstroom omvat: de gegevensstroom die moet worden getransformeerd (standaard of aangepast), de doelwerkruimte, de KQL-transformatie en de uitvoertabel. Voor standaardinvoerstromen is de uitvoertabel hetzelfde als de invoerstroom.

Ondersteuning voor DCR's in Microsoft Sentinel omvat:

  • Standaard-DCR's, momenteel alleen ondersteund voor op AMA gebaseerde connectors en werkstromen met behulp van de nieuwe API voor logboekopname.

    Elke connector of logboekbronwerkstroom kan een eigen toegewezen standaard-DCR hebben, hoewel meerdere connectors of bronnen ook een gemeenschappelijke standaard-DCR kunnen delen.

  • DCR's voor werkruimtetransformatie, voor werkstromen die momenteel geen standaard-DCR's ondersteunen.

    Een DCR met één werkruimtetransformatie fungeert voor alle ondersteunde werkstromen in een werkruimte die niet worden bediend door standaard-DCR's. Een werkruimte kan slechts één werkruimtetransformatie DCR hebben, maar die DCR bevat afzonderlijke transformaties voor elke invoerstroom. Ook worden DCR'svoor werkruimtetransformatie alleen ondersteund voor een specifieke set tabellen.

De ondersteuning van Microsoft Sentinel voor opnametijdtransformatie is afhankelijk van het type gegevensconnector dat u gebruikt. Zie de artikelen in de sectie Volgende stappen aan het einde van dit artikel voor meer uitgebreide informatie over aangepaste logboeken, opnametijdtransformatie en regels voor gegevensverzameling.

DCR-ondersteuning voor Microsoft Sentinel-gegevensconnectors

In de volgende tabel wordt DCR-ondersteuning beschreven voor microsoft Sentinel-gegevensconnectortypen:

Gegevensconnectortype DCR-ondersteuning
Directe opname via logboekopname-API Standaard-DCR's
AMA-standaardlogboeken, zoals:
  • gebeurtenissen Windows-beveiliging via AMA
  • Door Windows doorgestuurde gebeurtenissen
  • CEF-gegevens
  • Syslog-gegevens
    		•  Standaard-DCR's
    Standaardlogboeken van MMA, zoals
  • Syslog-gegevens
  • CommonSecurityLog
    		•  DCR's voor werkruimtetransformatie
    Verbindingen op basis van diagnostische instellingen DCR's voor werkruimtetransformatie, op basis van de ondersteunde uitvoertabellen voor specifieke gegevensconnectors
    Ingebouwde, service-naar-service-gegevensconnectors, zoals:
  • Microsoft Office 365
  • Microsoft Entra ID
  • Amazon S3
    		•  DCR's voor werkruimtetransformatie, op basis van de ondersteunde uitvoertabellen voor specifieke gegevensconnectors
    Ingebouwde, op API gebaseerde gegevensconnector, zoals:
  • Gegevensconnectors zonder code
    		•  Standaard-DCR's
    Ingebouwde, op API gebaseerde gegevensconnectors, zoals:
  • Verouderde gegevensconnectors zonder code
  • Gegevensconnectors op basis van Azure Functions
    		•  Wordt momenteel niet ondersteund

    Ondersteuning voor gegevenstransformatie voor aangepaste gegevensconnectors

    Als u aangepaste gegevensconnectors voor Microsoft Sentinel hebt gemaakt, kunt u DCR's gebruiken om te configureren hoe de gegevens worden geparseerd en opgeslagen in Log Analytics in uw werkruimte.

    Alleen de volgende tabellen worden momenteel ondersteund voor aangepaste logboekopname:

    Zie Tabellen die ondersteuning bieden voor opnametijdtransformaties voor meer informatie.

    Beperkingen

    Gegevenstransformatie voor opnametijd heeft momenteel de volgende bekende problemen voor Microsoft Sentinel-gegevensconnectors:

    • Gegevenstransformaties met behulp van DCR's voor werkruimtetransformatie worden alleen per tabel en niet per connector ondersteund.

      Er kan slechts één DCR voor werkruimtetransformatie zijn voor een hele werkruimte. Binnen die DCR kan elke tabel een afzonderlijke invoerstroom met een eigen transformatie gebruiken. Als u echter twee verschillende op MMA gebaseerde gegevensconnectors hebt die gegevens verzenden naar de Syslog-tabel , moeten ze beide dezelfde configuratie van de invoerstroom gebruiken in de DCR. Het splitsen van gegevens naar meerdere bestemmingen (Log Analytics-werkruimten) met een DCR voor werkruimtetransformatie is niet mogelijk.

    • De volgende configuraties worden alleen ondersteund via API:

    • Het duurt maximaal 60 minuten voordat de configuraties voor gegevenstransformatie zijn toegepast.

    • KQL-syntaxis: niet alle operators worden ondersteund. Zie KQL-beperkingen en ondersteunde KQL-functies in de Documentatie van Azure Monitor voor meer informatie.

    • U kunt alleen logboeken verzenden van één specifieke gegevensbron naar één werkruimte. Als u gegevens wilt verzenden van één gegevensbron naar meerdere werkruimten (bestemmingen) met een standaard DCR, maakt u één DCR per werkruimte.

    Volgende stappen

    Ga aan de slag met het configureren van gegevenstransformatie voor opnametijd in Microsoft Sentinel.

    Meer informatie over microsoft Sentinel-gegevensconnectortypen. Zie voor meer informatie:

    Zie de volgende artikelen in de Documentatie van Azure Monitor voor meer gedetailleerde informatie over opnametijdtransformatie, de AANGEPASTe logboeken-API en regels voor gegevensverzameling: