Den här lösningen lagrar säkerhetsloggar i Azure Data Explorer på lång sikt. Den här lösningen minimerar kostnaderna och ger enkel åtkomst när du behöver fråga efter data.
Grafana och Jupyter Notebooks är varumärken som tillhör respektive företag. Ingen bekräftelse är underförstådd med hjälp av dessa märken.
Arkitektur
Ladda ned en Visio-fil med den här arkitekturen.
Dataflöde
För SIEM och SOAR använder ett företag Sentinel och Defender för Endpoint.
Defender för Endpoint använder inbyggda funktioner för att exportera data till Azure Event Hubs och Azure Data Lake. Sentinel matar in Defender för Endpoint-data för att övervaka enheter.
Sentinel använder Log Analytics som dataplattform för att exportera data till Event Hubs och Azure Data Lake.
Azure Data Explorer använder anslutningsappar för Event Hubs, Azure Blob Storage och Azure Data Lake Storage för att mata in data med låg svarstid och högt dataflöde. Den här processen använder Azure Event Grid, som utlöser Azure Data Explorer inmatningspipeline.
Vid behov exporterar Azure Data Explorer kontinuerligt säkerhetsloggar till Azure Storage. Dessa loggar är i komprimerat, partitionerat Parquet-format och är redo att efterfrågas.
För att följa regelkraven exporterar Azure Data Explorer föraggregerade data till Data Lake Storage för arkivering.
Log Analytics och Sentinel stöder frågor mellan tjänster med Azure Data Explorer. SOC-analytiker använder den här funktionen för att köra fullständiga undersökningar av säkerhetsdata.
Azure Data Explorer tillhandahåller inbyggda funktioner för bearbetning, aggregering och analys av data.
Olika verktyg tillhandahåller instrumentpaneler för analys i nära realtid som snabbt ger insikter:
Komponenter
Defender för Endpoint skyddar organisationer mot hot mellan enheter, identiteter, appar, e-post, data och molnarbetsbelastningar.
Sentinel är en molnbaserad SIEM- och SOAR-lösning. Den använder avancerad AI och säkerhetsanalys för att identifiera, jaga, förhindra och reagera på hot mellan företag.
Monitor är en SaaS-lösning (programvara som en tjänst) som samlar in och analyserar data om miljöer och Azure-resurser. Dessa data omfattar apptelemetri, till exempel prestandamått och aktivitetsloggar. Monitor erbjuder också aviseringsfunktioner.
Log Analytics är en övervakningstjänst som du kan använda för att fråga och granska övervakningsloggdata. Log Analytics innehåller även funktioner för diagram och statistisk analys av frågeresultat.
Event Hubs är en fullständigt hanterad datainmatningstjänst i realtid som är enkel och skalbar.
Data Lake Storage är en skalbar lagringsplats som innehåller en stor mängd data i datas interna rådataformat. Den här datasjön bygger på Blob Storage och tillhandahåller funktioner för att lagra och bearbeta data.
Azure Data Explorer är en snabb, fullständigt hanterad och mycket skalbar dataanalysplattform. Du kan använda den här molntjänsten för realtidsanalys på stora datavolymer. Azure Data Explorer är optimerat för interaktiva ad hoc-frågor. Den kan hantera olika dataströmmar från program, webbplatser, IoT-enheter och andra källor.
Azure Data Explorer instrumentpaneler importerar inbyggda data från Azure Data Explorer Web UI-frågor. Dessa optimerade instrumentpaneler är ett sätt att visa och utforska frågeresultat.
Alternativ
I stället för att använda Azure Data Explorer för långsiktig lagring av säkerhetsloggar kan du använda Storage. Den här metoden förenklar arkitekturen och kan hjälpa dig att kontrollera kostnaden. En nackdel är behovet av att extrahera loggarna för säkerhetsgranskningar och interaktiva undersökande frågor. Med Azure Data Explorer kan du flytta data från den kalla partitionen till den frekventa partitionen genom att ändra en princip. Den här funktionen påskyndar datautforskningen.
Ett annat alternativ med den här lösningen är att skicka alla data, oavsett säkerhetsvärde, till Sentinel och Azure Data Explorer på samma gång. Vissa dupliceringsresultat, men kostnadsbesparingarna kan vara betydande. Eftersom Azure Data Explorer tillhandahåller långsiktig lagring kan du minska dina Sentinel-kvarhållningskostnader med den här metoden.
Log Analytics stöder för närvarande inte export av anpassade loggtabeller. I det här scenariot kan du använda Azure Logic Apps för att exportera data från Log Analytics-arbetsytor. Mer information finns i Arkivera data från Log Analytics-arbetsytan till Azure Storage med logic apps.
Scenarioinformation
Säkerhetsloggar är användbara för att identifiera hot och spåra obehöriga försök att komma åt data. Säkerhetsattacker kan börja långt innan de upptäcks. Därför är det viktigt att ha åtkomst till långsiktiga säkerhetsloggar. Det är viktigt att köra frågor mot långsiktiga loggar för att identifiera effekterna av hot och undersöka spridningen av försök till olaglig åtkomst.
Den här artikeln beskriver en lösning för långsiktig kvarhållning av säkerhetsloggar. Kärnan i arkitekturen är Azure Data Explorer. Den här tjänsten tillhandahåller lagring för säkerhetsdata till minimal kostnad, men håller dessa data i ett format som du kan fråga efter. Andra huvudkomponenter är:
Microsoft Defender för Endpoint och Microsoft Sentinel för dessa funktioner:
- Omfattande slutpunktssäkerhet
- Säkerhetsinformations- och händelsehantering (SIEM)
- Automatiserat svar för säkerhetsorkestrering (SOAR)
Log Analytics för kortsiktig lagring av Sentinel-säkerhetsloggar.
Potentiella användningsfall
Den här lösningen gäller för olika scenarier. Mer specifikt kan SOC-analytiker (Security Operations Center) använda den här lösningen för:
- Fullständiga undersökningar.
- Kriminalteknisk analys.
- Jakt på hot.
- Säkerhetsgranskningar.
En kund vittnar om hur användbar lösningen är: "Vi distribuerade ett Azure-Data Explorer-kluster för nästan ett och ett halvt år sedan. I det senaste Solorigate-dataintrånget använde vi ett Azure Data Explorer-kluster för kriminalteknisk analys. Ett Microsoft Dart-team använde också ett Azure Data Explorer-kluster för att slutföra undersökningen. Långsiktig kvarhållning av säkerhetsdata är avgörande för fullständiga dataundersökningar."
Övervakningsstack
Följande diagram visar Azure-övervakningsstacken:
- Sentinel använder en Log Analytics-arbetsyta för att lagra säkerhetsloggar och tillhandahålla SIEM- och SOAR-lösningar.
- Övervakaren spårar statusen för IT-tillgångar och skickar aviseringar vid behov.
- Azure Data Explorer tillhandahåller en underliggande dataplattform som lagrar säkerhetsloggar för Log Analytics-arbetsytor, övervakare och Sentinel.
Huvudfunktioner
Lösningens huvudfunktioner har många fördelar, som beskrivs i följande avsnitt.
Långsiktigt frågebart datalager
Azure Data Explorer indexerar data under lagringsprocessen, vilket gör data tillgängliga för frågor. När du behöver fokusera på att köra granskningar och undersökningar behöver du inte bearbeta data. Det är enkelt att köra frågor mot data.
Fullständig kriminalteknisk analys
Azure Data Explorer, Log Analytics och Sentinel stöder frågor mellan tjänster. I en enda fråga kan du därför referera till data som lagras i någon av dessa tjänster. SOC-analytiker kan använda Kusto-frågespråket (KQL) för att köra fullständiga undersökningar. Du kan också använda Azure Data Explorer frågor i Sentinel i jaktsyfte. Mer information finns i Nyheter: Sentinel-jakt stöder ADX-frågor mellan resurser.
Cachelagring av data på begäran
Azure Data Explorer stöder fönsterbaserad frekvent cachelagring. Med den här funktionen kan du flytta data från en vald period till den frekventa cachen. Sedan kan du köra snabba frågor på data, vilket gör utredningarna mer effektiva. Du kan behöva lägga till beräkningsnoder i frekvent cache för det här ändamålet. När undersökningen är klar kan du ändra principen för frekvent cache för att flytta data till den kalla partitionen. Du kan också återställa klustret till dess ursprungliga storlek.
Kontinuerlig export till arkivdata
För att följa regelkraven måste vissa företag lagra säkerhetsloggar under en obegränsad tid. Azure Data Explorer stöder kontinuerlig export av data. Du kan använda den här funktionen för att skapa en arkiveringsnivå genom att lagra säkerhetsloggar i Storage.
Beprövat frågespråk
Kusto-frågespråket är inbyggt i Azure Data Explorer. Det här språket är också tillgängligt i Log Analytics-arbetsytor och Sentinel-miljöer för hotjakt. Den här tillgängligheten minskar avsevärt inlärningskurvan för SOC-analytiker. Frågor som du kör på Sentinel fungerar också med data som du lagrar i Azure Data Explorer kluster.
Överväganden
Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som kan användas för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework.
Tänk på följande när du implementerar den här lösningen.
Skalbarhet
Överväg dessa skalbarhetsproblem:
Dataexportmetod
Om du behöver exportera en stor mängd data från Log Analytics kan du nå kapacitetsgränserna för Event Hubs. Undvik den här situationen:
- Exportera data från Log Analytics till Blob Storage.
- Använd Azure Data Factory arbetsbelastningar för att regelbundet exportera data till Azure Data Explorer.
Med den här metoden kan du bara kopiera data från Data Factory när data närmar sig sin kvarhållningsgräns i Sentinel eller Log Analytics. Därför undviker du att duplicera data. Mer information finns i Exportera data från Log Analytics till Azure Data Explorer.
Frågeanvändning och granskningsberedskap
I allmänhet behåller du data i det kalla cacheminnet i azure-Data Explorer-klustret. Den här metoden minimerar klusterkostnaden och är tillräcklig för de flesta frågor som omfattar data från föregående månader. Men när du kör frågor mot stora dataintervall kan du behöva skala ut klustret och läsa in data i frekvent cache.
Du kan använda funktionen frekvent fönster i principen för frekvent cache för det här ändamålet. Du kan också använda den här funktionen när du granskar långsiktiga data. När du använder det frekventa fönstret kan du behöva skala upp eller ut klustret för att få plats med mer data i det heta cacheminnet. När du har kört frågor mot det stora dataområdet ändrar du principen för frekvent cache för att minska beräkningskostnaden.
Genom att aktivera funktionen för optimerad autoskalning i Azure Data Explorer-klustret kan du optimera klusterstorleken baserat på cachelagringsprincipen. Mer information om hur du kör frågor mot kalla data i Azure Data Explorer finns i Fråga efter kalla data med frekventa fönster.
Prestandaeffektivitet
Prestandaeffektivitet handlar om att effektivt skala arbetsbelastningen baserat på användarnas behov. Mer information finns i Översikt över pelare för prestandaeffektivitet.
Om du behöver lagra säkerhetsdata under en längre tid eller under en obegränsad period exporterar du loggarna till Storage. Azure Data Explorer stöder kontinuerlig export av data. Med den här funktionen kan du exportera data till Storage i komprimerat, partitionerat Parquet-format. Du kan sedan sömlöst köra frågor mot dessa data. Mer information finns i Översikt över kontinuerlig dataexport.
Kostnadsoptimering
Kostnadsoptimering handlar om att titta på sätt att minska onödiga utgifter och förbättra driftseffektiviteten. Mer information finns i Översikt över grundpelare för kostnadsoptimering.
Kostnaden för Azure Data Explorer-kluster baseras främst på den beräkningskraft som används för att lagra data i frekvent cache. Frågor om frekventa cachedata ger bättre prestanda jämfört med kalla cachefrågor. Den här lösningen lagrar de flesta data i den kalla cachen, vilket minimerar beräkningskostnaden.
Om du vill utforska kostnaden för att köra den här lösningen i din miljö använder du priskalkylatorn för Azure.
Distribuera det här scenariot
Använd det här PowerShell-skriptet för att automatisera distributionen. Det här skriptet skapar följande komponenter:
- Måltabellen
- Raw-tabellen
- Tabellmappningen som definierar hur Event Hubs-poster hamnar i raw-tabellen
- Principer för kvarhållning och uppdatering
- Event Hubs-namnområden
- Dataexportregler på Log Analytics-arbetsytan
- Dataanslutningen mellan Event Hubs och Azure Data Explorer rådatatabell
Deltagare
Den här artikeln underhålls av Microsoft. Den skrevs ursprungligen av följande deltagare.
Huvudförfattare:
- Deepak Agrawal | Produktchef
Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.
Nästa steg
- Integrera Azure Data Explorer för långsiktig loggkvarhållning
- Flytta dina Microsoft Sentinel-loggar till Long-Term Storage med lätthet
- Fråga mellan resurser i Azure Data Explorer med hjälp av Azure Monitor
- ANVISNINGAR: Konfigurera Microsoft Sentinel-dataexport för långsiktig lagring
- Använda Azure Data Explorer för långsiktig kvarhållning av Microsoft Sentinel-loggar
- Nyheter: Microsoft Sentinel Hunting stöder ADX-frågor mellan resurser
- Så här strömmar du Microsoft Defender ATP-jaktloggar i Azure Data Explorer
- Bloggserie: Obegränsad avancerad jakt med Azure Data Explorer (ADX)