Övervakning med Azure Data Explorer

Den här lösningsidéen demonstrerar en hybridlösning för övervakning från plats till plats som är integrerad med Microsoft Sentinel och Azure Monitor för att mata in strömmade och batchade loggar från olika källor, lokalt eller i alla moln, i ett företags ekosystem.

Arkitektur

Arbetsflöde

1. Kombinera funktioner från Microsoft Sentinel och Azure Monitor med Azure Data Explorer för att skapa en flexibel och kostnadsoptimerad övervakningslösning från hel till slut. Nedan visas några exempel:
   • Använd Microsoft Sentinel som SIEM- och SOAR-komponent i den övergripande övervakningslösningen där du kan mata in säkerhetsloggar från brandväggar, Defender for Cloud och så vidare. SIEM är en förkortning för säkerhetsinformation och händelsehantering,medan SOAR är en förkortning för säkerhetsorkestrering, automatisering och svar.
   • Använd Azure Monitor inbyggda funktioner för övervakning av IT-tillgångar, instrumentpaneler och aviseringar så att du kan mata in loggar från virtuella datorer, tjänster och så vidare.
   • Använd Azure Data Explorer för fullständig flexibilitet och kontroll i alla aspekter för alla typer av loggar i följande scenarier:
     • Inga in-of-box-funktioner från Microsoft Sentinel och Azure Monitor SaaS-lösningar som programspårningsloggar.
     • Större flexibilitet för att skapa snabba och enkla instrumentpaneler för analys i nära realtid, detaljerad rollbaserad åtkomstkontroll, tidsserieanalys, mönsterigenkänning, avvikelseidentifieringoch prognostiserade data samt maskininlärning . Azure Data Explorer är också väl integrerad med ML tjänster som Databricks och Azure Machine Learning. Med den här integreringen kan du skapa modeller med andra verktyg och tjänster och exportera ML modeller till Azure Data Explorer för bedömning av data.
     • Längre datalagring krävs på ett kostnadseffektivt sätt.
     • Centraliserad lagringsplats krävs för olika typer av loggar. Azure Data Explorer, som en enhetlig plattform för stordataanalys, kan du skapa avancerade analysscenarier.
2. Fråga mellan olika produkter utan att flytta data med Azure Data Explorer-proxyfunktionen för att analysera data från Microsoft Sentinel, Azure Monitor och Azure Data Explorer i en enskild fråga.
3. Om du vill mata in loggar med kort svarstid och högt dataflöde från en lokal plats eller något annat moln använder du inbyggda Azure Data Explorer-anslutningsappar som Logstash,Azure Event Hubeller Kafka.
4. Du kan också mata in data via Azure Storage (blob eller ADLS Gen2) med hjälp av Apache Nifi-,Fluentd-eller Fluentbit-anslutningsappar. Använd sedan Azure Event Grid för att utlösa inmatningspipelinen till Azure Data Explorer.
5. Du kan också kontinuerligt exportera data till Azure Storage komprimerat, partitionerat parquet-format och sömlöst fråga dessa data enligt beskrivningen i Översikt över löpande dataexport.

Komponenter

• Azure Event Hub:En helt hanterad tjänst för datainmatning i realtid som är enkel, betrodd och skalbar.
• Azure IoT Hub:Hanterad tjänst för att möjliggöra dubbelriktad kommunikation mellan IoT-enheter och Azure.
• Kafka på HDInsight:Enkel, kostnadseffektiv tjänst i företagsklass för analys med öppen källkod med Apache Kafka.
• Azure Data Explorer:Snabb, fullständigt hanterad och mycket skalbar dataanalystjänst för realtidsanalys på stora mängder data som strömmas från program, webbplatser, IoT-enheter med mera.
• Azure Data Explorer instrumentpaneler:Exportera Kusto-frågor som har utforskats i webbgränssnittet till optimerade instrumentpaneler.
• Microsoft Sentinel:Intelligent säkerhetsanalys för hela företaget.
• Azure Monitor:Fullständig observerbarhet i dina program, infrastruktur och nätverk

Nästa steg

Mer information finns i Azure Data Explorer dokumentationen.