Esta solução armazena os registos de segurança no Azure Data Explorer a longo prazo. Esta solução minimiza os custos e fornece acesso fácil quando precisa de consultar os dados.
O Grafana e o Jupyter Notebooks são marcas comerciais das respetivas empresas. Nenhum endosso está implícito na utilização destas marcas.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
Para SIEM e SOAR, uma empresa utiliza o Sentinel e o Defender para Endpoint.
O Defender para Endpoint utiliza funcionalidades nativas para exportar dados para o Hubs de Eventos do Azure e o Azure Data Lake. O Sentinel ingere dados do Defender para Endpoint para monitorizar dispositivos.
O Sentinel utiliza o Log Analytics como uma plataforma de dados para exportar dados para Os Hubs de Eventos e o Azure Data Lake.
O Azure Data Explorer utiliza conectores para Hubs de Eventos, Armazenamento de Blobs do Azure e Azure Data Lake Storage para ingerir dados com baixa latência e débito elevado. Este processo utiliza Azure Event Grid, o que aciona o pipeline de ingestão de Data Explorer do Azure.
Se necessário, o Azure Data Explorer exporta continuamente os registos de segurança para o Armazenamento do Azure. Estes registos estão no formato Parquet comprimido e particionado e estão prontos para serem consultados.
Para seguir os requisitos regulamentares, o Azure Data Explorer exporta dados pré-agregados para Data Lake Storage para arquivo.
O Log Analytics e o Sentinel suportam consultas em vários serviços com o Azure Data Explorer. Os analistas do SOC utilizam esta capacidade para executar investigações de gama completa sobre dados de segurança.
O Azure Data Explorer fornece capacidades nativas para processar, agregar e analisar dados.
Várias ferramentas fornecem dashboards de análise quase em tempo real que fornecem rapidamente informações:
Componentes
O Defender para Endpoint protege as organizações contra ameaças em dispositivos, identidades, aplicações, e-mail, dados e cargas de trabalho na cloud.
O Sentinel é uma solução SIEM e SOAR nativa da cloud. Utiliza IA avançada e análise de segurança para detetar, caçar, prevenir e responder a ameaças entre empresas.
A monitorização é uma solução de software como serviço (SaaS) que recolhe e analisa dados em ambientes e recursos do Azure. Estes dados incluem telemetria de aplicações, como métricas de desempenho e registos de atividades. O Monitor também oferece funcionalidades de alerta.
O Log Analytics é um serviço de Monitorização que pode utilizar para consultar e inspecionar Os dados de registo do Monitor. O Log Analytics também fornece funcionalidades para gráficos e analisar estatisticamente os resultados da consulta.
Os Hubs de Eventos são um serviço de ingestão de dados totalmente gerido e em tempo real que é simples e dimensionável.
Data Lake Storage é um repositório de armazenamento dimensionável que contém uma grande quantidade de dados no formato não processado nativo dos dados. Este data lake baseia-se no Armazenamento de Blobs e fornece funcionalidades para armazenar e processar dados.
O Azure Data Explorer é uma plataforma de análise de dados rápida, totalmente gerida e altamente dimensionável. Pode utilizar este serviço cloud para análise em tempo real em grandes volumes de dados. O Azure Data Explorer está otimizado para consultas interativas e ad-hoc. Pode processar diversos fluxos de dados de aplicações, sites, dispositivos IoT e outras origens.
Os dashboards do Azure Data Explorer importam dados de forma nativa a partir de consultas de IU da Web do Azure Data Explorer. Estes dashboards otimizados fornecem uma forma de apresentar e explorar os resultados da consulta.
Alternativas
Em vez de utilizar o Azure Data Explorer para armazenamento a longo prazo de registos de segurança, pode utilizar o Armazenamento. Esta abordagem simplifica a arquitetura e pode ajudar a controlar o custo. Uma desvantagem é a necessidade de reidratar os registos de auditorias de segurança e consultas de investigação interativas. Com o Azure Data Explorer, pode mover dados da partição fria para a partição frequente ao alterar uma política. Esta funcionalidade acelera a exploração de dados.
Outra opção com esta solução é enviar todos os dados, independentemente do valor de segurança, para o Sentinel e o Azure Data Explorer ao mesmo tempo. Alguns resultados de duplicação, mas a poupança de custos pode ser significativa. Uma vez que o Azure Data Explorer fornece armazenamento a longo prazo, pode reduzir os custos de retenção do Sentinel com esta abordagem.
Atualmente, o Log Analytics não suporta a exportação de tabelas de registo personalizadas. Neste cenário, pode utilizar o Azure Logic Apps para exportar dados de áreas de trabalho do Log Analytics. Para obter mais informações, veja Arquivar dados da área de trabalho do Log Analytics para o Armazenamento do Azure com o Logic Apps.
Detalhes do cenário
Os registos de segurança são úteis para identificar ameaças e rastrear tentativas não autorizadas de acesso a dados. Os ataques de segurança podem começar muito antes de serem descobertos. Como resultado, é importante ter acesso a registos de segurança de longo prazo. Consultar registos a longo prazo é fundamental para identificar o impacto das ameaças e investigar a propagação de tentativas de acesso ilícitas.
Este artigo descreve uma solução para a retenção a longo prazo de registos de segurança. No centro da arquitetura está o Azure Data Explorer. Este serviço fornece armazenamento para dados de segurança a um custo mínimo, mas mantém esses dados num formato que pode consultar. Outros componentes principais incluem:
Microsoft Defender para Endpoint e Microsoft Sentinel, para estas capacidades:
- Segurança de ponto final abrangente
- Informações de segurança e gestão de eventos (SIEM)
- Resposta automatizada de orquestração de segurança (SOAR)
Log Analytics, para armazenamento de curto prazo de registos de segurança do Sentinel.
Potenciais casos de utilização
Esta solução aplica-se a vários cenários. Especificamente, os analistas do centro de operações de segurança (SOC) podem utilizar esta solução para:
- Investigações em larga escala.
- Análise forense.
- Investigação de ameaças.
- Auditorias de segurança.
Um cliente testemunha a utilidade da solução: "Implementámos um cluster do Azure Data Explorer há quase um ano e meio. Na última violação de dados do Solorigate, utilizámos um cluster do Azure Data Explorer para análise forense. Uma equipa do Microsoft Dart também utilizou um cluster do Azure Data Explorer para concluir a investigação. A retenção de dados de segurança a longo prazo é fundamental para investigações de dados em larga escala."
Pilha de monitorização
O diagrama seguinte mostra a pilha de monitorização do Azure:
- O Sentinel utiliza uma área de trabalho do Log Analytics para armazenar registos de segurança e fornecer soluções SIEM e SOAR.
- Monitorize o estado dos recursos de TI e envie alertas quando necessário.
- O Azure Data Explorer fornece uma plataforma de dados subjacente que armazena registos de segurança para áreas de trabalho do Log Analytics, Monitor e Sentinel.
Principais funcionalidades
As principais funcionalidades da solução oferecem muitos benefícios, como explicam as secções seguintes.
Arquivo de dados queryable de longo prazo
O Azure Data Explorer indexa dados durante o processo de armazenamento, disponibilizando os dados para consultas. Quando precisar de se concentrar na execução de auditorias e investigações, não é necessário processar os dados. Consultar os dados é simples.
Análise forense em larga escala
O Azure Data Explorer, o Log Analytics e o Sentinel suportam consultas entre serviços. Como resultado, numa única consulta, pode referenciar dados armazenados em qualquer um destes serviços. Os analistas do SOC podem utilizar a linguagem de consulta Kusto (KQL) para executar investigações de gama completa. Também pode utilizar consultas de Data Explorer do Azure no Sentinel para fins de investigação. Para obter mais informações, veja Novidades: a Investigação do Sentinel suporta consultas entre recursos do ADX.
Colocação em cache de dados a pedido
O Azure Data Explorer suporta a colocação em cache frequente baseada em janelas. Esta funcionalidade fornece uma forma de mover dados de um período selecionado para a cache frequente. Em seguida, pode executar consultas rápidas nos dados, tornando as investigações mais eficientes. Poderá ter de adicionar nós de computação à cache frequente para esta finalidade. Após a conclusão da investigação, pode alterar a política de cache frequente para mover os dados para a partição fria. Também pode restaurar o cluster para o respetivo tamanho original.
Exportação contínua para arquivar dados
Para seguir os requisitos regulamentares, algumas empresas precisam de armazenar registos de segurança durante um período de tempo ilimitado. O Azure Data Explorer suporta a exportação contínua de dados. Pode utilizar esta capacidade para criar uma camada de arquivo ao armazenar registos de segurança no Armazenamento.
Linguagem de consulta comprovada
A linguagem de consulta Kusto é nativa do Azure Data Explorer. Este idioma também está disponível em áreas de trabalho do Log Analytics e em ambientes de investigação de ameaças do Sentinel. Esta disponibilidade reduz significativamente a curva de aprendizagem para os analistas do SOC. As consultas executadas no Sentinel também funcionam em dados que armazena em clusters do Azure Data Explorer.
Considerações
Estas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser utilizados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, veja Microsoft Azure Well-Architected Framework.
Tenha em atenção os seguintes pontos quando implementar esta solução.
Escalabilidade
Considere estes problemas de escalabilidade:
Método de exportação de dados
Se precisar de exportar uma grande quantidade de dados do Log Analytics, poderá atingir os limites de capacidade dos Hubs de Eventos. Para evitar esta situação:
- Exportar dados do Log Analytics para o Armazenamento de Blobs.
- Utilize Azure Data Factory cargas de trabalho para exportar periodicamente os dados para o Azure Data Explorer.
Ao utilizar este método, só pode copiar dados do Data Factory quando os dados se aproximam do limite de retenção no Sentinel ou no Log Analytics. Como resultado, evita duplicar os dados. Para obter mais informações, veja Exportar dados do Log Analytics para o Azure Data Explorer.
Utilização de consultas e preparação de auditoria
Geralmente, mantém os dados na cache fria no cluster do Azure Data Explorer. Esta abordagem minimiza o custo do cluster e é suficiente para a maioria das consultas que envolvem dados de meses anteriores. Contudo, quando consulta intervalos de dados grandes, poderá ter de aumentar horizontalmente o cluster e carregar os dados para a cache frequente.
Pode utilizar a funcionalidade de janela de acesso frequente da política de cache frequente para esta finalidade. Também pode utilizar esta funcionalidade quando audita dados de longo prazo. Quando utilizar a janela de atalho, poderá ter de aumentar ou reduzir verticalmente o cluster para dar espaço a mais dados na cache frequente. Depois de terminar de consultar o grande intervalo de dados, altere a política de cache frequente para reduzir o custo de computação.
Ao ativar a funcionalidade de dimensionamento automático otimizada no cluster do Azure Data Explorer, pode otimizar o tamanho do cluster com base na política de colocação em cache. Para obter mais informações sobre como consultar dados a frio no Azure Data Explorer, veja Consultar dados frios com janelas frequentes.
Eficiência de desempenho
Eficiência de desempenho é a capacidade da sua carga de trabalho para dimensionar para satisfazer as exigências que os utilizadores lhe colocam de forma eficiente. Para obter mais informações, veja Descrição geral do pilar Eficiência do desempenho.
Se precisar de armazenar dados de segurança durante muito tempo ou durante um período ilimitado, exporte os registos para o Armazenamento. O Azure Data Explorer suporta a exportação contínua de dados. Ao utilizar esta funcionalidade, pode exportar dados para o Armazenamento em formato Parquet comprimido e particionado. Em seguida, pode consultar esses dados de forma totalmente integrada. Para obter mais informações, veja Descrição geral da exportação contínua de dados.
Otimização de custos
A otimização de custos consiste em analisar formas de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, veja Descrição geral do pilar de otimização de custos.
O custo do cluster do Azure Data Explorer baseia-se principalmente no poder de computação utilizado para armazenar dados na cache frequente. As consultas em dados de cache frequente oferecem um melhor desempenho em consultas de cache fria. Esta solução armazena a maioria dos dados na cache fria, minimizando o custo de computação.
Para explorar o custo de execução desta solução no seu ambiente, utilize a calculadora de preços do Azure.
Implementar este cenário
Para automatizar a implementação, utilize este script do PowerShell. Este script cria estes componentes:
- A tabela de destino
- A tabela não processada
- O mapeamento de tabelas que define a forma como os registos dos Hubs de Eventos aterram na tabela não processada
- Políticas de retenção e atualização
- Espaços de nomes dos Hubs de Eventos
- Regras de exportação de dados na área de trabalho do Log Analytics
- A ligação de dados entre os Hubs de Eventos e a tabela de dados não processados do Azure Data Explorer
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuintes.
Autor principal:
- Deepak Agrawal | Gestor de Produtos
Para ver perfis do LinkedIn não públicos, inicie sessão no LinkedIn.
Passos seguintes
- Integrar o Azure Data Explorer para retenção de registos a longo prazo
- Mover os Registos do Microsoft Sentinel para o Armazenamento Long-Term com Facilidade
- Consulta entre recursos do Azure Data Explorer com o Azure Monitor
- PROCEDIMENTO: Configurar a exportação de dados do Microsoft Sentinel para armazenamento a longo prazo
- Utilizar o Azure Data Explorer para retenção a longo prazo dos registos do Microsoft Sentinel
- Novidades: a Investigação do Microsoft Sentinel suporta consultas entre recursos do ADX
- Como transmitir em fluxo Microsoft Defender registos de investigação ATP no Azure Data Explorer
- Série de Blogues: Investigação Avançada Ilimitada com Data Explorer do Azure (ADX)