Esta solução armazena logs de segurança no Azure Data Explorer em longo prazo. Essa solução minimiza os custos e fornece acesso fácil quando você precisa consultar os dados.
Grafana e Jupyter Notebooks são marcas comerciais de suas respectivas empresas. Nenhum endosso está implícito pelo uso dessas marcas.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Fluxo de dados
Para SIEM e SOAR, uma empresa usa o Sentinel e o Defender for Endpoint.
O Defender for Endpoint usa a funcionalidade nativa para exportar dados para os Hubs de Eventos do Azure e o Azure Data Lake. O Sentinel ingere o Defender for Endpoint para monitorar dispositivos.
O Sentinel usa o Log Analytics como uma plataforma de dados para exportar dados para os Hubs de Eventos e o Azure Data Lake.
O Azure Data Explorer usa conectores para os Hubs de Eventos, o Armazenamento de Blobs do Azure e o Azure Data Lake Storage para ingerir dados com baixa latência e alta taxa de transferência. Esse processo usa a Grade de Eventos do Azure, que dispara o pipeline de ingestão do Azure Data Explorer.
Se necessário, o Azure Data Explorer exporta continuamente os logs de segurança para o Armazenamento do Microsoft Azure. Esses logs estão no formato Parquet particionado e compactado, e estão prontos para serem consultados.
Para seguir os requisitos regulatórios, o Azure Data Explorer exporta os dados previamente agregados para o Data Lake Storage para arquivamento.
O Log Analytics e o Sentinel dão suporte a consultas entre serviços com o Azure Data Explorer. Os analistas do SOC usam essa capacidade para executar investigações completas sobre dados de segurança.
O Azure Data Explorer fornece recursos nativos para processar, agregar e analisar dados.
Várias ferramentas fornecem painéis de análise quase em tempo real que fornecem insights rapidamente:
Componentes
O Defender for Endpoint protege as organizações contra ameaças em dispositivos, identidades, aplicativos, email, dados e cargas de trabalho de nuvem.
O Sentinel é uma solução SIEM e SOAR nativa de nuvem. Ele usa IA e análise de segurança avançadas para detectar, buscar, impedir e responder a ameaças entre empresas.
O Monitor é uma solução de SaaS (software como serviço) que coleta e analisa dados em ambientes e recursos do Azure. Esses dados incluem telemetria de aplicativo, como métricas de desempenho e logs de atividade. O Monitor também oferece a funcionalidade de alerta.
O Log Analytics é um serviço do Monitor que você pode usar para consultar e inspecionar os dados de log do Monitor. O Log Analytics também oferece recursos para criação de gráficos e análise estatística dos resultados de consultas.
Os Hubs de Eventos são um serviço de ingestão de dados em tempo real totalmente gerenciado, que é simples e escalonável.
O Data Lake Storage é um repositório de armazenamento escalonável que contém uma grande quantidade de dados no formato nativo e bruto dos dados. Esse data lake é criado sobre o Armazenamento de Blobs e oferece funcionalidade para armazenar e processar dados.
O Azure Data Explorer é uma plataforma de análise de dados rápida, totalmente gerenciada e altamente escalonável. Você pode usar esse serviço de nuvem para análise em tempo real em grandes volumes de dados. O Azure Data Explorer é otimizado para consultas ad hoc interativas. Ele pode lidar com diversos fluxos de dados de aplicativos, sites, dispositivos IoT e outras fontes.
Os painéis do Azure Data Explorer importam nativamente dados de consultas de interface do usuário da Web do Azure Data Explorer. Esses painéis otimizados fornecem uma maneira de exibir e explorar os resultados da consulta.
Alternativas
Em vez de usar o Azure Data Explorer para armazenamento de longo prazo de logs de segurança, você pode usar Armazenamento. Essa abordagem simplifica a arquitetura e pode ajudar a controlar o custo. Uma desvantagem é a necessidade de reidratar os logs de auditorias de segurança e consultas investigativas interativas. Com o Azure Data Explorer, você pode mover dados da partição passiva para a partição ativa alterando uma política. Essa funcionalidade acelera a exploração de dados.
Outra opção com essa solução é enviar todos os dados, independentemente de seu valor de segurança, para Sentinel e o Azure Data Explorer ao mesmo tempo. Alguns resultados de duplicação, mas a economia de custo pode ser significativa. Como o Azure Data Explorer fornece armazenamento de longo prazo, você pode reduzir os custos de retenção do Sentinel com essa abordagem.
No momento, o Log Analytics não dá suporte à exportação de tabelas de log personalizadas. Nesse cenário, você pode usar Aplicativos Lógicos do Azure para exportar dados de workspace do Log Analytics. Para obter mais informações, consulte Arquivar dados do workspace do Log Analytics para o armazenamento do Azure usando um Aplicativo Lógico.
Detalhes do cenário
Os logs de segurança são úteis para identificar ameaças e rastrear tentativas não autorizadas de acessar dados. Os ataques de segurança podem começar bem antes de serem descobertos. Como resultado, é importante ter acesso a logs de segurança de longo prazo. Consultar logs de longo prazo é essencial para identificar o impacto de ameaças e investigar a disseminação de tentativas ilícitas de acesso.
Este artigo descreve uma solução para a retenção de longo prazo de logs de segurança. O núcleo da arquitetura é o Azure Data Explorer. Esse serviço fornece armazenamento para dados de segurança com custo mínimo, mas mantém esses dados em um formato que você pode consultar. Outros componentes principais incluem:
Microsoft Defender para Ponto de Extremidade e Microsoft Sentinel, para estas funcionalidades:
- Segurança abrangente do ponto de extremidade
- SIEM (Gerenciamento de informações e eventos de segurança)
- SOAR (resposta automatizada de orquestração de segurança)
Log Analytics, para armazenamento de curto prazo de logs de segurança do Sentinel.
Possíveis casos de uso
Essa solução se aplica a vários cenários. Especificamente, os analistas do SOC (centro de operações de segurança) podem usar essa solução para:
- Investigações em escala completa.
- Análise forense.
- Busca de ameaças.
- Auditorias de segurança.
Um cliente testifica a utilidade da solução: "Implantamos um cluster do Data Explorer do Azure há quase um ano e meio. Na última violação de dados do Solorigate, usamos um cluster do Azure Data Explorer para análise forense. Uma equipe do Microsoft Dart também usou um cluster do Azure Data Explorer para concluir a investigação. A retenção de dados de segurança de longo prazo é essencial para investigações de dados em escala total."
Pilha de monitoramento
O diagrama a seguir mostra a pilha de monitoramento do Azure:
- O Sentinel usa um workspace do Log Analytics para armazenar logs de segurança e fornecer soluções SIEM e SOAR.
- O Monitor controla o status dos ativos de TI e envia alertas quando necessário.
- O Azure Data Explorer fornece uma plataforma de dados subjacente que armazena logs de segurança para workspaces do Log Analytics, o Monitor e o Sentinel.
Principais recursos
Os principais recursos da solução oferecem muitos benefícios, como explicam as seções a seguir.
Armazenamento de dados passível de consulta de longo prazo
O Azure Data Explorer indexa os dados durante o processo de armazenamento, tornando os dados disponíveis para consultas. Quando você precisa se concentrar na execução de auditorias e investigações, não há necessidade de processar os dados. Consultar os dados é simples.
Análise forense em escala completa
O Azure Data Explorer, o Log Analytics e o Sentinel dão suporte a consultas entre serviços. Como resultado, em uma única consulta, você pode fazer referência a dados armazenados em qualquer um desses serviços. Os analistas do SOC podem usar KQL (linguagem de consulta Kusto) para executar investigações completas. Você também pode usar consultas doo Azure Data Explorer no Sentinel para fins de busca. Para obter mais informações, consulte O que há de novo: o Sentinel Hunting dá suporte a consultas entre recursos do ADX.
Cache de dados sob demanda
O Azure Data Explorer dá suporte a cache ativo baseado em janela. Essa funcionalidade oferece uma maneira de mover dados de um período selecionado para o cache ativo. Em seguida, você pode executar consultas rápidas sobre os dados, tornando as investigações mais eficientes. Talvez seja necessário adicionar nós de computação ao cache ativo para essa finalidade. Depois que a investigação for concluída, você poderá alterar a política de cache ativo para mover os dados para a partição fria. Você também pode restaurar o cluster para seu tamanho original.
Exportação contínua para dados de camada de arquivos
Para seguir os requisitos regulatórios, algumas empresas precisam armazenar os logs de segurança por um período ilimitado. O Azure Data Explorer dá suporte à exportação contínua de dados. Você pode usar esse recurso para criar uma camada de arquivamento armazenando logs de segurança no Storage.
Linguagem de consulta comprovada
A linguagem de consulta Kusto é nativa para o Azure Data Explorer. Essa linguagem também está disponível em workspaces do Log Analytics e em ambientes de busca de ameaças do Sentinel. Essa disponibilidade reduz significativamente a curva de aprendizado para analistas do SOC. As consultas executadas no Sentinel também funcionam nos dados que você armazena nos clusters do Azure Data Explorer.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios de orientação que podem ser usados para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, confira Microsoft Azure Well-Architected Framework.
Tenha em mente os pontos a seguir ao implementar essa solução.
Escalabilidade
Considere estes problemas de escalabilidade:
Método de exportação de dados
Se precisar exportar uma grande quantidade de dados do Log Analytics, você poderá atingir os limites de capacidade dos Hubs de Eventos. Para evitar essa situação:
- Exporte dados do Log Analytics para o Armazenamento de Blobs.
- Use cargas de trabalho do Azure Data Factory para exportar os dados periodicamente para o Azure Data Explorer.
Usando esse método, você pode copiar dados do Data Factory somente quando os dados se aproximarem de seu limite de retenção no Sentinel ou no Log Analytics. Como resultado, você evita duplicar os dados. Para obter mais informações, consulte Exportar dados do log Analytics para o Azure Data Explorer.
Uso de consulta e prontidão de auditoria
Em geral, você mantém os dados no cache passivo em seu cluster do Azure Data Explorer. Essa abordagem minimiza o custo do cluster e é suficiente para a maioria das consultas que envolvem dados de meses anteriores. Mas, ao consultar grandes intervalos de dados, talvez seja necessário escalar horizontalmente o cluster e carregar os dados no cache ativo.
Você pode usar o recurso de janela ativa da política de cache ativo para essa finalidade. Você também pode usar esse recurso ao auditar dados de longo prazo. Ao usar a janela ativa, talvez seja necessário escalar o cluster verticalmente ou horizontalmente para liberar espaço para mais dados no cache ativo. Depois de concluir a consulta do intervalo grande de dados, altere a política de cache ativo para reduzir o custo de computação.
Ao ativar o recurso de dimensionamento automático otimizado em seu cluster do Azure Data Explorer, você poderá otimizar o tamanho do cluster com base na política de cache. Para obter mais informações sobre como consultar dados passivos no Azure Data Explorer, consulte Consultar dados passivos com janelas ativas.
Eficiência de desempenho
A eficiência do desempenho é a capacidade de dimensionar sua carga de trabalho para atender às demandas colocadas por usuários de maneira eficiente. Para saber mais, confira Visão geral do pilar de eficiência de desempenho.
Se precisar armazenar dados de segurança por um longo tempo ou por um período ilimitado, exporte os logs para o Storage. O Azure Data Explorer dá suporte à exportação contínua de dados. Ao usar essa funcionalidade, você pode exportar dados para o Storage em formato de Parquet particionado e compactado. Em seguida, você pode consultar esses dados diretamente. Para obter mais informações, consulte Visão geral da exportação de dados contínuas.
Otimização de custo
A otimização de custos é a análise de maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.
O custo do cluster do Azure Data Explorer tem base, principalmente, no poder de computação usado para armazenar dados no cache ativo. As consultas de dados de cache ativo oferecem melhor desempenho em relação a consultas de cache frio. Essa solução armazena a maioria dos dados no cache passivo, minimizando o custo de computação.
Para explorar o custo da execução dessa solução em seu ambiente, use a calculadora de preços do Azure.
Implantar este cenário
Para automatizar a implantação, use este script do PowerShell. Este script cria estes componentes:
- a tabela de destino
- a tabela bruta
- o mapeamento de tabela que define como os registros dos Hubs de Eventos se chegam na tabela bruta
- políticas de retenção e atualização
- namespaces dos Hubs de Eventos
- regras de exportação de dados no workspace do Log Analytics
- a conexão de dados entre os Hubs de Eventos e a tabela de dados brutos do Azure Data Explorer
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Deepak Agrawal | Gerente de Produto
Para ver perfis não públicos do LinkedIn, entre no LinkedIn.
Próximas etapas
- Integrar o Azure Data Explorer para retenção de log de longo prazo
- Mover logs do Microsoft Sentinel para armazenamento de longo prazo com facilidade
- Executar uma consulta entre recursos do Azure Data Explorer usando o Azure Monitor
- COMO: configurar a exportação de dados do Microsoft Sentinel para armazenamento de longo prazo
- Usar o Azure Data Explorer para retenção de longo prazo de logs do Microsoft Sentinel
- O que há de novo: A Busca do Microsoft Sentinel suporta consultas entre recursos do ADX
- Como transmitir logs de busca de ATP do Microsoft Defender no Azure Data Explorer
- Série de blogs: buscas avançadas ilimitadas com o ADX (Azure Data Explorer)