Monitoramento de segurança aprimorado

Artigo
05/03/2024

Este artigo descreve o recurso de monitoramento de segurança aprimorado e como configurá-lo em seu workspace ou conta do Azure Databricks.

Se você habilitar esse recurso, será cobrado pelo complemento de Segurança e Conformidade Aprimorada, conforme descrito na página de preços.

Visão geral de monitoramento de segurança aprimorado

O monitoramento de segurança aprimorado do Azure Databricks fornece uma imagem de disco protegida aprimorada e agentes de monitoramento de segurança adicionais que geram linhas de log que você pode examinar usando os logs de diagnóstico.

Os aprimoramentos de segurança só se aplicam aos recursos de computação do plano de computação clássico, como clusters e SQL warehouses com servidor.

Os recursos do plano de computação sem servidor, como armazéns SQL sem servidor, não têm monitoramento extra quando o monitoramento de segurança aprimorado está habilitado.

Observação

Há suporte para a maioria dos tipos de instância do Azure, mas não há suporte para máquinas virtuais baseadas em Geração 2 (Gen2) e Arm64. O Azure Databricks não permite iniciar a computação com esses tipos de instância quando o monitoramento de segurança aprimorado está habilitado.

O monitoramento de segurança aprimorado inclui:

Uma imagem avançada do sistema operacional protegida com base no Ubuntu Advantage.

O Ubuntu Advantage é um pacote de segurança empresarial e suporte para infraestrutura e aplicativos de código aberto que inclui uma imagem protegida CIS Nível 1.
O agente de monitoramento de antivírus gera os logs que você pode examinar.
O agente de monitoramento de integridade de arquivo gera os logs que você pode examinar.

Agentes de monitoramento nas imagens do plano de computação do Azure Databricks

Embora o monitoramento de segurança aprimorado esteja ativado, há agentes de monitoramento de segurança adicionais, incluindo dois agentes que são pré-instalados na imagem do plano de computação aprimorado. Não é possível desabilitar os agentes de monitoramento que estão na imagem de disco do plano de computação aprimorado.

Agente de monitoramento	Localidade	Descrição	Como obter a saída
Monitoramento de integridade do arquivo	Imagem aprimorada do plano de computação	Monitora a integridade do arquivo e violações de limite de segurança. Esse agente de monitoramento é executado na VM de trabalho no cluster.	Habilite a tabela do sistema de logs de auditoria e examine os logs para novas linhas.
Detecção de antivírus e malware	Imagem aprimorada do plano de computação	Examina o sistema de arquivos em busca de vírus diariamente. Esse agente de monitoramento é executado nas VMs em seus recursos de computação, como clusters e SQL warehouses profissionais ou clássicos. O agente de detecção de antivírus e malware examina todo o sistema de arquivos do sistema operacional host e o sistema de arquivos de contêiner do Databricks Runtime. Qualquer coisa fora das VMs do cluster está fora de seu escopo de verificação.	Habilite a tabela do sistema de logs de auditoria e examine os logs para novas linhas.
Verificação de vulnerabilidade	A varredura ocorre em imagens representativas nos ambientes do Azure Databricks.	Examina o host do contêiner (VM) em busca de determinadas vulnerabilidades conhecidas e CVEs.	Solicite relatórios de verificação na imagem de sua equipe de conta do Azure Databricks.

Para obter as versões mais recentes dos agentes de monitoramento, você pode reiniciar os seus clusters. Se o workspace usar a atualização automática de cluster, por padrão, os clusters serão reiniciados, se necessário, durante as janelas de manutenção agendadas. Se o perfil de segurança de conformidade estiver habilitado em um workspace, a atualização automática do cluster será habilitada permanentemente nesse workspace.

Monitoramento de integridade do arquivo

A imagem aprimorada do plano de computação inclui um serviço de monitoramento de integridade de arquivos que fornece visibilidade em runtime e detecção de ameaças para recursos de computação (cluster de trabalho) no plano de computação clássico em seu espaço de trabalho.

A saída do monitor de integridade do arquivo é gerada em seus logs de auditoria, que você pode acessar com tabelas do sistema. Veja Monitore o uso com tabelas do sistema. Para o esquema JSON de novos eventos auditáveis específicos do monitoramento de integridade do arquivo, consulte Eventos de monitoramento de integridade de arquivos.

Importante

É sua responsabilidade examinar esses logs. O Databricks pode, a seu exclusivo critério, examinar esses logs, mas não se compromete a fazê-lo. Se o agente detectar uma atividade mal-intencionada, será sua responsabilidade fazer a triagem desses eventos e abrir um tíquete de suporte com o Databricks se a resolução ou correção exigir uma ação do Databricks. O Databricks pode tomar medidas com base nesses logs, incluindo suspender ou encerrar os recursos, mas não se compromete a fazê-lo.

Detecção de antivírus e malware

A imagem aprimorada do plano de computação inclui um mecanismo de antivírus para detectar trojans, vírus, malware e outras ameaças mal-intencionadas. O agente de monitoramento de antivírus e malware examina todo o sistema de arquivos do sistema operacional host e o sistema de arquivos de contêiner do Databricks Runtime. Qualquer coisa fora das VMs do cluster está fora de seu escopo de verificação.

A saída do monitor antivírus é gerada nos logs de auditoria, que você pode acessar com tabelas do sistema (versão prévia pública). Para o esquema JSON de novos eventos auditáveis específicos do monitoramento de antivírus, consulte Eventos de monitoramento de antivírus.

Quando uma nova imagem de máquina virtual é criada, os arquivos de assinatura atualizados são incluídos nela.

Importante

Quando uma nova imagem de AMI é criada, os arquivos de assinatura atualizados são incluídos na nova imagem AMI.

Verificação de vulnerabilidade

Um agente de monitoramento de vulnerabilidade executa verificações de vulnerabilidade do host de contêiner (VM) para determinados CVEs conhecidos. A verificação ocorre em imagens representativas nos ambientes do Azure Databricks. Você pode solicitar os relatórios de verificação de vulnerabilidade de sua equipe de conta do Azure Databricks.

Quando as vulnerabilidades são encontradas com esse agente, o Databricks as rastreia em seu SLA de Gerenciamento de Vulnerabilidades e libera uma imagem atualizada quando disponível.

Gerenciamento e atualização de agentes de monitoramento

Os agentes de monitoramento adicionais contidos nas imagens de disco usadas para os recursos de computação do plano de computação clássico fazem parte do processo padrão do Azure Databricks para atualizar sistemas:

A AMI (imagem de disco base) do plano de computação clássico é de propriedade do Databricks, além de ter gerenciamento e aplicação de patch feitos por ele.
O Databricks fornece e aplica patches de segurança liberando novas imagens de disco AMI. O agendamento de entrega depende da nova funcionalidade e do SLA para vulnerabilidades descobertas. A entrega típica é feita a cada duas a quatro semanas.
O sistema operacional base do plano de computação é o Ubuntu Advantage.
Os clusters do Azure Databricks e os SQL warehouses profissionais ou clássicos são efêmeros por padrão. Após a inicialização, os clusters e SQL warehouses profissionais ou clássicos usam a imagem base mais recente disponível. Versões mais antigas que podem ter vulnerabilidades de segurança não estão disponíveis para novos clusters.
- Você é responsável por reiniciar clusters (usando a interface do usuário ou a API) regularmente para garantir que eles usem as imagens de VM do host com patches mais recentes.

Encerramento do agente de monitoramento

Se um agente de monitoramento na VM de trabalho não estiver em execução devido a uma falha ou outro encerramento, o sistema tentará reiniciar o agente.

Política de retenção de dados para dados do agente de monitoramento

Os logs de monitoramento são enviados à tabela do sistema de log de auditoria seu próprio armazenamento em sua assinatura do Azure se você configurou logs de diagnóstico. A retenção, a ingestão e a análise desses logs são de sua responsabilidade.

Os relatórios e logs de verificação de vulnerabilidades são retidos por pelo menos um ano pelo Databricks. Você pode solicitar os relatórios de vulnerabilidade de sua equipe de conta do Azure Databricks.

Habilitar o monitoramento de segurança aprimorado do Azure Databricks

Seu workspace do Azure Databricks deve estar na camada Premium ou Enterprise.

Para habilitar o monitoramento de segurança aprimorado em um workspace, confira Usar o portal do Azure para habilitar as configurações em um novo workspace.

As atualizações podem levar até seis horas para serem propagadas para todos os ambientes e para sistemas downstream, como cobrança. As cargas de trabalho que estão sendo executadas ativamente continuarão com as configurações que estavam ativas no momento da inicialização do cluster ou outro recurso de computação, e novas configurações começarão a ser aplicadas na próxima vez que essas cargas de trabalho forem iniciadas.

Share via