Monitoraggio della sicurezza avanzato
Questo articolo descrive la funzionalità di monitoraggio della sicurezza avanzata e come configurarla nell'area di lavoro o nell'account di Azure Databricks.
Se si abilita questa funzionalità, vengono addebitati i costi per il componente aggiuntivo Sicurezza avanzata e conformità, come descritto nella pagina dei prezzi.
Panoramica del monitoraggio della sicurezza avanzata
Il monitoraggio avanzato della sicurezza di Azure Databricks offre un'immagine del disco avanzata avanzata e altri agenti di monitoraggio della sicurezza che generano righe di log che è possibile esaminare usando i log di diagnostica.
I miglioramenti della sicurezza si applicano solo alle risorse di calcolo nel piano di calcolo classico, ad esempio cluster e sql warehouse non serverless.
Le risorse del piano di calcolo serverless, ad esempio i data warehouse SQL serverless, non dispongono di un monitoraggio aggiuntivo quando è abilitato il monitoraggio della sicurezza avanzato.
Nota
La maggior parte dei tipi di istanza di Azure è supportata, ma le macchine virtuali basate su Arm64 e di seconda generazione non sono supportate. Azure Databricks non consente l'avvio del calcolo con tali tipi di istanza quando è abilitato il monitoraggio della sicurezza avanzato.
Il monitoraggio avanzato della sicurezza include:
Immagine avanzata del sistema operativo basata su Ubuntu Advantage.
Ubuntu Advantage è un pacchetto di sicurezza aziendale e supporto per l'infrastruttura open source e le applicazioni che includono un'immagine con protezione avanzata di livello 1 CIS.
Agente di monitoraggio antivirus che genera i log che è possibile esaminare.
Agente di monitoraggio dell'integrità dei file che genera i log che è possibile esaminare.
Agenti di monitoraggio nelle immagini del piano di calcolo di Azure Databricks
Anche se il monitoraggio della sicurezza avanzato è abilitato, sono disponibili altri agenti di monitoraggio della sicurezza, inclusi due agenti preinstallati nell'immagine del piano di calcolo avanzato. Non è possibile disabilitare gli agenti di monitoraggio presenti nell'immagine del disco del piano di calcolo avanzato.
| Agente di monitoraggio | Titolo | Descrizione | Come ottenere l'output |
|---|---|---|---|
| Monitoraggio dell'integrità dei file | Immagine del piano di calcolo avanzata | Monitora l'integrità dei file e le violazioni dei limiti di sicurezza. Questo agente di monitoraggio viene eseguito nella macchina virtuale di lavoro nel cluster. | Abilitare la tabella di sistema del log di controllo ed esaminare i log per le nuove righe. |
| Rilevamento antivirus e malware | Immagine del piano di calcolo avanzata | Analizza il file system per individuare i virus ogni giorno. Questo agente di monitoraggio viene eseguito nelle macchine virtuali nelle risorse di calcolo, ad esempio cluster e pro o sql warehouse classici. L'agente di rilevamento antivirus e malware analizza l'intero file system del sistema operativo host e il file system del contenitore di Databricks Runtime. Qualsiasi elemento all'esterno delle macchine virtuali del cluster non rientra nell'ambito di analisi. | Abilitare la tabella di sistema del log di controllo ed esaminare i log per le nuove righe. |
| Analisi delle vulnerabilità | L'analisi avviene in immagini rappresentative negli ambienti Azure Databricks. | Analizza l'host contenitore (VM) per individuare determinate vulnerabilità note e CVE. | Richiedere report di analisi sull'immagine dal team dell'account Azure Databricks. |
Per ottenere le versioni più recenti degli agenti di monitoraggio, è possibile riavviare i cluster. Se l'area di lavoro usa l'aggiornamento automatico del cluster, per impostazione predefinita i cluster vengono riavviati se necessario durante le finestre di manutenzione pianificate. Se il profilo di sicurezza della conformità è abilitato in un'area di lavoro, l'aggiornamento automatico del cluster è abilitato in modo permanente nell'area di lavoro.
Monitoraggio dell'integrità dei file
L'immagine del piano di calcolo avanzato include un servizio di monitoraggio dell'integrità dei file che fornisce visibilità di runtime e rilevamento delle minacce per le risorse di calcolo (ruoli di lavoro cluster) nel piano di calcolo classico nell'area di lavoro.
L'output del monitoraggio dell'integrità dei file viene generato all'interno dei log di controllo, a cui è possibile accedere con le tabelle di sistema. Vedere Monitorare l'utilizzo con le tabelle di sistema. Per lo schema JSON per i nuovi eventi controllabili specifici per il monitoraggio dell'integrità dei file, vedere Eventi di monitoraggio dell'integrità dei file.
Importante
È responsabilità dell'utente esaminare questi log. Databricks può, a sua esclusiva discrezione, esaminare questi log, ma non impegnarsi a farlo. Se l'agente rileva un'attività dannosa, è responsabilità dell'utente valutare questi eventi e aprire un ticket di supporto con Databricks se la risoluzione o la correzione richiede un'azione da parte di Databricks. Databricks può intervenire sulla base di questi log, inclusa la sospensione o la terminazione delle risorse, ma non si impegna a farlo.
Rilevamento antivirus e malware
L'immagine del piano di calcolo avanzato include un motore antivirus per il rilevamento di trojan, virus, malware e altre minacce dannose. Il monitoraggio antivirus analizza l'intero file system del sistema operativo host e il file system del contenitore di Databricks Runtime. Qualsiasi elemento all'esterno delle macchine virtuali del cluster non rientra nell'ambito di analisi.
L'output del monitoraggio antivirus viene generato all'interno dei log di controllo, a cui è possibile accedere con le tabelle di sistema (anteprima pubblica). Per lo schema JSON per i nuovi eventi controllabili specifici del monitoraggio antivirus, vedere Eventi di monitoraggio antivirus.
Quando viene compilata una nuova immagine di macchina virtuale, al suo interno vengono inclusi i file di firma aggiornati.
Importante
È responsabilità dell'utente esaminare questi log. Databricks può, a sua esclusiva discrezione, esaminare questi log, ma non impegnarsi a farlo. Se l'agente rileva un'attività dannosa, è responsabilità dell'utente valutare questi eventi e aprire un ticket di supporto con Databricks se la risoluzione o la correzione richiede un'azione da parte di Databricks. Databricks può intervenire sulla base di questi log, inclusa la sospensione o la terminazione delle risorse, ma non si impegna a farlo.
Quando viene compilata una nuova immagine AMI, i file di firma aggiornati vengono inclusi nella nuova immagine AMI.
Analisi delle vulnerabilità
Un agente di monitoraggio delle vulnerabilità esegue analisi delle vulnerabilità dell'host contenitore (VM) per determinati CVE noti. L'analisi avviene in immagini rappresentative negli ambienti Azure Databricks. È possibile richiedere i report di analisi della vulnerabilità dal team dell'account Azure Databricks.
Quando vengono rilevate vulnerabilità con questo agente, Databricks li tiene traccia del contratto di servizio di gestione delle vulnerabilità e rilascia un'immagine aggiornata quando disponibile.
Gestione e aggiornamento degli agenti di monitoraggio
Gli agenti di monitoraggio aggiuntivi presenti nelle immagini del disco usate per le risorse di calcolo nel piano di calcolo classico fanno parte del processo standard di Azure Databricks per l'aggiornamento dei sistemi:
- L'immagine classica del disco di base del piano di calcolo (AMI) è di proprietà, gestita e con patch da Databricks.
- Databricks offre e applica patch di sicurezza rilasciando nuove immagini del disco AMI. La pianificazione del recapito dipende da nuove funzionalità e dal contratto di servizio per le vulnerabilità individuate. La consegna tipica è ogni due o quattro settimane.
- Il sistema operativo di base per il piano di calcolo è Ubuntu Advantage.
- I cluster Di Azure Databricks e i data warehouse pro o classici sono temporanei per impostazione predefinita. Al momento dell'avvio, i cluster e i data warehouse SQL classici o pro usano l'immagine di base più recente disponibile. Le versioni precedenti che potrebbero avere vulnerabilità di sicurezza non sono disponibili per i nuovi cluster.
- L'utente è responsabile del riavvio dei cluster (usando l'interfaccia utente o l'API) regolarmente per assicurarsi che usino le immagini delle macchine virtuali host con patch più recenti.
Monitorare la terminazione dell'agente
Se viene rilevato che un agente di monitoraggio nella macchina virtuale del ruolo di lavoro non è in esecuzione a causa di un arresto anomalo o di un'altra terminazione, il sistema tenterà di riavviare l'agente.
Criteri di conservazione dei dati per monitorare i dati dell'agente
I log di monitoraggio vengono inviati alla tabella di sistema del log di controllo di archiviazione personalizzata nella sottoscrizione di Azure se sono stati configurati i log di diagnostica. La conservazione, l'inserimento e l'analisi di questi log sono responsabilità dell'utente.
I report e i log di analisi delle vulnerabilità vengono conservati per almeno un anno da Databricks. È possibile richiedere i report sulle vulnerabilità dal team dell'account Azure Databricks.
Abilitare il monitoraggio della sicurezza avanzata di Azure Databricks
- L'area di lavoro di Azure Databricks deve essere nel livello Premium o Enterprise.
Per abilitare il monitoraggio della sicurezza avanzato in un'area di lavoro, vedere Usare portale di Azure per abilitare le impostazioni in una nuova area di lavoro.
Aggiornamenti possono richiedere fino a sei ore per propagarsi a tutti gli ambienti e a sistemi downstream come la fatturazione. I carichi di lavoro che eseguono attivamente continuano con le impostazioni attive al momento dell'avvio del cluster o di altre risorse di calcolo e le nuove impostazioni inizieranno ad applicare alla successiva avvio di questi carichi di lavoro.